Kararlı Çoklu Bayes Hipotez Testi Üzerine Bir Not

Abstract

Çoklu Bayes hipotez testinde olasılık dağılımlarının bilindiği durumlar için optimum yöntemler bulunmasına karşın gerçek hayata uygulanması zordur. Bu yüzden gerçek dünyada iletişim sırasında kolaylıkla oluşabilecek gürültü vb. kaynaklı veri bozulmarına karşı esneklik kazandıran kararlı algoritmalar kullanılmak zorunludur. Ayrıca kararlılık özelliği, optimal testlerin uygulanabilmesi için kullanılacak kesin bilinmek zorunda olan olasılık dağılımlarına olan bağımlılığı azaltıp, bu olasılık değerlerinin tahmin edilmiş değerlerinin kullanılabilmesine olanak sağlamaktadır. Bu çalışmada kararlı Bayes çoklu hipotez test problem analizleri karşılaştırılmıştır. Bununla birlikte, olasılık dağılımları birbirinden bağımsız ve eşit dağılıma sahip gözlemlerle incelendi. Çoklu Bayes hipotez testi için en yaygın olarak bilinen kararlı yöntem DGL (Devroye, Gyorfi ve Lugasi) metodur. Bu yöntemde gerçek olasılık dağılımları bilinmediği fakat nominal dağılımlar ve gerçek dağılımlar arasındaki uzunluğun ε değerinden küçük olduğunun bilindiği varsayılmıştır. Bu tanım üstel bir hata olasılığını da doğurmuştur ve buradaki hata olasılığının hipotezler arasındaki minimum ikili Chernoff bilgisinden daha düşük olamayacağı da bilinmektedir. DGL yöntemi, tipler metoduna dayalı Afşer tarafından sunulmuş bir analiz ile süreksiz durum için karşılaştırıldı.

Keywords

• Bayes hipotez testi
• Tipler metodu
• Kararlı hipotez testi
• Chernoff bilgisi
• Çoklu hipotez testi

A Note On Robust Multiple Bayesian Hypothesis Testing

Abstract

There are exist optimum methods for multiple Bayesian hyothesis testing with known probability distributions but applying this methods to real world is troublesome. Because this tests could gives inaccurate results under small distortions which can easily occur in real world. Also property of robustness gives usage of estimated distributions instead of exact real distributions. In this paper, Bayesian multiple hypothesis problem with independent and identically distributed observations are considered. Robust algorithms are significantly important for solving this kind of problems. The most recognised robust analysis is DGL (Devroye, Gyorfi ve Lugasi) method for multiple Bayesian hypothesis testing. DGL method analyze the case where true distributions of the hypothesis are not known, but the distance between true distributions and nominal distributions are bounded with 𝜖. As a consequence of the problem, the achievable error exponent is the minimum pairwise Chernoff information between isolated hypothesis distributions in this setup. In discrete case, DGL method is compered with fresh presented method by Afşer. 

Keywords

• Bayesian hypothesis testing
• Method of types
• Robust hypothesis testing
• Chernoff information
• Multiple hypothesis testing

References

1. E. L. Lehmann and J. P. Romano, Testing statistical hypothesis (Springer Texts in Statistics), Springer-Verlag, 2005.
2. L. Devroye, L. Gyorfi and G. A. Lugosi, A note on robust hypothesis testing, IEEE Transactions on Information Theory, 48 (7), 2111-2014, 2002.
3. P. J. Huber, Peter J. ``A Robust Version of the Probability Ratio Test", Ann. Math. Statist. 36 (1965), no. 6, 1753--1758.
4. B. C. Levy, ``Robust Hypothesis Testing With a Relative Entropy Tolerance," IEEE Trans. Inf. Theory, vol. 55, no. 1, pp. 413-421, Jan. 2009.
5. C. Levy, Principles of signal detection and parameter estimation, Springer Publishing Company, 2008.
6. G. Gül and A. M. Zoubir,``Minimax Robust Hypothesis Testing," in IEEE Transactions on Information Theory, vol. 63, no. 9, pp. 5572-5587, Sept. 2017, doi: 10.1109/TIT.2017.2693198.
7. T. Cover M. and J. Thomas A., Elements of Information Theory, 2nd ed. John Wiley \& Sons, 2012.
8. C. C. Leang and D.H.Johnson On the asymptotic of M-hypothesis Bayesian detection, IEEE Transactions on Information Theory, 43 (1): 280-282, 1997.

9. M. B. Westover, Asymptotic geometry of multiple hypothesis Testing, IEEE Transactions on Information Theory, 54 (7), 3327-3329, 2008.
10. Chernoff, Herman. ``A Measure of Asymptotic Efficiency for Tests of a Hypothesis Based on the sum of Observations", Ann. Math. Statist. 23 (1952), no. 4, 493--507.
11. P. J. Huber and V. Strassen, ``Robust confidence limits," Z. Wahrchein- lichkeitstheorie verw. Gebiete, vol. 10, pp. 269278, 1968.
12. P. J. Huber, Robust Statistics, New York J. Wiley, 1981.
13. E. Biglieri and L. Gyorfi, Some remarks on robust binary hypothesis testing, IEEE International Symposium on Information Theory, 566-570, 2014.
14. A. L. Gibbs and F. E. Su, On Choosing and bounding the probability metrics, International Statistical Review, 70 (3), 419-435, 2002.
15. H. Afşer, Some Remarks on Bayesian Multiple Hypothesis Testing, Hacettepe Journal of Mathematics & Statistics, under revision.