Comparison of Different Statistical Test Methods for Two Samples Behrens-Fisher Problem

Abstract

In multivariate statistical research, the problem of testing the equality of two mean vectors is often dealt with. However, when the assumptions are violated, the use of classical methods can lead to misleading results. The aim of this study is to compare the proposed test statistics for two sample Behrens-Fisher problems in terms of their probability of type I error. For this purpose, test statistics proposed in the literature are compared with a simulation study to test the equality of the two group mean vectors in case the assumptions are violated. In addition, the proposed test statistics were compared on a real data sample. The results of the study showed that the performances of the test statistics vary according to the number of dependent variables and the size of the observations. However, it was seen that the test statistics proposed by Yanagihara and Yuan (2005) performed quite well. In addition, Hotelling T2 test statistics is highly affected by assumption violations.

Keywords

• Hotelling’s T-squared statistic
• Multivariate Behrens-Fisher problem
• Simulation
• Type I error

İki Örneklem Behrens-Fisher Problemi İçin Farklı İstatistiksel Test Yöntemlerinin Karşılaştırılması

Öz

Çok değişkenli istatistiksel araştırmalarda, iki ortalama vektörün eşitliğini test etme problemi ile sıklıkla ilgilenilmektedir. Ancak varsayımlar ihlal edildiğinde klasik yöntemlerin kullanılması yanıltıcı sonuçlar elde edilmesine neden olabilmektedir. Bu çalışmanın amacı da iki örneklem Behrens-Fisher problemleri için önerilen test istatistiklerini I. tip hata olasılıkları bakımından karşılaştırmaktır. Bu amaçla varsayımların ihlal edilmesi durumunda iki grup ortalama vektörünün eşitliğini test etmek için literatürde önerilen test istatistikleri bir simülasyon çalışması ile karşılaştırılmıştır. Ayrıca önerilen test istatistiklerinin gerçek bir veri örneği üzerinde karşılaştırılması yapılmıştır. Çalışmanın sonuçları, test istatistiklerinin performanslarının bağımlı değişken sayısına ve gözlem büyüklüklerine göre değiştiğini göstermiştir. Ancak Yanagihara ve Yuan (2005) tarafından önerilen test istatistiğinin oldukça iyi bir performans ortaya koyduğu görülmüştür. Ayrıca Hotelling T2 test istatistiğinin varsayım ihlallerinden oldukça fazla etkilendiği gözlemlenmiştir.

Anahtar Kelimeler

• Hotelling’in T2 istatistiği
• Çok değişkenli Behrens-Fisher problemi
• Simülasyon
• Tip I hata

Kaynakça

1. Behrens, WV. Ein Beitrag zur Fehlerberechnung bei wenigen Beobachtungen (A contribution to error estimation with few observations), Landwirtschaftliches Jahrbuch 1929; 68: 807-837.
2. Bennett BM. Note on a solution of the generalized Behrens–Fisher problem. Annals of the Institute Statistical Mathematics 1951; 2: 87–90.
3. Budak E. 2021, İki örneklem Behrens-Fisher problem. Eskişehir Osmangazi Üniversitesi Fen Bilimleri Enstitüsü Yüksek Lisans Tezi, sayfa no: 35, Eskişehir, Türkiye, 2021.
4. Christensen WF., Rencher AC. A comparison of type I error rates and power levels for seven solutions to the multivariate Behrens-Fisher problem. Communications in Statistics - Simulation and Computation 1997; 26: 1251-1273.
5. Coombs WT., Algina J., Oltman DO. Univariate and multivariate omnibus hypothesis tests selected to control type I error rates when population variances are not necessarily equal. Review of Educational Research 1996; 66(2): 137–179.
6. Erdoğan S. Heterojenlik altında iki grup ortalama vektörlerinin karşılaştırılması için önerilen yeni bir hesaplamalı yaklaşım testi. Gazi Üniversitesi Fen Bilimleri Enstitüsü Yüksek Lisans Tezi, sayfa no: 78, Ankara, Türkiye, 2018.
7. Fisher RA. The fiducial argument in statistical inference. Annals of Eugenics 1935; 6(4): 391-398.
8. Fujikoshi Y. Transformations with improved chi-squared approximations. Journal of Multivariate Analysis 2000; 72(2): 249-263.

9. Hotelling H. The Generalization of Student’s Ratio. The Annals of Mathematical Statistics 1931; 2(3): 360–378.
10. James GS. Tests of linear hypotheses in univariate and multivariate analysis when the ratios of the population variances are unknown. Biometrika 1954; 41(1/2): 19-43.
11. Johansen S. The Welch-James approximation to the distribution of the residual sum of squares in a weighted linear regression. Biometrika 1980; 67(1): 85-92.
12. Kawasaki T., Seo T. A two sample test for mean vectors with unequal covariance matrices. Communications in Statistics: Simulation and Computation 2015; 44(7): 1850-1866.
13. Kim S. A practical solution to the multivariate Behrens- Fisher problem. Biometrika 1992; 79(1): 171-176.
14. Krishnamoorthy K., Lu F. A parametric bootstrap solution to the MANOVA under heteroscedasticity. Journal of Statistical Computation and Simulation 2010; 80(8): 873-887.
15. Krishnamoorthy K., Yu J. Modified Nel and Van der Merwe test for the multivariate Behrens–Fisher problem. Statistics and Probability Letters 2004; 66: 161–169.
16. Krishnamoorthy K., Yu J. Multivariate Behrens-Fisher problem with missing data. Journal of Multivariate Analysis 2012; 105(1): 141–150.
17. Krishnamoorthy K., Xia Y. On selecting tests for equality of two normal mean vectors. Multivariate Behavioral Research 2006; 41(4): 533-548.
18. Lix LM., Keselman HJ. Multivariate tests of means in independent groups designs: Effects of covariance heterogeneity and nonnormality. Evaluation & The Health Professions 2004; 27(1): 45-69.
19. Nel DG., Van der Merwe, CA. A Solution to the Multivariate Behrens-Fisher problem. Communication Statistics-Theory and Methods 1986; 15(12): 3719-3735.
20. Pfanzagl J. On the Behrens-Fisher problem. Biometrika 1974; 61(1): 39–47.
21. Sandal M. Kovaryans matrislerinin homojenliği varsayımı sağlanmadığında istatistiksel çözümleme yaklaşımları. Eskişehir Osmangazi Üniversitesi Fen Bilimleri Enstitüsü Doktora Tezi, sayfa no: 155, Eskişehir, Türkiye, 2020.
22. Scheffé H. On solutions of the Behrens–Fisher problem, based on the t-distribution. Annals of Mathematical Statistics 1943; 14(1): 35–44.
23. Subrahmaniam K., Subrahmaniam K. On the Multivariate Behrens-Fisher problem. Biometrika 1973; 60(1): 107–111.
24. Thomson A. Randall-Maciver R. Ancient Races of the Thebaid. Oxford University Press 1905.
25. Wald A. Testing the difference between means of two normal populations with unknown standard deviations. Selected Papers in Probability Statistics 1955; 669-695.
26. Welch BL. The significance of the difference between two means when the population variances are unequal. Biometrika 1938; 29(3/4): 350–362.
27. Welch BL. The generalization of Student’s problem when several different population variances are involved. Biometrika 1947, 34(1-2): 28-35.
28. Yanagihara H., Yuan KH. Three approximate solutions to the multivariate Behrens-Fisher problem. Communication in Statistics - Simulation and Computation 2005; 34(4): 975-988.
29. Yao Y. An approximate degrees of freedom solution to the Multivariate Behrens-Fisher problem. Biometrika 1965; 52(1-2): 139-147.
30. Zezula I. Implementation of a new solution to the multivariate Behrens-Fisher problem. Stata Journal 2009; 9(4): 593-598.
31. Zhang JT., Liu X. A modified Bartlett test for heteroscedastic one-way MANOVA. Metrika 2011; 76: 135–152.
32. Zhang JT. An approximate Hotelling T^2-test for heteroscedastic one-way MANOVA. Open Journal of Statistics 2012; 2(1): 1-11.