Biyoistatistik Çalışmalarında Kullanılan Küçük Örneklemlerde Mann-Whitney U Testi ve Bağımsız Örneklem T (Student’s-t Independent Test) Testinin Güç Yönünden Karşılaştırılması

Abstract

Bu çalışmada örnek hacminin 3, 4 ve 5 olduğu durumlarda parametrik testlerden birisi olan Bağımsız Örneklem t testi ile bu testin nonparametrik karşılığı olan Mann-Whitney U testinin güç yönünden karşılaştırılması yapılarak, küçük örnek hacimlerinde hangi testin daha güçlü olduğu belirlenmeye çalışılmıştır. Materyal olarak Microsoft Excel programında oluşturulan rasgele sayılar kullanılmıştır. Karşılaştırmalar için 7 grup oluşturulmuş ve standart normal dağılımlı N (0,1) olan birinci grupla diğer gruplar karşılaştırılmıştır. Testin gücünü belirlemek için Monte Carlo simülasyonu kullanılmış, her örnek büyüklüğü ve her grup için 10000 tekrar yapılmıştır. Varyansların hem homojen hem de heterojen olduğu gruplarda yapılan karşılaştırmalarda, testin gücünü belirlemek için ret edilen sıfır hipotezinin oranı tespit edilmiştir. Elde edilen sonuçlara göre parametrik testlerin bir varsayımı olan varyansların homojenliği sağlanmadığı durumda hem parametrik olan t testinin hem de parametrik olmayan MWU testinin güçleri oldukça düşmüştür. Sonuç olarak, bilimsel çalışmalarda tercih edilen güç seviyesine (% 80) ulaşmak için aşırı gözlemlerin bulunmadığı, varyansların homojen olduğu, etki büyüklüğünün Cohen 𝑑=2 ve örnek büyüklüğünün n1=n2=5 olduğu durumda t testinin uygulanabileceği ortaya çıkmıştır. Bu çalışmada incelenen diğer durumlarda hem t testinin hem de MWU testinin güçlerinin % 80’in altında kaldığı tespit edilmiştir.

Keywords

• Bağımsız Örneklem t testi
• Mann-Whitney U
• Monte Carlo Simülasyonu
• Testin Gücü

Comparison of the Mann-Whitney U test and Independent Samples t-test (Independent Student’s t-test) in terms of Power in Small Samples Used in Bioistatistic Studies

Abstract

In this study, when the sample size is 3, 4, and 5, it was tried to determine which test was stronger in small sample volumes by comparing the Independent Sample t test, which is one of the parametric tests, and the nonparametric equivalent of this test, the Mann-Whitney U test. Random numbers generated in Microsoft Excel program were used as material. 7 groups were formed for comparisons and the first group with standard normal distribution N (0,1) was compared with the other groups. Monte Carlo simulation was used to determine the strength of the test; 10000 repetitions were performed for each sample size and each group. In the comparisons made in groups where variances are both homogeneous and heterogeneous, the ratio of the rejected null hypothesis was determined to determine the strength of the test. According to the results, if the homogeneity of the variances, which is an assumption of the parametric tests, is not provided, the power of both the parametric t-test and the non-parametric MWU test decreased considerably. As a result, it has been revealed that there are no excessive observations in scientific studies to reach the preferred power level (80%), the variances are homogeneous, the effect size is Cohen d = 2 and the sample size is n1 = n2 = 5, the t-test can be applied. In the other cases examined in this study, it was determined that the powers of both the t-test and the MWU test remained below 80%.

Keywords

• Independent Sample t test
• Mann-Whitney U
• Monte Carlo Simulation
• Power of the Test

References

1. 1. Ya Doğan İ., Doğan, N., 2020. Deney Hayvanı Kullanılan Çalışmalarda Örneklem Büyüklüğünün Kaynak Eşitlik Yöntemi ile Tahmini. Turkiye Klinikleri J Biostat, 12, 211-218.
2. 2. Meyners M., Carr BT., Hasted A., 2020. To replicate or not to replicate, or when did we start to ignore the concept of statistical power?. Food Qual Prefer, 79.
3. 3. Bindak R., 2014. Mann-Whitney U ile Student’st testinin I. Tip Hata ve Güç bakımından Karşılaştırılması: Monte Carlo Simülasyon Çalışması. AKÜ FEMÜBİD, 14, 5-11.
4. 4. Puzyr R., Haikova T., Majerník J., Karkova M., Kmec J., 2018. Experimental study of the process of radial rotation profiling of wheel rims resulting in formation and technological flattening of the corrugations. journalmt, 18, 106-111.
5. 5. Mendeş M., 2012. Uygulamalı Bilimler İçin İstatistik ve Araştırma Yöntemleri. p: 155, Kriter Yayınevi, Çanakkale.
6. 6. Miller I., Miller M., 2006. John Freund Matematiksel İstatistik. 6th çev. ed.: Ü. Şenesen., 551-552, Literatür Yayınevi, İstanbul.
7. 7. Baştürk R., 2011. Nonparametrik İstatistik Yöntemler. 2. Basım, 99-110, Arı Yayıncılık, Ankara.
8. 8. Özçomak MS., Çebi K., 2017. İstatistiksel Güç Analizi: Atatürk Üniversitesi İktisadi Ve İdari Bilimler Dergisi Üzerine Bir Uygulama. atauniiibd, 31, 413-431.

9. 9. Funder DC., Ozer DJ., 2019. Evaluating effect size in psychological research: Sense and nonsense, AMPPS, 2, 156-168. 10. Cohen J., 1992. Statistical Power Analysis. Curr Dir Psychol Sci, 1, 98-101.
10. 11. Orhan AT., Men DD., 2018. Web Tabanlı Öğretimin Fen Dersi Başarısına Ve Fen Dersine Yönelik Tutuma Etkisi: Bir Meta Analiz Çalışması. cbayarsos, 16, 245-284.
11. 12. Yalçıner AY., Günday ÜR., 2020. Yalın altı sigma metodu ve bankacılık sektöründe uygulanması. DÜBİTED, 8, 188-209.
12. 13. Olejnik SF., 1984. Planning educational research: Determining the necessary sample size. JXE, 53, 40-48.
13. 14. Kul S., 2011. Klinik araştırmalarda örnek genişliği belirleme. Plevra Bülteni, 2, 129-132.
14. 15. Keskin B., 2020. İstatistiksel güç bir araştırmanın sonuçlarına etki eder mi? örneklem büyüklüğüne nasıl karar verilmeli?. cbayarsos, 18 (Armağan Sayısı), 157-174.
15. 16. Zimmerman DW., Zumbo BD., 1993. The relative power of parametric and nonparametric statistical methods (In: Keren G, Lewis C, editors). A Handbook for Data Analysis in the Behavioral Sciences: Methodological Issues. pp 481, Lawrence Erlbaum, Hillsdale, New Jersey.
16. 17. Zimmerman DW., 2004. Inflation of type I error rates by unequal variances associated with parametric, nonparametric and rank transformation tests. Psicologica: International Journal of Methodology and Experimental Psychology, 25(1), 103-133.
17. 18. Zimmerman DW., 2006. Two separate effects of variance heterogeneity on the validity and power of significance tests of location. J. stamet, 3, 351-374.
18. 19. IBM Corp. Released 2020. IBM SPSS Statistics for Windows, Version 27.0. Armonk, NY: IBM Corp.
19. 20. Dixon WJ., 1954. Power under normality of several nonparametric tests. AMS, 25, 610-614.
20. 21. Leys C., Schumann S., 2010. A nonparametric method to analyze interactions: The adjusted rank transform test. JESP, 46, 684-688.
21. 22. Kartal M., 2006. Bilimsel Araştırmalarda Hipotez Testleri Parametrik ve Nonparametrik Teknikler, 3. Basım. s:148, Nobel Basımevi, Ankara.
22. 23. Sohn W., Jeong M., Jeong K., 2020. Theoretical comparative study of t tests and nonparametric tests for final status surveys of MARSSIM at decommissioning sites. Ann Nucl Energy, 135, 106945.
23. 24. Kasuya E., 2001. Mann–Whitney U test when variances are unequal. Anim Behav, 61, 1247-1249.
24. 25. Botta-Dukat Z., 2018. Cautionary note on calculating standardized effect size (SES) in randomization test. Community Ecol, 19, 77-83.