Comparison of type I error rates of Wald-Wolfowitz, Kolmogorov-Smirnov, and Mann-Whitney tests in small, equal, and large sample volumes

Year 2023, , 137 - 144, 30.12.2023

Sahib Ramazanov , Ötüken Senger

https://doi.org/10.58588/aru-jfeas.1388231

Abstract

In social sciences, when important assumptions such as the normality and homogeneity of variances are violated, the use of non-parametric statistical tests is recommended. In such cases, non-parametric tests like the Wald-Wolfowitz Rank-Sum Test, Kolmogorov-Smirnov Two-Sample Test, and MannWhitney U Test are employed to analyze the data of two independent samples. This study was conducted to compare the Type I error rates of these three different test methods under specific conditions. In this context, the Type I error rates of each test were analyzed separately for both large and small sample groups. The research utilized 24 different combinations of sample sizes with Uniform-like, Logistic-like, and Double exponential-like distributions. Half of the samples were large, and half were small, including samples of both equal and different sizes. Similarly, within the large samples, there were both equal and different-sized samples. Based on the obtained data, the Type I error rates of the Mann-Whitney, Kolmogorov-Smirnov, and Wald-Wolfowitz tests were calculated for each combination through an extensive Monte Carlo Simulation. The results indicate that, irrespective of variations in sample size and sample volume differences, the KolmogorovSmirnov Two-Sample Test has a lower Type I error rate compared to the Mann-Whitney and WaldWolfowitz tests. This study provides important information for researchers when selecting the most appropriate statistical method to test independent two-sample data.

Keywords

Wald-Wolfowitz Test, Mann-Whitney U Test, Kolmogorov-Smirnov Two-Sample Test, Type I Error, Monte Carlo Study

Küçük, eşit ve büyük örnek hacimlerinde Wald-Wolfowitz, Kolmogorov-Smirnov ve Mann-Whitney testlerinin I. tip hata oranlarının karşılaştırılması

Abstract

Sosyal bilimlerde, varyansın normalliği ve homojenliği gibi önemli varsayımların ihlal edildiği durumlarda, parametrik olmayan istatistiksel testlerin kullanılması önerilmektedir. Bu tür durumlarda, bağımsız iki örneklemin verilerini test etmek için Wald-Wolfowitz Sıra Sayıları Testi, Kolmogorov-Smirnov İki Örneklem Testi ve Mann-Whitney Testi gibi non-parametrik testlere başvurulmaktadır. Bu çalışma, bu üç farklı test yönteminin belirli koşullar altında I. tip hata oranlarını karşılaştırmak amacıyla gerçekleştirilmiştir. Bu çerçevede, her bir testin I. tip hata oranları, büyük ve küçük örneklem grupları için ayrı ayrı analiz edilmiştir. Araştırmada Uniform-like, Logistic-like ve Double exponential-like dağılımları ile 24 farklı örnek büyüklüğü kombinasyonu kullanılmıştır. Örneklerin yarısı büyük, yarısı küçüktür. Küçük örneklerin içinde hem eşit hem de farklı hacimlere sahip örnekler bulunmaktadır. Benzer şekilde, büyük örneklerin içinde de hem eşit hem de farklı hacimlere sahip örnekler bulunmaktadır. Elde edilen verilere dayalı olarak Mann-Whitney, Kolmogorov-Smirnov ve Wald-Wolfowitz testlerinin I. tip hata oranları, her kombinasyon için büyük bir Monte Carlo Simülasyonu ile hesaplanmıştır. Sonuçlar, örnek büyüklükleri ve örnek hacmi farklılıklarından bağımsız olarak incelendiğinde, Kolmogorov-Smirnov İki Örneklem Testi'nin Mann-Whitney ve Wald-Wolfowitz testlerine göre daha düşük bir I. tip hata oranına sahip olduğunu göstermektedir. Bu çalışma, araştırmacılara bağımsız iki örneklem verilerini test etmek için en uygun istatistiksel yöntemi seçerken dikkate almaları gereken önemli bir bilgi sunmaktadır.

Keywords

Wald-Wolfowitz Testi, Mann-Whitney Testi, Kolmogorov-Smirnov İki Örnek Testi, I. Tip Hata, Monte Carlo Çalışması

References

• Akbulut, M. C. (2008). Faktöriyel düzende varyans analizi tekniğinde varyansların homojenliği ve normal dağılım ön şartları yerine gelmediğinde interaksiyona ilişkin I. tip hata ve testin gücü [Yayımlanmamış Doktora Tezi]. Ankara Üniversitesi, Fen Bilimleri Enstitüsü.
• Bindak, R. (2014). Mann-Whitney U ile Student’s t testinin I. Tip Hata ve Güç bakımından karşılaştırılması: Monte Carlo simülasyon çalışması (011302). Afyon Kocatepe Üniversitesi Fen ve Mühendislik Bilimleri Dergisi, 14(1), 5-11.
• Blair, R. C. ve Higgins, J. J. (1985). Comparison of the power of the paired samples t-test to that of Wilcoxon’s sign-ranks test under various population shapes. Psychological Bulletin, 97 (1), 119-128.
• Boslaugh, S. ve Watters, P. A. (2008). Statistics in a Nutshell. O’Reilly Media, Inc.
• Brink, D. (2010). Statistics. Ventus Publishing ApS.
• Conover, W. J. (1999). Practical Nonparametric Statistics (Vol. 350). John Wiley & Sons.
• Daniel, W. W. (1990). Procedures That Utilize Data from Two Independent Samples. Applied Nonparametric Statistics (s. 82-143) içinde. PWS-Kent Publishing Co.
• Durand, C. P. (2013). Does raising type 1 error rate improve power to detect interactions in linear regression models? A simulation studies. PloS one, 8(8), e71079.
• Eltas, Ö. (2021). Biyoistatistik çalışmalarında kullanılan küçük örneklemlerde Mann-Whitney u testi ve bağımsız örneklem t (student’s t independent test) testinin güç yönünden karşılaştırılması. Atatürk Üniversitesi Veteriner Bilimleri Dergisi, 16(1), 88-94.
• Fahoome, G. (1999). A Monte Carlo study of twenty-one nonparametric statistics with normal and nonnormal data [Yayınlanmamış Doktora Tezi]. Wayne State University.
• Geyer, C. J. (2001). Probability and statistics. http://www.stat.umn.edu/geyer/old/5102/#notes adresinden 20.10.2023 tarihinde alınmıştır.
• Gibbons, J. D. (1971). Nonparametric Statistical Inference. McGraw Hill.
• Lee, C. H. (2007). A Monte Carlo Study of Two Nonparametric Statistics with Comparisons of Type I Error Rates and Power. Oklahoma State University.
• Meaney, C. ve Moineddin, R. (2014). A Monte Carlo simulation study comparing linear regression, beta regression, variable-dispersion beta regression and fractional logit regression at recovering average difference measures in a two-sample design. BMC Medical Research Methodology, 14, 1-22.
• Mooney, C. Z. (1997). Monte Carlo Simulation (No. 116). Sage.
• Penfield, D. A. (1994). Choosing a two-sample location test. Journal of Experimental Education, 4(62), 343-350.
• Ramazanov, S. ve Askerbeyli, R. (2023). Power Analysis of Mann Whitney, Two Sample Kolmogorov Smirnov, and Wald-Wolfowitz Runs Tests: Comparison with Monte Carlo Simulation in the Case of Variance Heterogeneity (No. 10501). EasyChair.
• Senger, Ö. (2013). A statistical power comparison of the Kolmogorov-Smirnov two-sample test and the Wald-Wolfowitz test in terms of fixed skewness and fixed kurtosis in large sample sizes. Chinese Business Review, 12(7), 469-476.
• Senger, Ö. (2013). Statistical power comparisons for equal skewness different kurtosis and equal kurtosis different skewness coefficients in nonparametric tests. Istanbul University Econometrics and Statistics e-Journal, (18), 81-115.
• Shao, J. (2003). Mathematical Statistics. Springer Science & Business Media.
• Tekindal, B. (2007). Varyansların homojenliğinde kullanılan bazı yöntemlerin I.tip hata ve testin gücü bakımından karşılaştırılması: Bir Monte Carlo simülasyon çalışması. Gazi Üniversitesi Endüstriyel Sanatlar Eğitim Fakültesi Dergisi Sayı, (20), 90-101.
• Uysal, İ. ve Kılıç, A. (2022). Normal dağılım ikilemi. Anadolu Journal of Educational Sciences International, 12(1), 220-248.
• Yiğit, E. ve Gamgam, H. (2011). Homojen olmayan varyans varsayımı altında ortalamaların eşitliği için bazı test istatistikleri ve karşılaştırmaları. Anadolu Üniversitesi Bilim ve Teknoloji Dergisi, 1 (1), 57-71.
• Zimmerman, D. W. (1998). Invalidation of parametric and nonparametric statistical tests by concurrent violation of two assumptions. The Journal of Experimental Education, 67(1), 55-68.