Comparision Mann-Whitney U Test and Students’ t Test in Terms of Type I Error Rate and Test Power: A Monte Carlo Sımulation Study

Year 2014, Volume: 14 Issue: 1, 5 - 11, 01.04.2014

Recep Bindak

Abstract

The nonparametric Mann-Whitney U test is an alternative to parametric Student’s t-test, when the assumptions of t-test cannot be respected. However as one understood, it is more reliable to use the ttest if its assumptions can be met. The purpose of this study is to analyze the performances of the Mann- Whitney U test and Student’s t test in cases of normal populations and various sample sizes. A Monte Carlo simulation study is cariried out via data which were produced from standard normal distribution. Dual combinations of populations were used, with a difference between the means of δ=0, δ=0.5σ, δ=1σ and, variance ratios of 1:1, 1:4, 1:9. To compute Type I error rate and test power, 20000 trial were made for each condition. For each combination, two samples with various sample sizes were randomly selected; both tests were applied, and the number of rejected null hypotheses was recorded. The MWU test gave fewer errors in small samples (n≤30). MWU and t tests gave the same result at 98% rate in rejecting or accepting the H0 hypothesis. In case of unequal variance, as sample size increased, the type I error ratio increased, particularly for the U test; both tests gave the same result in approximately 97% of simulations. © Afyon Kocatepe Üniversitesi

Keywords

Type I error, Test power, Mann-Whitney U test, Students’ t test

Mann-Whitney U ile Student’s t testinin I.Tip Hata ve Güç bakımından Karşılaştırılması: Monte Carlo Simülasyon Çalışması (011302) (5-11)

Abstract

Parametrik t testinin varsayımları karşılanmadığı durumda alternatif olarak Mann-Whitney U testi kullanılmaktadır. Varsayımlar yerine getirildiğinde t testinin daha güvenli olduğu bilinmektedir. Bu çalışmanın amacı kitlenin normal dağılımlı olması durumunda ve çeşitli örnek hacimlerinde MWU ile t testinin performanslarını karşılaştırmaktır. Kitleden örnek seçme için Monte Carlo simülasyonu yapıldı. Ortalamalar arası fark δ=0, δ=0.5σ, δ=1σ ve varyans oranları 1:1, 1:4, 1:9 olan kitlelerin ikili kombinasyonları kullanıldı. Birinci tip hata ve test gücünü hesaplamak için her bir kombinasyon için 20000 Monte Carlo denemesi yapıldı. Her bir kombinasyon ve farklı örnek hacimleri için çekilen örneklere her iki test uygulandı, red edilen sıfır hipotezi sayısı kaydedildi. Küçük örnek (n≤30) hacminde MWU testinin daha az hata verdiği, H0 hipotezinin ret veya kabul edilmesinde MWU ile t testlerinin %97 oranında aynı sonucu verdikleri görüldü. Eşit olmayan varyans durumunda özellikle örnek hacmi arttıkça MWU testinin I.Tip hata oranını koruyamadığı görüldü

Keywords

I.Tip hata; Testin gücü; Mann-Whitney U test, Students’ t test; Monte Carlo simülasyonu

References

• Akkartal, E., Mendes, M. and Mendes, E., 2010. Determination suitable permutation numbers in