Results of misusage of nonparametric methods: a simulation study

Year 2017, Volume: 42 Issue: 2, 241 - 248, 30.06.2017

Didem Havva Ovla Merve Türkegün Ayça Asena Özdemir Bennu Vedia Özcömert Bahar Taşdelen

https://doi.org/10.17826/cutf.322875

Cited By: 1

Abstract

Purpose: Visual Analogue Scale has a narrow range which is used to evaluate the pain severity. In general, such type of data don’t provide the parametric test hypothesis. But at the group comparisons the number of outlier could be excessive at one of the groups. Consequently, it is analyzed by using non-parametric methods. Therefore, in this study as comparing two groups which are narrow ranged rates and also have outliers (skew) it has been aimed that evaluating the performance of Student t test, Logistic transformed Student t test, Mann Whitney-U test and Mood’s Median tests. 

Material and Methods: The study was planned as a simulation study. Accordingly, it has been formed distributions which are at interval of 0-10, based on the mostly used Visual Analogue Scale rates which were used in evaluation of pain. Simulations were repeated 1000 times for 20 combinations which consisted of 4 different distributions and 5 different sample size. 

Results: Type I error rates which obtained have varied as the sample size and the distribution type is changed and the test results haven't been changed though normalization method used in the type of data that is not concordance with normal distribution.

Conclusion: Misusing and overusing of non-parametric tests gives biased results in scientific studies. Although the general approach was using non-parametric tests in which datas were recorded at the interval of 0-10 cm, the simulation study showed that such datas could also be evaluated by using parametric tests

Keywords

Görsel Analog Skala, parametrik olmayan istatistikler, ağrı

Parametrik olmayan yöntemlerin yanlış kullanımı ve doğurabileceği sonuçlar: simülasyon çalışması

Abstract

Amaç: Ağrı şiddetinin değerlendirilmesinde sıkça kullanılan Görsel Analog
Skala dar aralığa sahiptir. Genellikle bu tip veriler parametrik test
varsayımlarını sağlamaz. Grup karşılaştırmalarında ise grupların birinde aykırı
değer sayısı fazla olabilir. Bu sebeplerle parametrik olmayan yöntemler
kullanılarak analiz edilir. Buradan yola çıkarak, bu çalışmada dar aralıklı
(range) ve aynı zamanda aykırı değerlere sahip (çarpık) iki grubun
karşılaştırılmasında Student t testi, Logit dönüşümü yapılmış Student t testi, Mann
Whitney U testi ve Mood’s medyan testinin performansları değerlendirilmesi
amaçlanmıştır.

Gereç ve Yöntem: Çalışma bir simülasyon çalışması olarak planlanmıştır. Bu
doğrultuda, ağrı değerlendirmesinde en sık kullanılan Görsel Analog Skala
değerleri temel alınarak, 0-10 aralığında dağılımlar türetilmiştir.
Simülasyonlar dört farklı dağılım ve 5 farklı örnek genişliğinden oluşan 20
kombinasyon için 1000’er kez tekrarlanmıştır.

Bulgular: Elde edilen tip I hata oranları örnek genişliği ve dağılım tipi değiştikçe
farklılık göstermiştir. Ayrıca normal dağılıma uyumlu olmayan veri tipinde
normalizasyon metodu kullanılsa bile test sonuçlarının değişmediği görülmüştür.

Sonuç:
Parametrik olmayan testlerin uygun olmayan
(misusing) ve gereksiz kullanımı (overusing) bilimsel çalışmalarda yanlı
sonuçlar doğurmaktadır. Ölçek verilerinin 0-10 cm aralığında kaydedildiği
çalışmalarda genel yaklaşım parametrik olmayan testlerin kullanılması olmakla
beraber, yaptığımız simülasyon çalışması bu tip verilerin parametrik testlerle
de değerlendirilebileceğini göstermektedir.

Keywords

Görsel Analog Skala, parametrik olmayan istatistikler, ağrı

References

• 1. Day S. Dictionary for Clinical Trials, 2nd ed. USA: John Wiley & Sons, LTD. 2007:23. 2. Hawker GA, Mian S, Kendzerska T, French M. Measures of adult pain: Visual Analog Scale for Pain (VAS Pain), Numeric Rating Scale for Pain (NRS Pain), McGill Pain Questionnaire (MPQ),Short-Form McGill Pain Questionnaire (SF-MPQ), Chronic Pain Grade Scale (CPGS), Short Form-36 Bodily Pain Scale (SF-36 BPS) and Measure of Intermittent and Constant Osteoarthritis Pain (ICOAP).Arthritis Care Res 2011;63:240-52. doi: 10.1002/acr.20543. 3. Sullivan L. Nonparametric tests. http://sphweb.bumc.bu.edu/otlt/MPH-Modules/BS/BS704_Nonparametric/index.html. 4. Vickers AJ. Parametric versus non-parametric statistics in the analysis of randomized trials with non-normally distributed data. BMC Medical Research Methodology 2005;5:1-12. doi:10.1186/1471-2288-5-35. 5. Cardone R. Nonparametric: distribution-free, not assumption-free. Erişim adresi: http://www.isixsigma.com/tools-templates/hypothesis-testing/nonparametric-distribution-free-not-assumption-free/ 6. Alpar R. Uygulamalı İstatistik ve Geçerlik-Güvenirlik, Ankara: Detay Yayıncılık. 2012:215-25. 7. Senn S. Cross Over Trials in Clinical Research. 2nd ed. London: John Wiley & Sons LTD. 2002:92-6. 8. Dexter F, Chestnut DH. Analysis of statistical tests to compare visual analog scale measurements among groups. Anesthesiology. 1995;82:896-902. 9. Kan İ. Biyoistatistik. Ankara: Nobel Yayın Dağıtım. 2006:193. 10. Mood’s median test. http://www2.hawaii.edu/~taylor/z631/moods.pdf. 11. Dexter F, Chestnut DH. Analysis of statistical tests to compare visual analog scale measurements among groups. Anesthesiology 1995;82:896‑902. 12. Price DD, Staud R, Robinson ME. How should we use the visual analogue scale (VAS) in rehabilitation outcomes? II: Visual analogue scales as ratio scales: An alternative to the viıew of Kersten et al. J Rehabil Med. 2012;44:800-4. 13. Bishop PA, Herron RL. Use and Misuse of the Likert Item Responses and Other Ordinal Measures. Int J Exerc Sci Science. 2015;8:297-302