Aykırı Değer Yönetimi

Abstract

Abstract Management of Outliers The extreme values differing greatly from the majority of the data set upon comparison are called outliers. If the outliers are excessive in quantity, this can result in deviation of the data set from normal distribution and as well as have an influence on the statistical analysis to be carried out. Both the method to be chosen and the calculations used show differences based on the data sets with varying sample sizes. By applying one of the data transformation methods to the data sets possessing excess number of outliers and not showing normal distribution, the data do not only become informative and produce significant summary values, but also make analytical methods available. The aims of this article are to examine descriptive and test-based methods used for detection of outliers affecting distribution of a data set, and to assess data transformations allowing application of parametric methods upon the assumption of normal distribution. Dixon test was determined as the least sensitive, but the fastest result-giving test.

Keywords

• outliers; data transformation; sample size; Dixon test; Grubbs t test; Walsh test

Aykırı Değer Yönetimi

Abstract

Türkçe Özet: Diğer değerlerle karşılaştırıldığında veri setine uygun olmadığı tespit edilen aşırı değerlere aykırı değer denir. Aykırı değerlerin fazla olması veri setinin normal dağılımdan sapmasına ve yapacağımız istatistiksel analizlerin etkilenmesine sebep olabilir. Hem seçilecek yöntem hem de kullanılan hesaplamalar, farklı örnek genişliği içeren veri setlerine bağlı olarak farklılık göstermektedir. Yapılan testler sonucunda normal dağılmadığı ve fazlasıyla aykırı değer içerdiği belirlenen veri setlerine, veri dönüşüm yöntemlerinden biri uygulanarak hem verinin bilgi sağlayacak hale gelmesi ve anlamlı özet değerler üretmesi, hem de analitik yöntemlerin kullanılabilir hale gelmesi sağlanır. Bu yazının amacı veri setinin dağılımını etkileyen aykırı değerleri tespit etmek için kullanılan tanımlayıcı ve teste dayalı yöntemleri incelemek ve veri setinin dağılımını normal dağılıma benzetip, parametrik yöntemler kullanmaya olanak sağlayan veri dönüşümlerini değerlendirmektir. Dixon testi en az duyarlı ancak en hızlı sonuç veren test olarak belirlenmiştir.

Keywords

• aykırı değer; veri dönüştürme; örnek büyüklüğü; Dixon testi; Grubbs t testi; Walsh testi

References

1. Aktürk Z, Acemoğlu H. Sağlık Çalışanları için Araştırma
2. ve Pratik İstatistik, Anadolu Matbaası, İstanbul, 2010:45- 46,83-90.
3. Balcı Y. Laboratuvar hasta verileri kullanılarak biyokimya testlerinde referans aralıkları belirlenmesi. Uzmanlık Tezi, İstanbul, 2006.
4. Seo S. A review and comparison of methods for detecting outliers in univariate data sets. Master thesis. University of Pittsburgh, 2006.
5. Walfısh S. A review of statistical outlier methods. PharmTee 2006;30(11):82-8.
6. McGill R, John W. Tükey and Wayne A. Larsen. Variations of box plots. The American Statistician 1978;32(1):12-6.
7. Tukey JW. Exploratory data analysis. Reading, Mass: Addison-Wesley Publishing Company, 1977.
8. Uckardes F, Sahinler S, Efe E. Aykırı gözlemlerin belirlenmesinde kullanılan bazı istatistikler. KS Ü Doğa Bil Derg2010;l3(1):42-5.

9. Yvonne J Prettyman-Beck. Environmental quality- environmental statistics, U.S. Army Corps of Engineers Washington, DC 20314-1000, 2008;253-265. Erişim: http:// 1 40. 1 94.76. l29/publications/eng-manuals/ emlllO-l-4014/toc.htm Erişim Tarihi: 05.02.2013.
10. Kanji GK. 100 Statistical Tests. SAGE Publication Ltd. London, 1993.
11. Lohninger H. Fundamentals of statistics. Erişim:
12. http://Www.statistics4u.com/fundstat_eng/ee_nalimov_ou
13. tliertest.html# Erişim tarihi: 20.06.2013.
14. Rosner B. Percentage points for a generalized ESD many
15. outlier procedure. Technometrics 1983;25(2):165-72.
16. Navy. Handbook for Statistical Analysis of Environmental
17. Background Data, Tech. rep Department of the Naval,
18. Seely RJ , Munyakazi L, Haury J, Simmerman H, Rushing
19. WH, Curry TF. Demonstrating the consistency of small
20. Solak MK. Detection of Multiple Outliers 1n Univarlate
21. Data Sets, PharmaSUG 2009, Portland, Oregon. Erişim:
22. Burke S. Missing values, outliers, robust statistics and
23. nonparametric methods. LCGC Europe Online
24. Grubbs F. Procedures for detecting outlying observations
25. in samples. Technometrics 1969;11(1):1-21.
26. Tietjen G, Moore R. Some Grubbs-type statistics for the
27. detection of several outliers. Technometrics 1972;14(3):
28. Oguzlar A. Veri ön işleme. Erciyes Üniversitesi İktisadi ve
29. Idari Bilimler Fakültesi Dergisi 2003;21(2):67-76.
30. McDonald JH. Handbook of Biological Statistics, 2nd ed.
31. Sparky House Publishing, Baltimore, Maryland.
32. Petrie A, Sabin C. Medical Statistics at a Glance, 2005,
33. Wiley-Blackwell Publishing, Massachusetts, USA.
34. Jose VRR, Winkler LR. Simple robust averages of
35. forecasts: Some empirical results. International Journal of
36. Beliakov G. Fast computation of trimmed mean. Journal of
37. Statistical Software 2011;39(2):1-6.
38. Hawkins DM. IdentiŞcation of Outliers, 1980, Chapman
39. and Hall Ltd, New York. Erişim: http:// books. google.com.
40. Quackenbush J. Microarray data normalization and
41. transformation. Nature Genetic Supplement 2002;32(5):
42. Jain A, Nandakumar K, Ross A. Score normalization in
43. multimodal biometric systems. Pattern Recognition
44. Chromir'iski K, Tkacz M. Comparison of Outlier Detection
45. Methods in Biomedical Data. Journal of Medical Informatics&Technologies 2010;16(2):89-94.
46. Enli Y, Aslan D, Akalın N, Aydın Y, Yılmaztürk G, Göçhan
47. l, Tekintürk S, Demir S. Denizli'de yaşayan 18-40 yaş arası bireylerde farklı yöntemlerle referans aralıkların saptanması. Turk J Biochem 2003;28(4):228-45.