-

Abstract

The purpose of this study is to investigate the psychometric properties of scales with different missing data techniques. For this purpose 100 data sets were generated under different conditions of sample sizes (250, 500 and 1000) and number of items (10 and 15), respectively. Data points were deleted under missing completely at random, missing at random and missing not at random conditions by two, five and ten percent. Listwise deletion, similar response pattern imputation based on Euclidian distance, stochastic regression imputation, expectation – maximization algorithm and multiple imputation were carried out on incomplete data sets. Bias of Cronbach α, McDonald  and W coefficients were investigated for reliability estimates. Extracted variances and D2 statistic obtained by principal component analysis and different indices obtained by confirmatory factor analysis are investigated for validity. Results show that listwise deletion, which is often applied as a default missing data technique, may cause serious problems. On the other hand expectation – maximization algorithm and multiple imputation generally outperformed but none of the techniques are the best for all conditions

Keywords

• Missing data, missing data techniques, reliability, validity

Farklı Örneklem Büyüklüklerinde ve Kayıp Veri Örüntülerinde Ölçeklerin Psikometrik Özelliklerinin Kayıp Veri Baş Etme Teknikleri ile İncelenmesi

Abstract

Bu çalışmanın amacı farklı örneklem büyüklüğü, kayıp veri örüntüsü, kayıp veri oranı ve madde sayısı koşulları altında ölçeklerin psikometrik özelliklerinin beş ayrı kayıp veri baş etme tekniğiyle incelenmesidir. Bu amaç doğrultusunda örneklem büyüklüğünün ve madde sayısının farklı düzeylerde manipüle edildiği 100 farklı yapay veri seti üretilmiştir. Üretilen veri setlerinde örneklem büyüklüğü 250, 500 ve 1000; madde sayıları ise bir faktörlü veri setleri için 10 madde ve iki faktörlü veri setleri için 15 madde şeklinde manipüle edilmiştir. Eksiksiz veri setlerinde tümüyle seçkisiz kayıp, seçkisiz kayıp ve seçkisiz olmayan kayıp koşulları altında silme işlemi gerçekleştirilmiştir ve liste bazında silme, Öklid uzaklığı üzerinden benzer tepki örüntüsüne dayalı atama, stokastik regresyonla değer atama, beklenti – maksimizasyon algoritması ve çoklu değer atama teknikleri ile değer ataması yapılmıştır. İncelemeler Cronbach α, McDonald w ve W_W kestirimleri, açıklanan toplam varyans oranları, D² istatistiği, ve model – veri uyumuna ilişkin indeks değerleri üzerinden gerçekleştirilmiştir. Sıklıkla kullanılan liste bazında silme tekniğinin ciddi sorunlara yol açabileceği; beklenti-maksimizasyon algoritması ve çoklu değer atama tekniklerinin ise genel olarak yüksek performans gösterdiği sonucuna ulaşılmış olmakla beraber, tüm durumlarda kullanılabilecek ve kesin olarak en iyi sonucu veren tek bir tekniğin olmadığı görülmüştür.

 

Anahtar Kelimeler: Kayıp veriler, kayıp veri baş etme teknikleri, güvenirlik, geçerlik

Keywords

• Kayıp veriler, kayıp veri baş etme teknikleri, güvenirlik, geçerlik

References

1. Allison, P. D. (2001). Missing data. Thousand Oaks, CA:Sage.
2. Alpar, R. (2011). Uygulamalı çok değişkenli istatistiksel yöntemler, Detay Yayıncılık.
3. Baraldi, A. N. ve Enders, C. K. (2010). An introduction to modern missing data analyses. Journal of School Psychology, 48, 5-37.
4. Bernaards, C. A. ve Sijtsma, K. (1999). Factor analysis of multidimensional polytomous item response data suffering from ignorable item nonresponse. Multivariate Behavioral Research, 34(3), 277 – 313.
5. Bernaards, C. A. ve Sijtsma, K. (2000). Influence of imputation and EM methods on factor analysis when item nonresponse in questionnaire data is nonignorable. Multivariate Behavioral Research, 35(3), 321 – 364.
6. Büyüköztürk, Ş. (2010). Sosyal bilimler için veri analizi el kitabı: İstatistik, araştırma deseni SPSS uygulamaları ve yorum, Pegem Akademi.
7. Chen, S-F, Wang, S. ve Chen, C-Y. (2011). A simulation study using EFA and CFA programs based on the impact of missing data on test dimensionality. Expert Systems With Applications, 39(2012), 4026 – 4031.
8. Collins, L. M., Schafer, J. L. ve Kam, C. (2001). A comparison of inclusive and restrictive strategies in modern missing data procedures. Psychological Methods, 6(4), 330-351.

9. Çokluk, Ö. ve Kayri, M. (2011). Kayıp değerlere yaklaşık değer atama yöntemlerinin ölçme araçlarının geçerlik ve güvenirliği üzerindeki etkisi. Kuram ve Uygulamada Eğitim Bilimleri, 11(1), 289 – 309.
10. De Luca, G. ve Peracchi, F. (2007). A sample selection model for unit and item nonresponse in cross-sectional surveys. CEIS Tor Vergata - Research Paper Series, 33(99).
11. Demir, E. (2013). Kayıp verilerin varlığında iki kategorili puanlanan maddelerden oluşan testlerin psikometrik özelliklerinin incelenmesi (Doktora tezi, Ankara Üniversitesi Eğitimde Ölçme ve Değerlendirme Anabilim Dalı, Ankara). http://tez2.yok.gov.tr/ adresinden edinilmiştir.
12. Demir, E. ve Parlak, B. (2012). Türkiye’de eğitim araştırmalarında kayıp veri sorunu. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 3(1), 230-241.
13. Dong, Y. ve Peng, C-Y. J. (2013). Principled missing data methods for researchers. Methodology, 2:222.
14. Dunn, T. J., Baguley, T. ve Brunsden, V. (2013). From alpha to omega: a practical solution to the pervasive problem of internal consistency estimation. British Journal of Psychology, 105(3), 399-412.
15. Dural, S. (2010). Farklı Kayıp veri tekniklerinin çok göstergeli örtük büyüme modelleri üzerindeki etkisi. (Doktora tezi, Ege Üniversitesi Psikometri Anabilim Dalı, İzmir.) http://tez2.yok.gov.tr/ adresinden edinilmiştir.
16. Enders, C. K. (2003). Using the expectation maximization algorithm to estimate coefficient alpha for scales with item-level missing data. Psychological Methods, 8(3), 322-337.
17. Enders, C. K. (2004). The impact of missing data on sample reliability estimates: implications for reliability reporting practices. Educational and Psychological Measurement, 64(3), 419-436.
18. Enders, C. K. (2010). Applied missing data analysis. (1. Ed.). New York: The Guilford Publications, Inc.
19. Enders, C. K. ve Bandalos, D. L. (2001). The relative performance of full information maximum likelihood estimation for missing data in structural equation models. Structural Equation Modeling: A Multidisciplinary Journal, 8(3), 430-457.
20. Field. A. (2005). Discovering statistics using SPSS. (2. Ed.). London: SAGE Publications Inc.
21. Goegebeur, Y., De Boeck, P. ve Molenberghs, G. (2010). Person fit for test speededness: normal curvatures, likelihood ratio tests and empirical bayes estimates. Methodology: European Journal of Research Methods for the Behavioral and Social Sciences, 6(1), 3 – 16.
22. Graham, J. W., (2012). Missing data: analysis and design. New York: Springer.
23. Graham, J. W., Cumsille, P. E., ve Elek-Fisk, E. (2003). Methods for handling missing data. in J. A. Schinka and W.F. Velicer (Eds), Handbook Of Psychology: Volume:2. Research Methods in Psychology, New York: Wiley.
24. Graham, J. W., Hofer, S. M., ve Mackinnon, D. P. (1996). Maximizing the usefulness of data obtained with planned missing value patterns: an application of maximum likelihood procedures. Multivariate Behavioral Research, 31(2), 197-218.
25. Hair, J. F., Black, W. C., Babin, B. J., Anderson, R. E. ve Tatham, R. L. (2006). Multivariate data analysis. (6. Ed.). New Jersey: Pearson Education, Inc.
26. Heerwegh, D. (2005). Web surveys. explaining and reducing unit nonresponse, item nonresponse and partial nonresponse. (Doktora tezi, Katholieke Universiteit Leuven Faculteit Sociale Wetenschappen, Leuven, Belçika.)
27. Kim, J.O. ve Curry, J. (1977). The treatment of missing data in multivariate analysis. Sociological Methods and Research, 6(2), 215-241.
28. Leeuw, E.D. de, Hox, J. ve Huisman, M. (2003). Prevention and treatment of item nonresponse. Journal of Official Statistics, 19(2), 153-176.
29. Little, R. J. A. (1988). A test of missing completely at random for multivariate data with missing values. Journal of the American Statistical Association, 83, 1198-1202.
30. Little, R. J. A. ve Rubin, D. B. (1987). Statistical analysis with missing data. New York: Wiley.
31. Mcdonald, R. (1985). Factor analysis and related methods. Hillsdale, NJ:
32. Erlbaum.
33. Mcknight, P. E., Mcknight, K. M., Sidani, S. ve Figueredo, A. J. (2007). Missing data: a gentle introduction. New York: The Guilford Publications, Inc.
34. Montalto, C. P. ve Sung, J. (1996). Multiple imputation in the 1992 survey of consumer finances. Financial Counseling and Planning, 7, 133 – 141.
35. Peterson, A. (2000). A meta – analysis of variance accounted for and factor loadings in exploratory factor analysis. Marketing Letters, 11(3), 261 – 275.
36. Pigott, T. D. (2001). A review of methods for missing data. Educational Research and Evaluation: An International Journal of Theory and Practice, 7(4), 353-383.
37. Rubin, D. B., (1976). Inference and missing data. Biometrika, 63, 581-592.
38. Rubin, D. B. (1987). Multiple imputation for nonresponse in surveys. New York: John Wiley & Sons, Inc.
39. Schafer, J. L. (1997). Analysis of incomplete multivariate data. New York: Chapman & Hall/Crc.
40. Schafer, J. L. ve Graham, J. W. (2002). Missing data: our view of the state of the art. Psychological Methods, 7(2), 147 – 177.
41. Scheffer, J. (2002). Dealing with missing data. Research Letters in the Information and Mathematical Sciences, 3, 153-160.
42. Tabachnick, B. G. ve Fidel, L. S. (1996). Using multivariate statistics. (3. Ed). MA: Allyn&Bacon, Inc.
43. Van Buuren, S. (2013). Flexible imputation of missing data. Chapman & Hall/CRC Press.
44. Van Ginkel, J. R., (2007). Multiple imputation for incomplete test, questionnaire, and survey data. (Doktora tezi, Tilburg Üniversitesi,
45. Hollanda.)
46. Van Ginkel, J. R., Kroonenberg, P. M. ve Kiers, H. A. L. (2013). Missing data in principal component analysis of questionnaire data: a comparison of methods. Journal of Statistical Computation and Simulation, 84(11), 2298-2315.
47. Van Ginkel, J. R., Sijtsma, K., Van der Ark, L. A ve Vermunt, J. K. (2010). Incidence of missing item scores in personality measurement, and simple item – score imputation. Methodology: European Journal of Research Methods for the Social Sciences, 6(1), 17 – 30.
48. Yeşilova, A., Kaya, Y. ve Almalı, M. N. (2011). A comparison of hot deck imputation and substitution methods in the estimation of missing data.
49. Gazi University Journal of Science, 24(1), 69 – 75.
50. Yurdugül, H. (2006). Paralel, eşdeğer ve konjenerik ölçmelerde güvenirlik katsayılarının karşılaştırılması. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 39(1), 15-37.