Kayıp verilerin varlığında çoktan seçmeli testlerde madde ve test parametrelerinin kestirilmesi: SBS örneği

Öz

Bu çalışmada, kayıp verilerin varlığında, çoktan seçmeli testlerde, farklı kayıp veri yöntemleri kullanılarak kestirilen madde ve test parametreleri arasındaki ilişkilerin incelenmesi ve bu tür testlerde kullanılması uygun olan kayıp veri yöntemlerinin belirlenmesi amaçlanmıştır. Temel araştırma türünde, ilişkisel tarama modelinde bir araştırma olarak tasarlanan bu çalışmada, analizler 527517 yanıtlayıcıya yönelik SBS (Seviye Belirleme Sınavı) 2011 Matematik Testi A Kitapçığı verileri üzerinde yürütülmüştür. Veri analizlerinde silmeye dayalı yöntemlerden ‘dizin silme yöntemi’, basit atama yöntemlerinden ‘0 atama’, ‘seri ortalamaları ataması’, ‘gözlem birimi ortalaması ataması’, ‘yakın noktalar ortalama ataması’, ‘yakın noktalar medyan ataması’, ‘doğrusal interpolasyon’ ve ‘dorusal eğilim noktası ataması’ yöntemleri, en çok olabilirlik yöntemlerinden ‘regresyon atama’, ‘beklenti-maksimizasyon algoritması’ ve ‘veri çoğaltma’ yöntemleri, çoklu veri atama yöntemlerinden ise ‘Markov zincirleri Monte Carlo’ yöntemi olmak üzere 12 farklı kayıp veri yöntemi kullanılmıştır. Elde edilen bulgular, kayıp verilerin ihmal edilebilir olmaması durumunda çoktan seçmeli testlere yönelik istatistiksel kestirimlerde, uygun bir kayıp veri yönteminin kullanılmasının gerekli olduğunu göstermektedir. Silmeye dayalı yöntemler ve 0 Atama yöntemi, bu tür veriler için uygun yöntemler değildir. Basit atama yöntemlerinin ise yanlı kestirimler üretme olasılığı yüksektir. En çok olabilirlik ve çoklu veri atama yöntemleri, bu tür verilerde kullanılması en uygun kayıp veri yöntemleri olarak değerlendirilmektedir

Anahtar Kelimeler

• Kayıp veri, İhmal edilebilirlik, Seçkisiz kayıp, Kayıp veri yöntemleri, SBS

Item and test parameters estimations for multiple choice tests in the presence of missing data: The case of SBS

Abstract

-

Keywords

• -

References

1. Acock, A. A. (2005). Working with missing values. Journal of Marriage and Family, 65, 1012- 1028.
2. Allison, P. D. (2002). Missing data. California: Sage Publication, Inc.
3. Allison, P. D. (2009). Missing data. Quantitative methods in psychology. (Edt: R. E. Millsao & A. Maydeu-Olivares). London: SAGE Publication. pp. 72-89.
4. Baykul, Y. (2000). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Ankara: ÖSYM Yayınları.
5. Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. Belmont CA: Wadsworth Thomson Learning Company.
6. Culbertson, M. J. (2011). Is it wrong? Handling missing responses in IRT. Annual Meeting of the National Council on Measurement in Education, April 2011.
7. DeMars, C. (2002). Incomplete data and item parameter estimates under JMLE and MML estimation. Applied Measurement in Education, 15, 15-31.
8. Demir, E. & Parlak, B. (2012). Türkiye’de eğitim araştırmalarında kayıp veri sorunu. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 3 (1), 20-241.

9. Dempster, A. P., Laird, N. M. & Rubin, D. B. (1977). Maximum likelihood estimation from incomplete data via the EM algorithm. Journal of the Royal Statistical Society, 39 (B), 1- 38.
10. Elashoff, J. D. & Elashoff, R. M. (1971). Missing data problems for two samples on a dichotomous variable. Research and Development Memorandum, 73, 40-86.
11. Enders, C. K. (2010). Applied missing data analysis. New York: The Guilford Press.
12. Finch, H. (2008). Estimation of item response theory parameters in the presence of missing data. Journal of Educational Measurement, 45 (3), 225-245.
13. Graham, J. W. (2009). Missing data analysis: making it work in the real world. Annual Review of Psychology, 60 (4), 549-576.
14. Groves, R. M. (2006). Nonresponse rates and nonresponse bias in household surveys. Public Opinion Quarterly, 70 (5), 646-675.
15. Hohensinn, C. & Kubinger K. D. (2011). On the impact of missing values on item fit and the model validness of the Rasch model. Psychological Test and Assessment Modeling, 53, 380-393.
16. Linacre, J. M. (2004). Rasch model estimation: further topics. Journal of Applied Measurement, 5 (1), 95-110.
17. Little, R. J. A & Rubin, D. B. (1987). Statistical analysis with missing data, 2nd ed. New York: John Wiley & Sons, Inc.
18. Lord, F. M. (1974). Estimation of latent ability and item parameters when there are omitted responses. Psychometrika, 39, 247-264.
19. Lord, F. M. (1983). Maximum likelihood estimation of item response parameters when some responses are omitted. Psychometrika, 48, 477-482.
20. Lord, F. M. & Novick, M. R. (1968). Statistical theory of mental test score. California: Addison- Wesley Publishing.
21. Mislevy, R. J. & Wu, P. K. (1996). Missing responses and IRT ability estimation: omits, choice, time limits, adaptive testing. ETS Research Report RR-96-30-ONR, Princeton, NJ: Educational Testing Service.
22. Özçelik, D. A. (1981). Okullarda ölçme ve değerlendirme. Ankara: ÜSYM-Eğitim Yayınları:3.
23. Puma, M. J., Olsen, R. B., Bell, S. H. & Price, C. (2009). What do when data are missing in group randomized controlled trial (NCE 2009-0049). Washington, DC: National Center for Education Evaluation and Regional Assistance, Institute of Educational Sciences, U.S. Department of Education.
24. Rubin, D. B. (1976). Inference and missing data. Biometrika, 63 (3), 581-592.
25. Rubin, D. B. (1987). Multiple ımputation for nonresponse in surveys. New York: John Wiley & Sons, Inc.
26. Schaffer, J. L. (1997). Analysis of ıncomplete multivariate data. London: Chapman & Hall.
27. Tekin, H. (2007). Eğitimde ölçme ve değerlendirme (18. baskı). Ankara: Yargı Yayınları.
28. Item and Test Parameters Estimations for Multiple Choice Tests in the Presence Of Missing Data: The Case of SBS4 Ergül DEMİR5 Introduction