Çoktan Seçmeli Testlerde Kayıp Veri Sorunu: SBS Örneği

Abstract

In this study, it’s aimed that situations and variables related with probabiltiy of missing values in multiplechoice tests. Type of this study is basic research and model of this study is exploratory qualitative research. In the SBS 2011 math test, 7 items were determined as ‘risky’ item considering the amount of missing data and missing data pattern and mechanism. These items were evaluated with detail by 13 experts working in the field of mathematics and measurement and evaluation. In the taking of expert opinion, feedback-form was used. In the form, there were 7 items defined as ‘risky’ item and basic descriptive statistics for each items and the distribution of responses were given choices. It was asked by the experts that they should evaluate each items according to feedback-form. These reviews and opinions were classified and analyzed as descriptively and thematically . According to expert opinions, missing data occur primarily depends on psychometric properties and qualification of the measurement instrument. Observing individual behavior which leads the missing value is difficult in measuring instruments which contains psychometrically problematic.

Keywords

• missing data, nonresponse, bias, test development, the chances of success

Çoktan Seçmeli Testlerde Kayıp Veri Sorunu: SBS Örneği

Abstract

Bu çalışmada, çoktan seçmeli testlerde kayıp veri oluşma olasılığı ile ilişkili olabilecek durum ve değişkenlerin incelenmesi amaçlanmıştır. Bu çalışma, temel araştırma türünde ve nitel araştırma yaklaşımıyla açımlayıcı modelde yürütülmüştür. SBS 2011 matematik testinde yer alan maddelerden 7’sinde, kayıp veri miktarı, örüntüsü ve mekanizması açısından kayıp veri yanlılığı şüphesi oluştuğu belirlenmiş ve bu maddeler ‘riskli’ madde olarak tanımlanmıştır. Bu maddeler, ölçme ve değerlendirme ile matematik alanlarında çalışan toplam 13 uzmanın görüşleri doğrultusunda derinlemesine incelenmiştir. Uzman görüşlerinin alınmasında, görüş formu kullanılmıştır. Formda, ‘riskli’ olarak tanımlanan her bir madde, bu maddelere yönelik temel betimsel istatistikler ve yanıtların seçeneklere dağılımları verilmiştir. Uzmanlardan (i) formda yer alan her bir maddeyi test geliştirme ve ölçme ve değerlendirmenin temel ilkelerine uygunluk açısından değerlendirmeleri ve (ii) her bir madde düzeyinde kayıp veri oluşmasının olası gerekçelerine yönelik görüşlerini belirtmeleri istenmiştir. Bu değerlendirme ve görüşler, betimsel olarak analiz edilmiş ve tematik olarak sınıflandırılmıştır. Uzman görüşlerine göre kayıp verilerin oluşması, öncelikle ölçme aracının psikometrik özellikleri ve yeterlikleri ile ilişkilidir. Psikometrik açıdan sorunlu maddeler içeren ölçme araçlarında, kayıp verilerin oluşmasına yol açan birey davranışlarının gözlenmesi güçtür.

Keywords

• kayıp veri, yanıtlanmama, yanlılık, test geliştirme, şans başarısı

References

1. Acock, A.A. (2005). Working with Missing Values. Journal of Marriage and Family, s.65, sy.1012-1028. Allison, P.D. (2002). Missing Data. California: Sage Publication, Inc.
2. Allison, P.D. (2009). Missing Data. Ed. Roger E. Millsao ve Alberto Maydeu-Olivares, Quantitative Methods in Psychology, sy.72-89. London: SAGE Publication.
3. Baykul, Y. (2010). Eğitimde ve Psikolojide Ölçme: Klasik Test Teorisi ve Uygulaması (2. Baskı). Ankara: Pegem Akademi Yayınları.
4. Culbertson, M.J. (2011). Is It Wrong? Handling Missing Responses in IRT. Annual Meeting of the National Council on Measurement in Education, April 2011.
5. Demir, E. (2013). Kayıp Verilerin Varlığında İki Kategorili Puanlanan Maddelerden Oluşan Testlerin Psikometrik Özelliklerinin İncelenmesi. Yayınlanmamış doktora tezi. Ankara: Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü.
6. Demir, E. ve Parlak, B. (2012). Türkiye’de Eğitim Araştırmalarında Kayıp Veri Sorunu. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, s.3(1), sy.20-241.
7. Dempster, A.P., Laird, N.M. ve Rubin, D.B. (1977). Maximum Likelihood Estimation from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society, seri B, s.39, sy.1-38.
8. Enders, C.K. (2010). Applied Missing Data Analysis. New York: The Guilford Press.

9. Groves, R.M. (2006). Nonresponse Rates and Nonresponse Bias in Household Surveys. Public Opinion Quartely, s.70, n.5, sy.646-675.
10. Hohensinn, C. ve Kubinger K.D. (2011). On the Impact of Missing Values on Item Fit and the Model Validness of the Rasch Model. Psychological Test and Assesment Modeling, s.53, sy.380-393.
11. Karasar, N. (2012). Bilimsel Araştırma Yöntemi (24. Basım). Ankara: Nobel Akademik Yayıncılık.
12. Little, R.J.A ve Rubin, D.B. (1987). Statistical Analysis with Missing Data, 2nd ed. New York: John Wiley & Sons, Inc.
13. Lord, F.M. (1974). Estimation of Latent Ability and Item Parameters When There are Omitted Responses. Psychometrika, s.39, sy.247-264.
14. Lord, F.M. (1983). Maximum Likelihood Estimation of Item Response Parameters When Some Responses are Omitted. Psychometrika, s.48, sy.477-482.
15. Özçelik, D. A. (1981). Okullarda Ölçme ve Değerlendirme. Ankara: ÜSYM-Eğitim Yayınları:3.
16. Peng, C.Y.J., Harwell,M., Liou, S.M. ve Ehman, L.H. (2007). Advances in Missing Data Methods and Implication for Educational Research. Ed. Sholomo S. Sawilowski, Real Data Analysis, sy.31-77. USA: IAP-Information Age Publishing.
17. Rubin, D.B. (1976). Inference and Missing Data. Biometrika, s.63, n.3, sy.581-592.
18. Rubin, D.B. (1987). Multiple Imputation for Nonresponse in Surveys. New York: John Wiley & Sons, Inc. Tekin, H. (2007). Eğitimde Ölçme ve Değerlendirme (18. Baskı). Ankara: Yargı Yayınevi.
19. Turgut, M.F. ve Baykul, Y. (2012). Eğitimde Ölçme ve Değerlendirme (4. Baskı). Ankara: PEGEM Akademi Yayınları.
20. Yıldırım, C. (1999). Eğitimde Ölçme ve Değerlendirme (4. Basım). Ankara: ÖSYM Yayınları.