An Investıgatıon Of The Use Of Dıstractors In Cognıtıve Dıagnostıc Test In Terms Of Identıfyıng Learnıng Defıcıencıes

Abstract

The purpose of this study is to develop a cognitive diagnostic test in accordance with the MC-DINA model that utilizes distractors in multiple-choice tests to identify learning deficits and to examine the effect of using distractors on the distribution of individuals in implicit classes in comparison with the DINA model. Within the scope of the research, the data obtained by applying the trial form consisting of 31 items to 404 students were analyzed in the R Studio program according to the DINA model, and the final form was created with the first 15 items with RMSEA values less than 0.05 and the highest discrimination indices. After the data obtained by applying the final form to 827 students were tested for compliance with the DINA model (SRMSR, MADcor, RMSEA, MADQ3 and MADaQ3 ≤0.05), item parameters were calculated and Q matrix and latent class sizes were compared according to the DINA model and MC-DINA model. Then, according to the MC-DINA model, selection probability parameters of latent classes for each option were calculated. According to the results of the study, the calculation of choice probability parameters to determine which option is most likely to be chosen by individuals in latent classes in MC-DINA model analyses is superior to the DINA model. In addition, since more latent classes were obtained in MC-DINA model analyses compared to DINA model, it was concluded that MC-DINA model separated latent classes better than DINA model.

Keywords

• MC-DINA Model
• Cognitive diagnostic models
• Test development
• Learning deficits

BİLİŞSEL TANI TESTİNDE ÇELDİRİCİLERDEN YARARLANMA DURUMUNUN ÖĞRENME EKSİKLİKLERİNİN BELİRLENMESİ AÇISINDAN İNCELENMESİ

Öz

Bu çalışmanın amacı, öğrenme eksikliklerinin belirlemek için çoktan seçmeli testlerdeki çeldiricilerden yararlanan MC-DINA modele uygun bilişsel tanı testi geliştirme ve çeldiricilerden yararlanılma durumunun örtük sınıflarda yer alan bireylerin dağılımlarına etkisini DINA model ile karşılaştırmalı olarak incelemektir. Araştırma kapsamında öncelikle 31 maddeden oluşan deneme formunun 404 öğrenciye uygulanmasıyla elde edilen veriler DINA modele göre R Studio programında analiz edilerek RMSEA değeri 0,05’ten küçük ve ayırt edicilik indeksleri en yüksek ilk 15 madde ile nihai form oluşturulmuştur. Nihai formun 827 öğrenciye uygulanmasıyla elde dilen verilerin DINA modele uygunluğu (SRMSR, MADcor, RMSEA, MADQ3 ve MADaQ3 ≤0,05) test edildikten sonra madde parametreleri hesaplanarak, DINA model ve MC-DINA modele göre Q matris ve örtük sınıf büyüklükleri karşılaştırılmıştır. Ardından MC-DINA modele göre her seçeneğin, örtük sınıflara ait seçim olasılık parametreleri hesaplanmıştır. Araştırmanın sonuçlarına göre, MC-DINA model analizlerinde örtük sınıflarda yer alan bireylerin hangi seçeneği seçme olasılığının en yüksek olduğunun belirlenmesi için seçim olasılık parametrelerinin hesaplanması, modelin DINA modele göre üstün özelliklerindedir. Ayrıca MC-DINA model analizlerinde DINA modele göre daha fazla örtük sınıf elde edilmesi sebebiyle MC-DINA modelin DINA modele göre örtük sınıfları daha iyi ayrıştırdığı sonuçlarına ulaşılmıştır.

Anahtar Kelimeler

• MC-DINA Model
• Bilişsel Tanı Modelleri
• Test Geliştirme
• Öğrenme Eksiklikleri

Kaynakça

1. Akkuş, O., Baykul, Y. (2001). Çoktan Seçmeli Test Maddelerini Puanlamada Seçenekleri Farklı Biçimlerde Ağırlıklandırmanın Madde ve Test İstatistiklerine Olan Etkisinin İncelenmesi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 20 (20), 9-15.
2. Atılgan, H. (2009). Eğitimde Ölçme ve Değerlendirme. Ankara: Anı Yayıncılık.
3. Başokçu, T. O. (2011). Bağıl ve mutlak değerlendirme ile DINA modele göre yapılan sınıflamaların geçerliğinin karşılaştırılması. (Doktora tezi). https://tez.yok.gov.tr sayfasından erişilmiştir.
4. Chen W., Thissen D. (1997). Local dependence indexes for item pairs using item response theory. Journal of Educational and Behavioral Statistics, 22, 265-289.
5. de La Torre, J. (2008). An Empirically Based Method of Q‐Matrix Validation for the DINA Model: Development and Applications. Journal of educational, 45(4), 343-362.
6. de La Torre, J. (2009). A cognitive diagnosis model for cognitively based multiple-choice options. Applied Psychological Measurement, 33(3), 163-183.
7. de La Torre, J., Hong, Y., Deng, W. (2010). Factors affecting the item parameter estimation and classification accuracy of the DINA model. Journal of Educational Measurement, 47(2), 227-249.
8. Demir, E. K. Ve Koç, N. (2018). DINA model ile geliştirilen bir testin psikometrik özelliklerinin belirlenmesi. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 18(1), 130-156.

9. DiBello, L. V., Roussos, L. A. ve Stout, W. F. (2007). Review of cognitively diagnostic assessment and a summary of psychometric models. In C. R. Rao ve S. Sinharay (Eds.), Handbook of Statistics. Volume 26: Psychometrics (pp. 979-1030). Amsterdam, The Netherlands: Elsevier.
10. Doğan, N. (2020). Eğitimde Ölçme ve Değerlendirme. Ankara: Pegem Akademi.
11. Elbulok, M. (2021). A cognitively diagnostic modeling approach to diagnosing misconceptions and subskills (Order No. 28314016). Available from ProQuest Dissertations & Theses Global. (2492657094). Retrieved from https://www.proquest.com/dissertations-theses/cognitively-diagnostic-modeling-approach/docview/2492657094/se-2 .
12. Fay, R. H. (2018). Application of the Fusion Model for Cognitive Diagnostic Assessment with Non-diagnostic Algebra-Geometry Readiness Test Data. University of South Florida.
13. Fu, Y. (2018). Comparison of general diagnostic classification model for multiple-choice and dichotomous diagnostic classification model (Order No. 10751705). Available from ProQuest Dissertations & Theses Global. (2063068556). Retrieved from https://www.proquest.com/dissertations-theses/comparison-general-diagnostic-classification/docview/2063068556/se-2.
14. Gu, Z. (2011). Maximizing the potential of multiple-choice items for cognitive diagnostic assessment (Order No. NR78204). Available from ProQuest Dissertations & Theses Global. (925631907). Retrieved from https://www.proquest.com/dissertations-theses/maximizing-potential-multiple-choice-items/docview/925631907/se-2.
15. Hu, L. and Bentler, P.M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6 (1), 1-55. https://doi.org/10.1080/1070551990954011.
16. Jang, E. E. E. (2008). A framework for cognitive diagnostic assessment. In Towards adaptive CALL: Natural language processing for diagnostic language assessment, 117-131, Iowa State University, Toronto.
17. Koyuncu, M. S., Erdemir, A., & Şenferah, S. (2019). DINA Modele Göre Testin Psikometrik Özelliklerinin Belirlenmesi ve Bireysel Dönüt Verilmesi: TIMSS 2015. Türk Eğitim Bilimleri Dergisi, 17(1), 103-120.
18. Lee, Y., Park, Y. ve Taylan, D. (2011). A cognitive diagnostic modeling of attribute mastery in massachusetts, minnesota, and the u.s. national sample using the TIMSS 2007. International Journal of Testing, 11: 144–177.
19. Lei, P. W. ve Li, H. (2016). Performance of Fit Indices in Choosing Correct Cognitive Diagnostic Models and Q-Matrices. Applied Psychological Measurement, 1-13. DOI: 10.1177/0146621616647954.
20. Ravand, H., & Robitzsch, A. (2018). Cognitive diagnostic model of best choice: A study of reading comprehension. Educational Psychology, 38(10), 1255-1277.
21. Ozaki, K. (2015). DINA Models for Multiple-Choice Items With Few Parameters: Considering Incorrect Answers. Applied Psychological Measurement, 39(6), 431-447.
22. Semerci, Ç. (2015). Ölçme ve Değerlendirme. E. Karip içinde, Eğitimde Ölçme ve Değerlendirme (s. 1-15). Ankara: Pegem Akademi.
23. Tatsuoka, K. K. (2009). Cognıtıve Assessment An Introduction to the Rule Space Method(1st ed.) Newyork: London.
24. Tutar, H., Erdem A.T.(2022). Örnekleriyle Bilimsel Araştırma Yöntemleri ve SPSS Uygulamaları. Ankara: Seçkin Yayıncılık.
25. Ye, F. (2005). Diagnostic Assessment of Urban Middle School Student Learning of Pre Algebra Patterns.Unpublished Doctoral Dissertation. USA: The Ohio State University.
26. Yen, W. M. (1984). Effects of local item dependence on the fit and equating performance of the three-parameter logistic model. Applied Psychological Measurement, 8, 125-145. doi:10.1177/014662168400800201.
27. Zhang, W. (2006). Detecting differential item functioning using the DINA model (Order No. 3242405). Available from ProQuest Dissertations & Theses Global. (305281812). Retrieved from https://www.proquest.com/dissertations-theses/detecting-differential-item-functioning-using/docview/305281812/se-2