Nitelik Büyüklüğünün Madde Seçme Algoritmalarının Performansı Üzerindeki Etkisi

Abstract

Bilişsel tanı modelleri (BTM) ve bilgisayar ortamında bireyselleştirilmiş (BOB) testlerin kullanımı hem eğitim alanında hem de psikoloji gibi diğer alanlarda hızla artmaktadır. Günümüze kadar BOB testler üzerine yapılan araştırmaların çoğunluğu genellikle özetleyici bir değerlendirme sağlayan madde tepki kuramına dayalı modeller ile gerçekleştirilmiştir. Oysa BTM gibi bireylerin uzmanlaştığı ya da eksik kaldığı konularda daha ayrıntılı sonuç sağlayan biçimlendirici değerlendirme teknikleri son zamanlarda giderek önem kazanmıştır. BTM’lerin BOB (BiTBOB) testlerde kullanımı bireylerin yetenek düzeyleri hakkında daha ayrıntılı ve etkin bir değerlendirme sağlamada etkili bir yöntemdir. Bu çalışmanın amacı, BiTBOB testlerde nitelik büyüklüğünün madde seçme algoritmalarının performansları üzerindeki etkisini araştırmaktır. Simülasyon çalışmasında farklı nitelik büyüklüklerinin ve BTM’lerin, madde seçme algoritmalarının performansları üzerindeki etkisi ortalama test uzunluklarına bakılarak araştırılmıştır. Elde edilen sonuçlara göre, farklı nitelik büyüklüklerinin ortalama test uzunlukları üzerinde önemli değişmelere sebep olduğu, fakat farklı BTM kullanımının algoritmalar üzerinden test uzunlukları açısından herhangi bir etkisinin olmadığı gözlemlenmiştir. 

References

1. Başokçu, T. O. (2014). Öğrenci yeteneğinin kestiriminde bilişsel tanı modelleri ve uygulamaları. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi. http://www.efdergi.ibu.edu.tr/index.php/efdergi/article/view/1341 adresinden erişildi.
2. Cheng, Y. (2009). When cognitive diagnosis meets computerized adaptive testing: CD-CAT. Psychometrika, 74, 619-632.
3. de la Torre, J. (2009). DINA model and parameter estimation: A didactic. Journal of Educational and Behavioral Statistics, 34, 115-130.
4. de la Torre, J. (2011). The generalized DINA model framework. Psychometrika, 76, 179-199.
5. DiBello, L. V., & Stout, W. (2007). Guest editors introduction and overview: IRT-based cognitive diagnostic models and related methods. Journal of Educational Measurement, 44, 285-291.
6. Doornik, J. A. (2011). Object-oriented matrix programming using Ox (Versiyon 6.21) [Computer software]. London, England: Timberlake Consultants Press.
7. Haertel, E. H. (1989). Using restricted latent class models to map the skill structure of achievement items. Journal of Educational Measurement, 26, 333-352.
8. Henson, R. A., Templin, J. L., & Willse, J. T. (2009). Defining a family of cognitive diagnosis models using log-linear models with latent variables. Psychometrika, 74, 191-210.

9. Hsu, C.-L., Wang, W.-C., & Chen, S.-Y. (2013). Variable-length computerized adaptive testing based on cognitive diagnosis models. Applied Psychological Measurement, 37, 563-582.
10. Junker, B. W., & Sijtsma, K. (2001). Cognitive assessment models with few assumptions, and connections with nonparametric item response theory. Applied Psychological Measurement, 25, 258-272.
11. Kaplan, M., de la Torre, J., & Barrada, J. R. (2015). New item selection methods for cognitive diagnosis computerized adaptive testing. Applied Psychological Measurement, 39, 167-188.
12. Meijer, R. R., & Nering, M. L. (1999). Computerized adaptive testing: Overview and introduction. Applied Psychological Measurement, 23, 187-194.
13. Tatsuoka, K. (1983). Rule space: An approach for dealing with misconceptions based on item response theory. Journal of Educational Measurement, 20, 345-354.
14. Templin, J., & Henson, R. (2006). Measurement of psychological disorders using cognitive diagnosis models. Psychological Methods, 11, 287-305.
15. Thissen, D., & Mislevy, R. J. (2000). Testing algorithms. In H. Wainer et al. (Eds.). Computerized adaptive testing: A primer (ss. 101-133). Hillsdale, NJ: Lawrence Erlbaum Associates.
16. van der Linden, W. J., & Glas, C. A. W. (Eds.). (2000). Computerized adaptive testing: Theory and practice. Boston, MA: Kluwer.
17. von Davier, M. (2008). A general diagnostic model applied to language testing data. The British Journal of Mathematical and Statistical Psychology, 61, 287-307.
18. Wainer, H., Dorans, N. J., Flaugher, R., Green, B. F., Mislevy, R. J., Steinberg, L., & Thissen, D. (1980). Computerized adaptive testing: A Primer. Hillsdale, NJ: Erlbaum.
19. Xu, X., Chang, H.-H., & Douglas, J. (2003, Nisan). Computerized adaptive testing strategies for cognitive diagnosis. Paper presented at the annual meeting of National Council on Measurement in Education, Montreal, Quebec, Canada.