Investigation of Parameter Invariance in Two-Parameter Item Response Theory Model

Abstract

When the measurement theory is examined, it is possible to come across two theories. The first of these is Classical Test Theory and the other is Item Response Theory. There are many features that distinguish Item Response Theory from Classical Test Theory. One of these is the parameter invariance feature. When the literature is examined, it is seen that the invariance feature is still the subject of debate. Based on this information, in this study, the final exam data of Karadeniz Technical University Statistics and Computer Science Department Object Oriented Programming course were examined. The exam consists of 23 items and was applied to all students who took the course. Before starting the analyzes, it was determined that the model supported by the data was the Two Parameter Item Response Theory Model. When examining the invariance property of the item parameters, the participants were subdivided according to gender and the number of times they took the course. For the person parameters, the items were divided according to difficulty and discrimination indexes. The response vector for each subtest was obtained by simulation, with a character similar to the real data. According to the results obtained, it is interpreted whether the parameter invariance feature is provided or not.

Keywords

• Measurement
• Item response theory
• Two-Parameters model
• Kruskal-Wallis Test

İki Parametreli Madde Tepki Kuramı Modelinde Parametre Değişmezliğinin İncelenmesi

Abstract

Ölçme teorisi incelendiğinde, temel olarak iki kurama rastlamak mümkündür. Bunlardan ilki Klasik Test Kuramı, diğeri ise Madde Tepki Kuramıdır. Madde Tepki Kuramını Klasik Test Kuramından ayıran birçok özellik mevcuttur. Bunlardan biri de parametre değişmezliği özelliğidir. Literatür incelendiğinde değişmezlik özelliğinin hala tartışma konusu olduğu görülmektedir. Bu bilgilerden hareketle bu çalışmada, Karadeniz Teknik Üniversitesi İstatistik ve Bilgisayar Bilimleri Bölümü Nesneye Yönelik Programlama dersinin final sınavı verileri incelenmiştir. Sınav 23 maddeden oluşmaktadır ve dersi alan tüm öğrencilere uygulanmıştır. Analizlere başlamadan önce, veri tarafından en çok desteklenen modelin İki Parametreli Madde Tepki Kuramı Modeli olduğu belirlenmiştir. Madde parametrelerinin değişmezlik özelliğini incelerken, katılımcılar cinsiyet ve dersi alış sayılarına göre alt bölümlere ayrılmıştır. Kişi parametreleri için ise maddeler, güçlük ve ayırt edicilik indekslerine göre ayrılmıştır. Her bir alt test için gerçek veriye benzer karakterde tepki vektörü simülasyon ile elde edilmiştir. Böylelikle, mevcut olan az miktardaki gerçek veri arttırılarak daha doğru sonuçlar elde etmek amaçlanmıştır. Analizden elde edilen sonuçlara göre madde ve kişi parametrelerinin tahminlerinin parametre değişmezliği ilkesine uygun olup olmadığı yorumlanmıştır. 

Keywords

• Ölçme
• Madde tepki kuramı
• İki parametreli model
• Kruskal-Wallis Testi

References

1. [1] Hambleton, R., Swaminathan, H. 1985. Item Response Theory: Principles and Applications. Springer Science& Business Media, USA, 332s.
2. [2] Embretson, S.E., Reise, S.P. 2000. Item Response Theory for Psychologists. Psychology Press, Los Angeles, 384s.
3. [3] De Mars, C. 2010. Item Response Theory. Oxford University Press, New York, 130s.
4. [4] Drasgow, F., Lissak, R. I. 1983. Modified parallel analysis: A Procedure for Examining the Latent Dimensionality of Dichotomously Scored Item Responses. Journal of Applied Psychology, 68(3), 363–373.
5. [5] De Gruijter, DNM., van der Kamp, LJT. 2008. Statistical Test Theory for the Behavioral Sciences. Psychometrika, 73(4), 791-792.
6. [6] Recklase, M.D. 2009. Multidimensional Item Response Theory. Springer, New York, 339s.
7. [7] Güler, N. ed. 2016. Madde Tepki Kuramının Temelleri. Pegem Akademi, Ankara, 171s.
8. [8] Doğan, N., Kılıç, A.F. 2017. Madde Tepki Kuramı Yetenek ve Madde Parametreleri Kestirimlerinin Değişmezliğinin İncelenmesi. ss 297-314. Demirel, Ö., Dinçer, S., ed. 2017. Küreselleşen Dünyada Eğitim, Pegem Akademi, Ankara, 902s.

9. [9] Sünbül, Ö., Erkuş, A. 2013. Madde Parametrelerinin Değişmezliğinin Çeşitli Boyutluluk Özelliği Gösteren Yapılarda Madde Tepki Kuramına Göre İncelenmesi. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 9(2), 378-398.
10. [10] Reyhanlıoğlu Keceoğlu, Ç. 2018. Parametrik ve Parametrik Olmayan Madde Tepki Kuramında Farklı Örneklem Büyüklüklerine ve Boyutluluklarına Göre Parametre Değişmezliğinin İncelenmesi. Hacettepe Üniversitesi, Eğitim Bilimleri Enstitüsü, Doktora Tezi, 111s, Ankara.
11. [11] Acar, T., Kelecioğlu, H. 2008. Genelleştirilmiş Aşamalı Doğrusal Model ile Rasch Modelinin Parametre Değişmezliğinin Karşılaştırılması. I. Ulusal Eğitimde ve Psikolojide Ölçme ve Değerlendirme Kongresi, 14-16 Mayıs, Ankara, 181-193.
12. [12] Kelkar, V., Wightman, L.F., Luecht, R.M. 2000. Evaluation of the IRT Parameter Invariance Property for the MCAT. Annual Meeting of the National Council on Measurement in Education, 25-27 April, New Orleans.
13. [13] Custer, M., Sharairi, S., Yamazaki, K., Signatur, D., Swift, D., Frey, S. 2008. A Paradox Between IRT İnvariance And Model-Data Fit When Utilizing the One-Parameter and Three-Parameter Models. Annual Meeting of the American Educational Research Association, 24-28 March, New York, 70-71.
14. [14] Adedoyin, O.O. 2010. Investigating the Invariance of Person Parameter Estimates Based on Classical Test and Item Response Theories. International Journal of Education Science, 2(2), 107-113.
15. [15] Adedoyin, O.O., Nenty, H.J., Chilasa, B. 2008. Investigating the Invariance of Item Difficulty Parameter Estimates Based on CTT and IRT. Educational Research and Review, 3(2), 83-93.
16. [16] Birnbaum, A. 1968. Some Latent Trait Models and Their Use in Inferring an Examinee’s Ability. ss 379-398. Lord, F.M., Novick, M.R. ed. 1968. Statistical theories of mental test score, Addison-Wesley, USA, 460s.
17. [17] Orlando, M., Thissen, D. 2000. New Item Fit Indices for Dichotomous Item Response Theory Models. Applied Psychological Measurement, 24(1), 50-64.