The Effect of Group Properties to Item and Person Parameters

Yıl 2019, Cilt 39, Sayı 1, 249 - 270, 20.03.2019

Hakan KOĞAR Ayfer SAYIN

https://doi.org/10.17152/gefad.424306

Öz

The aim of this study is to determine the extent to which item parameters estimated via CTT and IRT depend on group properties (being mater or non-master). Besides, the relationship between findings obtained from CTT and IRT is evaluated. The study group of this study consists of 1916 undergraduates who study at different departments (22) in educational faculty in a state university of Turkey. The relationship between item parameters obtained from datasets having different properties and the relationships between item parameters obtained via CTT and IRT have been investigated separately. Besides, the relationships between total scores for CTT and ability parameters for IRT have been examined for different datasets. The relationship between point biserial correlation obtained from CTT and a parameter obtained from 2PL is moderate and significant. It has been determined that the other relationship coefficients are low or non-significant. It has been determined that measurement theories estimate the ability of individuals in datasets having different distribution and properties similar. The high relationships have generally been obtained among difficulty parameters estimated from different datasets. This situation shows that the estimates obtained for CTT are group-dependent and the estimates for IRT are group-independent. Similarly, it has been observed that there is a significant difference between item discrimination indexes estimated for CTT and IRT.   

Anahtar Kelimeler

Classical test theory, Item response theory, Group properties, Item parameters, Person parameters

Grup Başarısına Göre Madde ve Kişi Parametreleri Arasındaki İlişkinin İncelenmesi

Öz

Bu çalışmada KTK ve MTK’ye dayalı olarak madde parametrelerinin grubun özelliğine (başarılı ve başarısız olma durumuna) ne düzeyde bağlı olduğunu belirlemek amaçlanmıştır. Aynı zamanda KTK ve MTK’dan elde edilen bulgular arasındaki ilişkiler de incelenmiştir. Türkiye’de bir devlet üniversitesinin eğitim fakültesinin farklı 22 bölümünde öğrenim görmekte olan toplam 1916 öğrenci bu araştırmanın çalışma grubunu oluşturmaktadır. Farklı özelliklerdeki veri setlerinden elde edilen madde parametreleri arasındaki ilişkiler ve KTK ve MTK’den elde edilen madde parametreleri arasındaki ilişkiler ayrı ayrı incelenmiştir. Ayrıca, KTK için toplam puanlar ile MTK için yetenek parametreleri arasındaki ilişkiler de farklı veri setleri için ayrı ayrı incelenmiştir. Genel olarak KTK’dan elde edilen nokta çift serili korelasyon katsayısı ile 2PL modelden elde edilen a parametresi arasındaki ilişkiler orta düzeyde ve anlamlıdır. Diğer ilişki katsayılarının ise düşük düzeyde olduğu ya da ilişkinin olmadığı durumların ortaya çıktığı belirlenmiştir. Ölçme kuramlarının farklı dağılım özellikleri ve nitelikleri bulunan veri setlerindeki bireylerin yeteneklerini benzer şekilde kestirdiği tespit edilmiştir. Farklı veri setlerinden elde edilen güçlük parametreleri arasında genellikle yüksek ilişkiler belirlenmiştir. Güçlük indeksleri arasındaki ilişkiler KTK’ya dayalı gerçekleştirilen kestirimlerde MTK’ya dayalı kestirimlere göre daha yüksek hesaplanmıştır. Bu durum, KTK’nin hesaplamalarının gruba bağlı olduğunun bir göstergesi olmakla birlikte MTK kestirimlerinin de gruba bağlı değişim gösterdiğini göstermektedir. Benzer şekilde madde ayırt edicilik indekslerinin hem KTK hem de MTK’ya dayalı modellerle hesaplamaları arasında anlamlı farklılıklar olduğu tespit edilmiştir.

Anahtar Kelimeler

Klasik test kuramı, Madde tepki kuramı, Grup özellikleri, Madde parametreleri, Kişi parametreleri

Kaynakça

• Adedoyin, O. O., Nenty, H. J., & Chilisa, B. (2008). Investigating the invariance of item difficulty parameter estimates based on CTT and IRT. Educational Research and Reviews, 3(3), 83.
• Awopeju, O. A., & Afolabi, E. R. I. (2016). Comparative analysis of classical test theory and item response theory based item parameter estimates of senior school certificate mathematics examination. European Scientific Journal, ESJ, 12(28).
• Çıkrıkçı-Demirtaşlı, N. (2002). A study of raven standard progressıve matrıces test’s ıtem measures under classıc and ıtem response models: an empırıcal comparıson1. Ankara University, Journal of Faculty of Educational Sciences, 35(1-2).
• DeMars, C. (2001). Group differences based on IRT scores: Does the model matter?. Educational and Psychological Measurement, 61(1), 60-70.
• Fan, X. (1998). Item response theory and classical test theory: An empirical comparison of their item/person statistics. Educational and psychological measurement, 58(3), 357-381.
• Gelbal, S. (1994). pMadde güçlük indeksi ile rasch modelinin b parametresi ve bunlara dayalı yetenek ölçüleri üzerine bir karşılaştırma. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 10(10).
• Hambleton, R. K., & Jones, R. W. (2012). Comparison of classical test theory and item response theory and their applications to test development, Instructional Topics in Educational Measurement Series 16.
• Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory (Vol. 2). Sage.
• Harris, D. (1989). Comparison of 1‐, 2‐, and 3‐Parameter IRT Models. Educational Measurement: Issues and Practice, 8(1), 35-41.
• Hernandez, R. (2009). Comparison of the item discrimination and item difficulty of the quick-mental aptitude test using CTT and IRT methods. The International Journal of Educational and Psychological Assessment, 1(1), 12-18.
• Hwang, D. Y. (2002). Classical Test Theory and Item Response Theory: Analytical and Empirical Comparisons. Paper presented at the Annual Meeting of the Southwest Educational Research Association, Austin, TX.
• Lawson, S. (1991). One parameter latent trait measurement: Do the results justify the effort. Advances in educational research: Substantive findings, methodological developments, 1, 159-168.
• Macdonald, P., & Paunonen, S. V. (2002). A Monte Carlo comparison of item and person statistics based on item response theory versus classical test theory. Educational and psychological measurement, 62(6), 921-943.
• Progar, Š., Sočan, G., & Peč, M. (2008). An empirical comparison of item response theory and classical test theory. Horizons of Psychology, 17(3), 5-24.
• Roberts, J. S., Donoghue, J. R., & Laughlin, J. E. (2002). Characteristics of MML/EAP parameter estimates in the generalized graded unfolding model. Applied Psychological Measurement, 26(2), 192-207.
• Sass, D. A., Schmitt, T. A., & Walker, C. M. (2008). Estimating non-normal latent trait distributions within item response theory using true and estimated item parameters. Applied Measurement in Education, 21(1), 65-88.
• Sen, S., Cohen, A. S., & Kim, S. H. (2016). The impact of non-normality on extraction of spurious latent classes in mixture IRT models. Applied Psychological Measurement, 40(2), 98-113.
• Skaggs, G., & Lissitz, R. W. (1988). Effect of examinee ability on test equating invariance. Applied Psychological Measurement, 12(1), 69-82.
• Stage, C. (1999). A Comparison Between Item Analysis Based on Item Response Theory and on Classical Test Theory: A Study of the SweSAT Subtest WORD. Department of educational measurement, Umeå univ..
• Xu, X., & Jia, Y. (2011). The sensitivity of parameter estimates to the latent ability distribution. ETS Research Report Series, 2011(2).