JMETRIK: Classical Test Theory and Item Response Theory Data Analysis Software

Abstract

The aim of this study is to introduce the jMetric program which is one of the open source programs that can be used in the context of Item Response Theory and Classical Test Theory. In this context, the interface of the program, importing data to the program, a sample analysis, installing the jmetrik and support for the program are discussed. In sample analysis, the answers given by a total of 500 students from state and private schools, to a 10-item math test were analyzed to see whether they shows differentiating item functioning according to the type of school they attend. As a result of the analysis, it was found that two items were showing medium-level Differential Item Functioning (DIF). As a result of the study, it was found that the jMetric program, which is capable of performing Item Response Theory (IRT) analysis for two-category and multi-category items, is open to innovations, especially because it is open-source, and that researchers can easily add the suggested codes to the program and thus the program can be improved. In addition, an advantage of the program is producing visual results related to the analysis through the item characteristic curves.

Keywords

• jMetrik,Item Response Theory,Classical Test Theory,Differential Item Functioning

Abstract

Bu çalışmanın amacı özellikle son yıllarda Madde Tepki Kuramı ve Klasik test kuramı kapsamında kullanılabilecek açık kaynak kodlu programlardan biri olan jMetrik programının tanıtılmasıdır. Bu amaç kapsamında programın ara yüzü, programa verinin nasıl tanıtılacağı, örnek bir analiz ve programa ilişkin desteğin nasıl sağlanacağını konuları üzerinde durulmuştur. Örnek analiz kapsamında devler ve özel okulda öğrenim gören toplam 500 öğrencinin 10 maddelik matematik testine verdikleri yanıtların öğrenim gördükleri okul türüne göre değişen madde fonksiyonu gösterip göstermediği belirlenmeye çalışılmıştır. Analiz sonucunda iki madde orta düzeyde DMF gösteren madde olduğu belirlenmiştir. Çalışma sonucunda hem iki kategorili hem de çok kategorili maddelere ilişkin MTK analizleri yapabilen jMetrik programının özellikle açık kaynak kodlu olması sebebiyle yeniliklere açık olduğu, araştırmacıların önerdikleri kodları programa kolaylıkla ekleyebilecekleri ve bu sayede programın geliştirilebileceği belirlenmiştir. Bunun yanında madde karakteristik eğrileri yardımıyla madde bazında yapılacak analizlere ilişkin görsel sonuçlar üretmesi programın bir avantajı olarak belirlenmiştir.

Keywords

• jMetrik,Madde Tepki Kuramı,Klasik Test Kuramı,Değişen Madde Fonkisyonu

References

1. Aksu, G., Reyhanlıoğlu, Ç., Eser M. T. (2017). Examining the two categorical datas by jMetrik, Bilog-MG and IRTPRO with application of mathematics exam. European Scientific Journal, 13(33).
2. Crocker, L., & Algina, J. (1986). Introduction to classical &modern test theory. Orlando, FL: Holt, Rinehart & Winston.
3. Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Lawrence Erlbaum Associate, Inc.
4. Haebara, T. (1980). Equating logistic ability scales by a weighted least squares method. Japanese Psychological Research, 22(3), 144–149.
5. Hambleton, R. K., & Swaminathan, H. (1985). Item response theory principles and applications. Boston-USA: Kluwer-Nijhoff Publishing.
6. Kim, S. & Kolen, M. J. (2007). Effects of scale linking on different definitions of criterion functions for the IRT characteristic curve methods. Journal of Educational and Behavioral Statistics, 32(4), 371–397.
7. Lord, F.M. & Novick, M.R. (1968) Statistical Theories of Mental Test Scores. Addison-Wesley, Menlo Park.
8. Loyd, B. H. & Hoover, H. D. (1980). Vertical equating using the Rasch model. Journal of Educational Measurement, 17(3), 179–193.

9. Marco, G. L. (1977). Item characteristic curve solutions to three intractable testing problems. Journal of Educational Measurement, 14(2), 139–160.
10. McDonald, R. P. (1999). Test theory: A unified treatment. Mahwah, NJ: Lawrence Erlbaum Associates.
11. Meyer, J. P. (2010). Understanding measurement: Reliability. New York: Oxford University Press.
12. Meyer, J. P. & Hailey, E. (2012). A study of Rasch partial credit, and rating scale model parameter recovery in WINSTEPS and jMetrik. Journal of Applied Measurement, 13(3), 248–258.
13. Meyer, J. P. (2014). Applied Measurement with jMetrik. New York: Routledge.
14. Meyer, J. P. (2018). jMetrik. In Van Der Linden, W. (Ed.). Handbook of Item Response Theory, Volume 3. Boca Raton, FL: Taylor & Francis.
15. Stocking, M. L. & Lord, F. M. (1983). Developing a common metric in item response theory. Applied Psychological Measurement, 7(2), 201–210.
16. Wright, B. D. & Masters, G. N. (1982). Rating scale analysis. Chicago, IL: MESA Press.