-

Abstract

The purpose of this study is to identify and compare NIRT, PIRT and MIRT across different sample sizes, test length and correlation between dimensions in a two dimensional simple structures. Data sets in various conditions have been simulated. These conditions are sample size (100, 500, 1000 and 5000), test length (5, 15 and 25) and correlation between dimensions (0.00, 0.25 and 0.50). From each experimental design, within the frame of Monte Carlo study, the findings have been obtained through 20 replications. For the item parameters and model data fit for the items, standard errors and significance values have been calculated. Having analyzed the findings of the research, with the increase of sample sizes and test length, it is also found out that the model data fit for the test has increased as well. It can be stated that tests consisting of less items fit better to MIRT models. In all simulation designs, model data fit for the items are calculated with quite low errors in NIRT. When the chi-square, infit and outfit values obtained for PIRT have been analyzed, it has been revealed that along with the increase of sample sizes and test length, all three coefficients exhibit better model fit. In NIRT, the standard errors belonging to Hi and p parameters tend to decrease with the increase of sample sizes and test length. In PIRT, a parameters tend to decrease when the sample sizes and test length increase

Keywords

• item response theory, item parameter, model data fit, monte carlo

Madde Tepki Kuramına ait Parametrelerin ve Model Uyumlarının Karşılaştırılması: Bir Monte Carlo Çalışması

Abstract

Bu araştırmanın amacı, basit ve iki boyutlu yapılarda, çeşitli örneklem büyüklükleri, test uzunlukları ve boyutlar arası korelasyon değerlerinde, madde tepki kuramına ait farklı uygulamalardan elde edilen madde parametreleri, maddelere ve teste ait model veri uyumlarını belirlemek ve sonuçları karşılaştırmaktır. Örneklem büyüklüğü (100, 500, 1000 ve 5000), test uzunluğu (5, 15 ve 25) ve boyutlar arası korelasyon değerlerindeki (0.00, 0.25 ve 0.50) değişim ile elde edilen her bir deneysel desenden, Monte Carlo çalışması kapsamında, 20 tekrar ile veri setleri üretilmiştir. Bu tekrarlar, tek ve çok değişkenli normal dağılım altında üretilmiştir. Madde ve model veri uyumu parametreleri için standart hata ve anlamlılık değerleri hesaplanmıştır. Bulgular incelendiğinde, örneklem büyüklüğü ve test uzunluğundaki artış ile birlikte, teste ait model veri uyumu değerlerinin de arttığı belirlenmiştir. Daha az maddeden oluşan testlerin çok boyutlu madde tepki kuramına daha iyi uyum sağladığı söylenebilmektedir. Tüm simülasyon düzeneklerinde, parametrik olmayan madde tepki kuramında, maddelere ait model veri uyumu oldukça düşük bir hata ile hesaplanmaktadır. Parametrik madde tepki kuramına ait ki-kare, infit ve outfit değerleri incelendiğinde, her üç katsayının da örneklem büyüklüğü ve test uzunluğundaki artış ile birlikte, daha iyi model veri uyumunu gösterdiği belirlenmiştir. Parametrik olmayan madde tepki kuramında H_i ve p parametrelerine ait standart hata değerleri, örneklem büyüklüğündeki artış ile azalma eğilimi göstermektedir. Parametrik madde tepki kuramında a parametresine ait standart hata değerlerinin, örneklem büyüklüğündeki ve test uzunluğundaki artış ile birlikte, sıfıra yaklaştığı sonucuna varılmıştır. Çok boyutlu madde tepki kuramında a₁ ve a₂ parametrelerine ait standart hata değerleri, parametrik madde tepki kuramına benzer sonuçlar vermektedir. 

Keywords

• madde tepki kuramı, madde parametresi, model veri uyumu, monte carlo

References

1. Ackerman, T. A. (1996). Graphical representation of multidimensional item response theory analyses. Applied Psychological Measurement, 20, 311-329.
2. Ackerman, T. A., Gierl, M. J., & Walker, C. M. (2003). Using multidimensional item response theory to evaluate educational and psychological tests. Educational Measurement: Issues and Practice, 22, 37-51.
3. Ansley, T. N., & Forsyth, R. A. (1985). An examina-tion of the characteristics of unidimensional IRT parameter estimates derived from two-dimensional data. Applied Psychological Measurement, 9, 37-48.
4. Baker, F. B. (1991). Comparison of minimum logit chi-square and bayesian ıtem parameter estimation. British Journal of Mathematical and Statistical Psychology, 44, 299-313.
5. Batley, R. M. & Boss, M. W. (1993). The effects on parameter estimation of correlated dimensions and a distribution-restricted trait in a multidimensional item response model. Applied Psychological Measurement, 17, 131 – 141.
6. Bolt, D. M., & Lall, V. F. (2003). Estimation of compensatory and noncompensatory multidimensional item response models using markov chain monte carlo. Applied Psychological Measurement, 27(6), 395-414.
7. Cavanagh, R. F., & Waugh, R. F. (2011). Applications of rasch measurement in learning environments research (Eds. Vol. 2). Sense Publishers.
8. Chia-Lin, K., I-Pıng, H., Wen-Chung, W., Ching-Fan, S., Tzu-Ying, Y., Chun-Hou, W., & Ching-Lin, H. (2006). Validation of the action research arm test usıng item response theory in patients after stroke. J Rehabil Med, 38, 375-380.

9. Goodman, J. T. (2008). An examination of the residual covariance structures of complex performance exercises under various scaling and scoring methods. Unpublished Doctoral Dissertation. The University of North Carolina.
10. Hambleton, R. K., & Swaminathan, H. (1985). Item response theory principles and applications. Boston: Kluwer.
11. Harris, D. (1989). Comparison of 1-, 2-, and 3-parameter IRT models. Educational Measurement: Issues and Practice, 8(1), 35–41.
12. Harwell, M. R., Stone, C. A., Hsu, T.-C., & Kirisci, L. (1996). Monte Carlo studies in item response theory. Applied Psychological Measurement, 20(2), 101-125.
13. Henard, D. H. (2000). Item response theory, in Reading and Understanding MORE Multivariate Statistics, Vol. II, Larry Grimm and Paul Yarnold (Eds). Washington, DC: American Psychological Association, 67-97.
14. Köse, İ. A. (2010). Madde tepki kuramına dayalı tek boyutlu ve çok boyutlu modellerin test uzunluğu ve örneklem büyüklüğü açısından karşılaştırılması, Yayınlanmamış Doktora Tezi. Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü.
15. Linden, W., & Hambleton, R. K. (Eds.). (1997). Handbook of modern item response theory. New York: Springer-Verlag.
16. Lee, S. H. (2007). Multidimensional item response theory: A SAS MDIRT MACRO and emprical study of PIAT MATH test. Unpublished Doctoral Dissertation. The University of Oklahoma.
17. Luecht, R. M. (2004). Mirtgen (Version 2). Greensboro, NC.
18. Meijer, R. R., Sijstma, K., & Smid, N. G. (1990). Theoretical and empirical comparison of the mokken and the rasch approach to IRT. Applied Psychological Measurement, 14(3), 283-298.
19. Mokken, R. J. (1971). A theory and procedure of scale analysis. De Gruyter, Berlin, Germany.
20. Reckase, M. D. (2009). Multidimensional item response theory. New York: Springer.
21. Seungho Yang, M. A. (2007). A comparison of unidimensional and multidimensional rasch models using parameter estimates and fit indices when assumption of unidimensionality is violated. Unpublished Doctoral Dissertation. The Ohio State University.
22. Sijtsma, K., & Molenaar, I. W. (2002). Introduction to nonparametric item response theory. Thousand Oaks, CA: Sage.
23. Smits, I. A. M., Timmerman, M. E., & Meijer, R. R. (2012). Exploratory mokken scale analysis as a dimensionality assessment tool: why scalability does not ımply unidimensionality. Applied Psychological Measurement, 36, 516-539.
24. Stochl, J. (2007). Nonparametric extension of item response theory models and ıts usefulness for assessment of dimensionality of motor yests. Acta Universitatis Carolinae, 42(1), 75-94.
25. Stochl , J., Jones, P. B., & Croudace, T. J. (2012). Mokken scale analysis of mental health and well-being questionnaire item responses: a non-parametric ırt method in empirical research for applied health researchers. BMC Med Res Methodol, 12:74.
26. Stone, C. A. (1992). Recovery of marginal maximum likelihood estimates in the two-parameter logistic response model: an evaluation of MULTILOG. Applied Psychological Measurement, 16, 1-16.
27. Sünbül, Ö. (2011). Çeşitli boyutluluk özelliğine sahip yapılarda, madde parametrelerinin değişmezliğinin klasik test teorisi, tek boyutlu madde tepki kuramı ve çok boyutlu madde tepki kuramı çerçevesinde incelenmesi, Yayınlanmamış Doktora Tezi. Mersin Üniversitesi, Eğitim Bilimleri Enstitüsü.
28. Way, W. D., Ansley, T. N., & Forsyth, R. A. (1988). The comparative effects of compensatory and noncompensatory two-dimensional data on unidimensional IRT estimates. Applied Psychological Measurement, 12(3), 239-259.
29. Zeng, L. (1989). Robustness of unidimensional latent trait models when applied to multidimensional data. Unpublished Doctoral Dissertation, Georgia University, Athens.
30. Zhou, Y. (2011). Comparing parametric item response theory and nonparametric item response theory: application in psychological research using polytomous items Unpublished Doctoral Dissertation. Fordham University, New York.