Farklı Boyutluluk Özelliklerindeki Basit ve Karmaşık Yapılı Testlerin Çok Boyutlu Madde Tepki Kuramına Dayalı Parametre Kestirimlerinin İncelenmesi

Year 2015, Volume: 6 Issue: 2, 0 - 0, 02.01.2016

Derya Çakıcı Eser , Selahattin Gelbal

https://doi.org/10.21031/epod.80315

Abstract

Bu çalışmada basit ve karmaşık yapıdaki iki ve üç boyutlu testlerin farklı test uzunluğu ve örneklem büyüklüğü koşullarında parametre kestirimleri yapılmış, kestirimlere ilişkin olarak elde edilen RMSE, yanlılık ve kestirilen parametreler ile gerçek parametreler arasındaki ilişki incelenmiştir. Çalışmanın verileri iki boyutlu basit, iki boyutlu karmaşık, üç boyutlu karmaşık ve üç boyutlu basit yapıya uygun olacak şekilde simülasyon yoluyla üretilmiştir. Veri setlerinin test uzunluğu 12 ve 48 madde; örneklem büyüklüğü 1000, 2000 ve 4000 olacak şekilde değiştirilmiştir. Bu şekilde ele alınan dört test yapısı ile 2 test uzunluğu ve 3 örneklem büyüklüğü koşulu çaprazlanarak (4x2x3) 24 koşul içeren desen oluşturulmuştur. Oluşturulan her koşula ilişkin olarak, madde ve birey parametreleri sabit tutulmak üzere, 25 tekrar yapılarak toplamda 600 veri seti oluşturulmuş ve analiz edilmiştir. Elde edilen sonuçlara göre madde parametrelerinin parametre kestirim iyiliği hem madde hem birey sayısındaki artışla artmaktadır. Ele alınan her bir koşulda d parametreleri aynı koşuldaki a parametrelerinden daha kararlı kestirilmiştir. Birey parametrelerinin kestirim iyiliği test uzunluğundaki artış ile artmaktadır. Yüksek korelasyon değerleri RMSE’nin düşük olduğu koşullarda elde edilmiştir. Ayrıca çalışmanın sonunda daha kararlı kestirim yapabilmek için gerekli test uzunluğu ve örneklem büyüklüğüne ilişkin öneriler geliştirilmeye çalışılmıştır.

References

• Ackerman, T.A. (1996). Graphical representation of multidimensional item response theory analyses. Applied Psychological Measurement, 20(4), 311-329.
• Ackerman, T.A., Gierl, M.J., & Walker, C.M. (2003). Using multidimensional item response theory to evaluate educational and psychological tests. Educational Measurement: Issues and Practice, 22(3), 37-51.
• Ansley, T. N., & Forsyth, R. A. (1985). An examination of the characteristics of unidimensional IRT parameter estimates derived from two-dimensional data. Applied Psychological Measurement, 9(1), 37-48.
• Babcock, B. G. E. (2009). Estimating a noncompensatory IRT model using a modified Metropolis Algorithm. Unpublished Doctoral Dissertation. University Of Minnesota Faculty Of The Graduate School.
• Bolt, D. M., & Lall, V. F. (2003). Estimation of compensatory and noncompensatory multidimensional item response models using Markov Chain Monte Carlo. Applied Psychological Measurement, 27(6), 395-414.
• Bulut, O. (2013). Between-person and within-person subscore reliability: Comparison of unidimensional and multidimensional IRT models. Unpublished doctoral dissertation, University Of Minnesota Faculty Of The Graduate School.
• de la Torre, J., & Patz, R. L. (2005). Making the most of what we have: A practical application of multidimensional item response theory in test scoring. Journal of Educational and Behavioral Statistics, 30(3), 295-311.
• DeMars, C.E. (2003). Sample size and the recovery of nominal response model item parameters. Applied Psychological Measurement, 27(4), 275-288.
• Embretson, S.E., & Reise, S.P. (2000). Item response theory for psychologists. Lawrence Erlbaum Associate, Inc.
• Finch, H. (2010) Item parameter estimation for MIRT model: Bias and precision of confirmatory factor analysis based models. Applied Psychological Measurement, 34(1), 10-26.
• Finch, H. (2011) Multidimensional item response theory parameter estimation with nonsimple structure items. Applied Psychological Measurement, 35(1), 67-82.
• Hambleton, R. K., & Jones, R. W. (1993). An NCME module on comparison of classical test theory and item response theory and their applications to test development. Educational Measurement: Issues and Practice, 12(3), 38–47.
• Hambleton, R.K., & Swaminathan, H. (1985). Item response theory principles and applications. Kluwer-Nijhoff Publishing. Boston-USA.
• Hartig, J., & Höhler, J. (2009). Multidimensional IRT models for the assessment of competencies. Studies in Educational Evaluation, 35(2009), 57–63
• Harvey, R.J., & Hammer, A. L. (1999). Item response theory. The Counselling Psychologist, 27(3), 353-383.
• Harwell, M., Stone, C.A., Hsu, T.C., & Kirisci L. (1996). Monte Carlo studies in item response theory. Applied Psychological Measurement, 20(2), 101-125.
• IRTPRO 2.1 for Windows (Item Response Theory for Patient-Reported Outcomes). Scientific Software International.
• IRTPRO: Users Guide (2011). Scientific Software International.
• Kieftenbeld, V., & Natesan, P. (2012). Recovery of graded response model parameters: A comparison of marginal maximum likelihood and Markov Chain Monte Carlo Estimation. Applied Psychological Measurement, 36(5), 399-419.
• Kirisci, L., Hsu, T., & Yu, L. (2001). Robustness of item parameter estimation programs to assumptions of unidimensionality and normality. Applied Psychological Measurement, 25(2), 146-162.
• Koğar, H. (2014). Madde tepki kuramının farklı uygulamalarından elde edilen parametrelerin ve model uyumlarının örneklem büyüklüğü ve test uzunluğu açısından karşılaştırılması. Yayımlanmamış doktora tezi, Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü.
• Köse, İ.A. (2010). İtems tepki kuramına dayalı tek boyutlu ve çok boyutlu modellerin test uzunluğu ve örneklem büyüklüğü açısından karşılaştırılması. Yayımlanmamış doktora tezi, Ankara Üniversitesi Eğitim Bilimleri Enstitüsü.
• Lee, J. (2012). Multimensional item response theory: An investigation of interaction effects between factors on item parameter recovery using Markov Chain Monte Carlo. Unpublished doctoral dissertation, Michigan State University Measurement and Quantitative Methods.
• Maris, E. (1999). Estimating multiple classification latent class models. Psychometrika, 64(2), 187-212.
• McDonald, P., & Paunone, S. V. (2002). A Monte Carlo comparison of item and person statistics based on item response theory versus classical test theory. Educational and Psychological Measurement, 62(6), 921-943.
• Özkan, Y. Ö. (2012). Öğrenci başarılarının belirlenmesi sınavından (ÖBBS) klasik test kuramı, tek boyutlu ve çok boyutlu items tepki kuramı modelleri ile kestirilen başarı puanlarının karşılaştırılması. Yayımlanmamış doktora tezi, Ankara Üniversitesi Eğitim Bilimleri Enstitüsü.
• Reckase, M. D. (2009). Multidimensional item response theory (Statistics for social and behavioral sciences). New York: Springer.
• Sheng Y. and Wikle C. K. (2007). Comparing multiunidimensional and unidimensional item response theory models. Educational and Psychological Measurement, 68(3), 413-430.
• SimuMIRT (2003). Software. Lihua Yao.
• Sinar, E.F., & Zickar, M. J. (2002). Evaluating the robustness of graded response model and classical test theory parameter estimates to deviant items. Applied Psychological Measurement, 26(2), 181-191.
• Stone, C. A. (1992). Recovery of marginal maximum likelihood estimates in the two-parameter logistic response model: An evaluation of MULTILOG. Applied Psychological Measurement, 16(1), 1-16.
• Sünbül, Ö. (2011). Çeşitli boyutluluk özelliklerine sahip yapılarda, items parametrelerinin değişmezliğinin klasik test teorisi, tek boyutlu items tepki kuramı ve çok boyutlu items tepki kuramı çerçevesinde incelenmesi. Yayımlanmamış doktora tezi, Mersin Üniversitesi Eğitim Bilimleri Enstitüsü.
• Turhan, A. (2006) Multilevel 2PL item response model vertical equating with the presence of differential item functioning. Unpublished doctoral dissertation. Florida State University.
• Way, W, D., Ansley, T. N., & Forsyth, R. A. (1988). Unidimensional IRT estimates the comparative effects of compensatory and noncompensatory two-dimensional data on unidimensional IRT estimates. Applied Psychological Measurement, 12(3), 239-252.
• Yao, L., & Boughton, K. A. (2007). A multidimensional item response modeling approach for improving subscale proficiency estimation and classification. Applied Psychological Measurement, 31(2), 83-105.
• Yavuz, G. (2014). Çok boyutlu madde tepki kuramı modelleri ve paket programları için karşılaştırmalı analizler. Yayımlanmamış doktora tezi, Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü.
• Zhang, J. (2012). Calibration of response data using MIRT models with simple and mixed structures. Applied Psychological Measurement, 36(5), 375-398.