Farklı Boyutluluk Özelliklerindeki Basit ve Karmaşık Yapılı Testlerin Çok Boyutlu Madde Tepki Kuramına Dayalı Parametre Kestirimlerinin İncelenmesi

Derya Çakıcı Eser; Selahattin Gelbal

doi:10.21031/epod.80315

Farklı Boyutluluk Özelliklerindeki Basit ve Karmaşık Yapılı Testlerin Çok Boyutlu Madde Tepki Kuramına Dayalı Parametre Kestirimlerinin İncelenmesi

Abstract

Bu çalışmada basit ve karmaşık yapıdaki iki ve üç boyutlu testlerin farklı test uzunluğu ve örneklem büyüklüğü koşullarında parametre kestirimleri yapılmış, kestirimlere ilişkin olarak elde edilen RMSE, yanlılık ve kestirilen parametreler ile gerçek parametreler arasındaki ilişki incelenmiştir. Çalışmanın verileri iki boyutlu basit, iki boyutlu karmaşık, üç boyutlu karmaşık ve üç boyutlu basit yapıya uygun olacak şekilde simülasyon yoluyla üretilmiştir. Veri setlerinin test uzunluğu 12 ve 48 madde; örneklem büyüklüğü 1000, 2000 ve 4000 olacak şekilde değiştirilmiştir. Bu şekilde ele alınan dört test yapısı ile 2 test uzunluğu ve 3 örneklem büyüklüğü koşulu çaprazlanarak (4x2x3) 24 koşul içeren desen oluşturulmuştur. Oluşturulan her koşula ilişkin olarak, madde ve birey parametreleri sabit tutulmak üzere, 25 tekrar yapılarak toplamda 600 veri seti oluşturulmuş ve analiz edilmiştir. Elde edilen sonuçlara göre madde parametrelerinin parametre kestirim iyiliği hem madde hem birey sayısındaki artışla artmaktadır. Ele alınan her bir koşulda d parametreleri aynı koşuldaki a parametrelerinden daha kararlı kestirilmiştir. Birey parametrelerinin kestirim iyiliği test uzunluğundaki artış ile artmaktadır. Yüksek korelasyon değerleri RMSE’nin düşük olduğu koşullarda elde edilmiştir. Ayrıca çalışmanın sonunda daha kararlı kestirim yapabilmek için gerekli test uzunluğu ve örneklem büyüklüğüne ilişkin öneriler geliştirilmeye çalışılmıştır.

References

Ackerman, T.A. (1996). Graphical representation of multidimensional item response theory analyses. Applied Psychological Measurement, 20(4), 311-329.
Ackerman, T.A., Gierl, M.J., & Walker, C.M. (2003). Using multidimensional item response theory to evaluate educational and psychological tests. Educational Measurement: Issues and Practice, 22(3), 37-51.
Ansley, T. N., & Forsyth, R. A. (1985). An examination of the characteristics of unidimensional IRT parameter estimates derived from two-dimensional data. Applied Psychological Measurement, 9(1), 37-48.
Babcock, B. G. E. (2009). Estimating a noncompensatory IRT model using a modified Metropolis Algorithm. Unpublished Doctoral Dissertation. University Of Minnesota Faculty Of The Graduate School.
Bolt, D. M., & Lall, V. F. (2003). Estimation of compensatory and noncompensatory multidimensional item response models using Markov Chain Monte Carlo. Applied Psychological Measurement, 27(6), 395-414.
Bulut, O. (2013). Between-person and within-person subscore reliability: Comparison of unidimensional and multidimensional IRT models. Unpublished doctoral dissertation, University Of Minnesota Faculty Of The Graduate School.
de la Torre, J., & Patz, R. L. (2005). Making the most of what we have: A practical application of multidimensional item response theory in test scoring. Journal of Educational and Behavioral Statistics, 30(3), 295-311.
DeMars, C.E. (2003). Sample size and the recovery of nominal response model item parameters. Applied Psychological Measurement, 27(4), 275-288.

Embretson, S.E., & Reise, S.P. (2000). Item response theory for psychologists. Lawrence Erlbaum Associate, Inc.
Finch, H. (2010) Item parameter estimation for MIRT model: Bias and precision of confirmatory factor analysis based models. Applied Psychological Measurement, 34(1), 10-26.
Finch, H. (2011) Multidimensional item response theory parameter estimation with nonsimple structure items. Applied Psychological Measurement, 35(1), 67-82.
Hambleton, R. K., & Jones, R. W. (1993). An NCME module on comparison of classical test theory and item response theory and their applications to test development. Educational Measurement: Issues and Practice, 12(3), 38–47.
Hambleton, R.K., & Swaminathan, H. (1985). Item response theory principles and applications. Kluwer-Nijhoff Publishing. Boston-USA.
Hartig, J., & Höhler, J. (2009). Multidimensional IRT models for the assessment of competencies. Studies in Educational Evaluation, 35(2009), 57–63
Harvey, R.J., & Hammer, A. L. (1999). Item response theory. The Counselling Psychologist, 27(3), 353-383.
Harwell, M., Stone, C.A., Hsu, T.C., & Kirisci L. (1996). Monte Carlo studies in item response theory. Applied Psychological Measurement, 20(2), 101-125.
IRTPRO 2.1 for Windows (Item Response Theory for Patient-Reported Outcomes). Scientific Software International.
IRTPRO: Users Guide (2011). Scientific Software International.
Kieftenbeld, V., & Natesan, P. (2012). Recovery of graded response model parameters: A comparison of marginal maximum likelihood and Markov Chain Monte Carlo Estimation. Applied Psychological Measurement, 36(5), 399-419.
Kirisci, L., Hsu, T., & Yu, L. (2001). Robustness of item parameter estimation programs to assumptions of unidimensionality and normality. Applied Psychological Measurement, 25(2), 146-162.
Koğar, H. (2014). Madde tepki kuramının farklı uygulamalarından elde edilen parametrelerin ve model uyumlarının örneklem büyüklüğü ve test uzunluğu açısından karşılaştırılması. Yayımlanmamış doktora tezi, Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü.
Köse, İ.A. (2010). İtems tepki kuramına dayalı tek boyutlu ve çok boyutlu modellerin test uzunluğu ve örneklem büyüklüğü açısından karşılaştırılması. Yayımlanmamış doktora tezi, Ankara Üniversitesi Eğitim Bilimleri Enstitüsü.
Lee, J. (2012). Multimensional item response theory: An investigation of interaction effects between factors on item parameter recovery using Markov Chain Monte Carlo. Unpublished doctoral dissertation, Michigan State University Measurement and Quantitative Methods.
Maris, E. (1999). Estimating multiple classification latent class models. Psychometrika, 64(2), 187-212.
McDonald, P., & Paunone, S. V. (2002). A Monte Carlo comparison of item and person statistics based on item response theory versus classical test theory. Educational and Psychological Measurement, 62(6), 921-943.
Özkan, Y. Ö. (2012). Öğrenci başarılarının belirlenmesi sınavından (ÖBBS) klasik test kuramı, tek boyutlu ve çok boyutlu items tepki kuramı modelleri ile kestirilen başarı puanlarının karşılaştırılması. Yayımlanmamış doktora tezi, Ankara Üniversitesi Eğitim Bilimleri Enstitüsü.
Reckase, M. D. (2009). Multidimensional item response theory (Statistics for social and behavioral sciences). New York: Springer.
Sheng Y. and Wikle C. K. (2007). Comparing multiunidimensional and unidimensional item response theory models. Educational and Psychological Measurement, 68(3), 413-430.
SimuMIRT (2003). Software. Lihua Yao.
Sinar, E.F., & Zickar, M. J. (2002). Evaluating the robustness of graded response model and classical test theory parameter estimates to deviant items. Applied Psychological Measurement, 26(2), 181-191.
Stone, C. A. (1992). Recovery of marginal maximum likelihood estimates in the two-parameter logistic response model: An evaluation of MULTILOG. Applied Psychological Measurement, 16(1), 1-16.
Sünbül, Ö. (2011). Çeşitli boyutluluk özelliklerine sahip yapılarda, items parametrelerinin değişmezliğinin klasik test teorisi, tek boyutlu items tepki kuramı ve çok boyutlu items tepki kuramı çerçevesinde incelenmesi. Yayımlanmamış doktora tezi, Mersin Üniversitesi Eğitim Bilimleri Enstitüsü.
Turhan, A. (2006) Multilevel 2PL item response model vertical equating with the presence of differential item functioning. Unpublished doctoral dissertation. Florida State University.
Way, W, D., Ansley, T. N., & Forsyth, R. A. (1988). Unidimensional IRT estimates the comparative effects of compensatory and noncompensatory two-dimensional data on unidimensional IRT estimates. Applied Psychological Measurement, 12(3), 239-252.
Yao, L., & Boughton, K. A. (2007). A multidimensional item response modeling approach for improving subscale proficiency estimation and classification. Applied Psychological Measurement, 31(2), 83-105.
Yavuz, G. (2014). Çok boyutlu madde tepki kuramı modelleri ve paket programları için karşılaştırmalı analizler. Yayımlanmamış doktora tezi, Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü.
Zhang, J. (2012). Calibration of response data using MIRT models with simple and mixed structures. Applied Psychological Measurement, 36(5), 375-398.

Details

Primary Language

English

Subjects

-

Journal Section

-

Authors

Derya Çakıcı Eser

Selahattin Gelbal

Publication Date

January 2, 2016

Submission Date

October 13, 2015

Acceptance Date

-

Published in Issue

Year 2015 Volume: 6 Number: 2

DOI

https://doi.org/10.21031/epod.80315

IZ

https://izlik.org/JA38KM36GB

Cite

RIS / Bibtex

APA

Çakıcı Eser, D., & Gelbal, S. (2016). Farklı Boyutluluk Özelliklerindeki Basit ve Karmaşık Yapılı Testlerin Çok Boyutlu Madde Tepki Kuramına Dayalı Parametre Kestirimlerinin İncelenmesi. Journal of Measurement and Evaluation in Education and Psychology, 6(2). https://doi.org/10.21031/epod.80315

AMA

1.Çakıcı Eser D, Gelbal S. Farklı Boyutluluk Özelliklerindeki Basit ve Karmaşık Yapılı Testlerin Çok Boyutlu Madde Tepki Kuramına Dayalı Parametre Kestirimlerinin İncelenmesi. JMEEP. 2016;6(2). doi:10.21031/epod.80315

Chicago

Çakıcı Eser, Derya, and Selahattin Gelbal. 2016. “Farklı Boyutluluk Özelliklerindeki Basit Ve Karmaşık Yapılı Testlerin Çok Boyutlu Madde Tepki Kuramına Dayalı Parametre Kestirimlerinin İncelenmesi”. Journal of Measurement and Evaluation in Education and Psychology 6 (2). https://doi.org/10.21031/epod.80315.

EndNote

Çakıcı Eser D, Gelbal S (January 1, 2016) Farklı Boyutluluk Özelliklerindeki Basit ve Karmaşık Yapılı Testlerin Çok Boyutlu Madde Tepki Kuramına Dayalı Parametre Kestirimlerinin İncelenmesi. Journal of Measurement and Evaluation in Education and Psychology 6 2

IEEE

[1]D. Çakıcı Eser and S. Gelbal, “Farklı Boyutluluk Özelliklerindeki Basit ve Karmaşık Yapılı Testlerin Çok Boyutlu Madde Tepki Kuramına Dayalı Parametre Kestirimlerinin İncelenmesi”, JMEEP, vol. 6, no. 2, Jan. 2016, doi: 10.21031/epod.80315.

ISNAD

Çakıcı Eser, Derya - Gelbal, Selahattin. “Farklı Boyutluluk Özelliklerindeki Basit Ve Karmaşık Yapılı Testlerin Çok Boyutlu Madde Tepki Kuramına Dayalı Parametre Kestirimlerinin İncelenmesi”. Journal of Measurement and Evaluation in Education and Psychology 6/2 (January 1, 2016). https://doi.org/10.21031/epod.80315.

JAMA

1.Çakıcı Eser D, Gelbal S. Farklı Boyutluluk Özelliklerindeki Basit ve Karmaşık Yapılı Testlerin Çok Boyutlu Madde Tepki Kuramına Dayalı Parametre Kestirimlerinin İncelenmesi. JMEEP. 2016;6. doi:10.21031/epod.80315.

MLA

Çakıcı Eser, Derya, and Selahattin Gelbal. “Farklı Boyutluluk Özelliklerindeki Basit Ve Karmaşık Yapılı Testlerin Çok Boyutlu Madde Tepki Kuramına Dayalı Parametre Kestirimlerinin İncelenmesi”. Journal of Measurement and Evaluation in Education and Psychology, vol. 6, no. 2, Jan. 2016, doi:10.21031/epod.80315.

Vancouver

1.Derya Çakıcı Eser, Selahattin Gelbal. Farklı Boyutluluk Özelliklerindeki Basit ve Karmaşık Yapılı Testlerin Çok Boyutlu Madde Tepki Kuramına Dayalı Parametre Kestirimlerinin İncelenmesi. JMEEP. 2016 Jan. 1;6(2). doi:10.21031/epod.80315