Çoklu Puanlanan Çok Boyutlu Madde Tepki Kuramında Kayıp Veri Yöntemlerinin İncelenmesi

Mehmet Ali Işıkoğlu; Burcu Atar

doi:10.17152/gefad.1319907

TR EN

Çoklu Puanlanan Çok Boyutlu Madde Tepki Kuramında Kayıp Veri Yöntemlerinin İncelenmesi

Abstract

Bu çalışmada, bazı kayıp veri ile baş etme yöntemlerinin çoklu puanlanan çok boyutlu madde tepki kuramı modellerinden olan çok boyutlu aşamalı tepki modelinden elde edilen madde ve yetenek parametrelerine etkisinin araştırılması amaçlanmıştır. İlk olarak belirlenen parametrelere uygun şekilde iki boyutlu bir referans veri seti üretilmiştir. Üretilen veri setinden tamamen rassal olarak kayıp mekanizmasında %5, %10 ve %20 oranında kayıplar oluşturulmuştur. Eksik veri setleri seri ortalaması atama (SO), regresyon atama (RA) ve beklenti maksimizasyonu (BM) yöntemleri ile tamamlanmış ve tamamlanan veri setlerinden madde ile yetenek parametreleri kestirilmiştir. Kestirilen parametreler, referans veri setinden kestirilen parametreler ile karşılaştırılmıştır. Elde edilen bulgulara göre madde ayırıcılık parametreleri için tüm kayıp oranlarında RA ve BM yöntemlerinin daha düşük RMSE değerleri ürettiği görülmüştür. Kategori sınır kesişim parametrelerinde ise d1 ve d3 için RA ve SO yöntemleri, d2 için ise BM ve RA yöntemleri tüm kayıp oranlarında daha düşük hata üretmiştir. Genel olarak tüm madde parametreleri değerlendirildiğinde, RA yönteminin parametre değerlerinin geri kazanımında oldukça iyi sonuçlar ürettiği söylenebilir. Yetenek parametrelerinin geri kazanımı için ise tüm kayıp oranlarında en düşük RMSE değerleri üreten yöntemin BM olduğu görülmüştür.

Keywords

Çoklu puanlanan çok boyutlu mtk, Kayıp veri, Çok boyutlu aşamalı tepki modeli

Investigation of Missing Data Methods in Polytomous Multidimensional Item Response Theory

Abstract

In this study, the effects of missing data handling methods on item and ability parameters obtained from the graded response model, which is one of the multidimensional item response theory models with multiple scoring, are investigated. Firstly, a two-dimensional reference data set was generated. From the generated data set, missings of 5%, 10% and 20% were generated with missing completely at random mechanism. The data sets with missings were completed with series mean imputation (SM), regression imputation (RI) and expectation maximisation (EM) methods. Item and ability parameters were obtained from the completed data sets. The methods were evaluated by comparing the obtained parameters with the parameters obtained from the reference data set. According to the findings, it was observed that RI and EM methods have better results at all rates for item discrimination parameters. For the category boundary intersection parameters, RI and SM methods showed the best performance for d1 and d3. For the d2 parameter, it was observed that EM and RI produced results with very low error at all rates. In general, for all item parameters, it can be said that the RI method has very good results. For the ability parameters, it was observed that EM produced the lowest RMSE values at all rates.

Keywords

Polytomous MIRT, Missing data, Multidimensional GRM

References

Ackerman, T. A. (1996). Graphical representation of multidimensional item response theory analyses. Applied Psychological Measurement, 20, 311-329. doi: 10.1177/014662169602000402
Andreis, F., & Ferrari, P. A. (2012). Missing data and parameters estimates in multidimensional item response models. Electronic Journal of Applied Statistical Analysis, 5(3), 431-437. doi: 10.1285/i20705948v5n3p431 Allison, P. D. (2001). Missing data. Thousand Oaks, CA: Sage.
Allison, P. D. (2003). Missing data techniques for structural equation modeling. Journal of Abnormal Psychology, 112(4), 545-557. doi: 10.1037/0021-843X.112.4.545
Bernaards, C., & Sijtsma, K. (1999). Factor Analysis of Multidimensional Polytomous Item Response Data Suffering From Ignorable Item Nonresponse. Multivariate Behavioral Research, 34(3), 277-313.
Bernaards, C., & Sijtsma, K. (2010). Influence of Imputation and EM Methods on Factor Analysis When Item Nonresponse in Questionnaire Data Is Nonignorable. Multivariate Behavioral Research, 5(3), 321-364. doi:10.1207/S15327906MBR3503_03
Chalmers, R. P. (2012). mirt: A Multidimensional Item Response Theory Package for the R Environment. Journal of Statistical Software, 48(6), 1–29. doi: 10.18637/jss.v048.i06
Dai, S., Vo, T. T., Kehinde, O. J., He, H., Xue, Y., Demir, C., & Wang, X. (2021) Performance of Polytomous IRT Models With Rating Scale Data: An Investigation Over Sample Size, Instrument Length, and Missing Data. Front. Educ, 6. doi: 10.3389/feduc.2021.721963
Demars, C. (2010). Item Response Theory: Understanding Statistics Measurement. Oxford University Press, Oxford.
Demir, E. (2013). Kayıp Verilerin Varlığında İki Kategorili Puanlanan Maddelerden Oluşan Testlerin Psikometrik Özelliklerinin İncelenmesi (Doktora tezi). Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
Enders, C. K. (2010). Applied missing data analysis. New York: The Guilford Press.

Enders, C. K. (2013). Dealing With Missing Data in Developmental Research. Child Development Perspectives, 7(1), 27–31. doi: 10.1111/cdep.12008
Field, A. (2005). Discovering statistics using SPSS (2nd ed.). London: Sage.
Finch, H. (2008). Estimation of item response theory parameters in the presence of missing data. Journal of Educational Measurement, 45(3), 225-245. doi: 10.1111/j.1745-3984.2008.00062.x
Goegebeur, Y., De Boeck, P. & Molenberghs, G. (2010). Person fit for test speededness: normal curvatures, likelihood ratio tests and empirical bayes estimates. Methodology: European Journal of Research Methods for the Behavioral and Social Sciences, 6(1), 3–16. doi: 10.1027/1614-2241/a000002
Graham, J. W. (2012). Missing data: analysis and design. New York: Springer
Harwell, M., Stone, C. A., Hsu, T. C., & Kirisci, L. (1996). Monte Carlo studies in item response theory. Applied psychological measurement, 20(2), 101-125. doi: 10.1177/014662169602000
Jiang, S., Wang, C., & Weiss, D. J. (2016). Sample Size Requirements for Estimation of Item Parameters in the Multidimensional Graded Response Model. Front. Psychol., 7, doi: 10.3389/fpsyg.2016.00109
Kaya-Kalkan, Ö., Kara, Y. & Kelecioğlu, H. (2018). Evaluating Performance of Missing Data Imputation Methods in IRT Analyses. International Journal of Assessment Tools in Education, 5(3), 403–416. doi: 10.21449/ijate.430720
Koçak, D. ve Çokluk-Bökeoğlu, Ö. (2017). Kayıp veriyle baş etme yöntemlerinin model veri uyumu ve madde model uyumuna etkisi. Journal of Measurement and Evaluation in Education and Psychology, 8(2), 200-223. doi: 10.21031/epod.303753
Little, R. J. A., & Rubin, D. B. (2002). Statistical analysis with missing data. (2nd edition). New York: Wiley
Little, R. J. A., & Schenker, N. (1995). Missing data. In Arminger, G., Clogg, C. C., & Sobel, M. E. (Eds), Handbook of statistical modeling for the social and behavioral sciences. Boston, MA: Springer. doi: 10.1007/978-1-4899-1292-3_2
McKnight, P. E., McKnight, K. M., Sidani, S. & Figueredo, A. J. (2007). Missing Data: A Gentle Introduction. New York: The Guilford Publications, Inc.
Paek, I., & Cole, K. (2019). Using R for item response theory model applications. London: Routledge.
Pigott, T. D. (2001). A review of methods for missing data. Educational Research and Evaluation: An International Journal of Theory and Practice, 7(4), 353-383. doi: 10.1076/edre.7.4.353.8937
Rockel, T. (2022). missMethods: Methods for missing data. R package version 0.4.0.
Roth, P. L., Switzer, F. S., & Switzer, D. M. (1999). Missing Data in Multiple Item Scales: A Monte Carlo Analysis of Missing Data Techniques. Organizational Research Methods, 2(3), 211-232. doi: 10.1177/109442819923001
Scheffer, J. (2002). Dealing with missing data. Research Letters in the Information and Mathematical Sciences, 3, 153-160.
Tabachnick, B. G., & Fidell, L. S. (2012). Using Multivariate Statistics (6h Edition). Boston: Person Education.
Zhang, B. (2008). Application of unidimensional item response models to tests with items sensitive to secondary dimensions. The Journal of Experimental Education, 77 (2), 147-166. Doi: 10.3200/JEXE.77.2.147-166
Valdivia, D. S., & Dai, S. (2023). Number of Response Categories and Sample Size Requirements in Polytomous IRT Models. The Journal of Experimental Education, doi: 10.1080/00220973.2022.2153783

Details

Primary Language

Turkish

Subjects

Measurement and Evaluation in Education (Other)

Journal Section

Research Article

Authors

Mehmet Ali Işıkoğlu ^*
0000-0001-5104-5661
Türkiye

Burcu Atar
0000-0003-3527-686X
Türkiye

Publication Date

December 30, 2023

Submission Date

June 25, 2023

Acceptance Date

September 23, 2023

Published in Issue

Year 2023 Volume: 43 Number: 3

DOI

https://doi.org/10.17152/gefad.1319907

IZ

https://izlik.org/JA93PC82DC

APA

Işıkoğlu, M. A., & Atar, B. (2023). Çoklu Puanlanan Çok Boyutlu Madde Tepki Kuramında Kayıp Veri Yöntemlerinin İncelenmesi. Gazi Eğitim Fakültesi Dergisi, 43(3), 1645-1662. https://doi.org/10.17152/gefad.1319907

AMA

1.Işıkoğlu MA, Atar B. Çoklu Puanlanan Çok Boyutlu Madde Tepki Kuramında Kayıp Veri Yöntemlerinin İncelenmesi. GUJGEF. 2023;43(3):1645-1662. doi:10.17152/gefad.1319907

Chicago

Işıkoğlu, Mehmet Ali, and Burcu Atar. 2023. “Çoklu Puanlanan Çok Boyutlu Madde Tepki Kuramında Kayıp Veri Yöntemlerinin İncelenmesi”. Gazi Eğitim Fakültesi Dergisi 43 (3): 1645-62. https://doi.org/10.17152/gefad.1319907.

EndNote

Işıkoğlu MA, Atar B (December 1, 2023) Çoklu Puanlanan Çok Boyutlu Madde Tepki Kuramında Kayıp Veri Yöntemlerinin İncelenmesi. Gazi Eğitim Fakültesi Dergisi 43 3 1645–1662.

IEEE

[1]M. A. Işıkoğlu and B. Atar, “Çoklu Puanlanan Çok Boyutlu Madde Tepki Kuramında Kayıp Veri Yöntemlerinin İncelenmesi”, GUJGEF, vol. 43, no. 3, pp. 1645–1662, Dec. 2023, doi: 10.17152/gefad.1319907.

ISNAD

Işıkoğlu, Mehmet Ali - Atar, Burcu. “Çoklu Puanlanan Çok Boyutlu Madde Tepki Kuramında Kayıp Veri Yöntemlerinin İncelenmesi”. Gazi Eğitim Fakültesi Dergisi 43/3 (December 1, 2023): 1645-1662. https://doi.org/10.17152/gefad.1319907.

JAMA

1.Işıkoğlu MA, Atar B. Çoklu Puanlanan Çok Boyutlu Madde Tepki Kuramında Kayıp Veri Yöntemlerinin İncelenmesi. GUJGEF. 2023;43:1645–1662.

MLA

Işıkoğlu, Mehmet Ali, and Burcu Atar. “Çoklu Puanlanan Çok Boyutlu Madde Tepki Kuramında Kayıp Veri Yöntemlerinin İncelenmesi”. Gazi Eğitim Fakültesi Dergisi, vol. 43, no. 3, Dec. 2023, pp. 1645-62, doi:10.17152/gefad.1319907.

Vancouver

1.Mehmet Ali Işıkoğlu, Burcu Atar. Çoklu Puanlanan Çok Boyutlu Madde Tepki Kuramında Kayıp Veri Yöntemlerinin İncelenmesi. GUJGEF. 2023 Dec. 1;43(3):1645-62. doi:10.17152/gefad.1319907

Çoklu Puanlanan Çok Boyutlu Madde Tepki Kuramında Kayıp Veri Yöntemlerinin İncelenmesi

Abstract

Keywords

Investigation of Missing Data Methods in Polytomous Multidimensional Item Response Theory

Abstract

Keywords

References

Details

Primary Language

Subjects

Journal Section

Authors

Publication Date

Submission Date

Acceptance Date

Published in Issue

DOI

IZ

Cite