Çok Kategorili Parametrik ve Parametrik Olmayan Madde Tepki Kuramı Modellerinin Karşılaştırılması

Abstract

Bu araştırmanın amacı çok kategorili maddeler için Parametrik Madde Tepki Kuramı (PMTK) kapsamındaki Aşamalı Tepki Modeli (ATM) ve Parametrik olmayan Madde Tepki Kuramı (PoMTK) kapsamındaki Monoton Homojenlik Modeli (MHM) ile yapılan kestirimlere örneklem büyüklüğü, örneklem dağılımı, testte yer alan madde sayısı, testte yer alan maddelerin yanıt kategorisi sayıları bağımsız değişkenlerinin etkilerini incelemektir. Bu amaca ulaşabilmek için araştırma; örneklem büyüklüğü, örneklem dağılımı, madde sayısı, maddenin kategori sayısı değişkenleri ile belirlenen 192 simülasyon koşulu desenlenen temel bir çalışma olarak gerçekleştirilmiştir. Örneklem büyüklüğü (N=100, 250, 500, 1000), örneklem dağılımı (normal dağılım, çarpıklık katsayısı -1,0 olan dağılım), madde sayısı (10, 20, 40, 80), maddenin yanıt kategorisi sayısı (3, 5, 7) koşulları için ATM ve MHM ile yapılan kestirimler sırasıyla model veri uyumları, güvenirlik değerleri, madde parametrelerinin standart hataları hesaplanarak incelenmiştir. Araştırma sonucunda ATM’de model veri uyumu hesaplanırken değerlerin değişken artışından etkilenmesi, tek başına yorumlanamaması bu değerlerin karşılaştırılması ve genellenmesini zorlaştırmaktadır. MHM’de model veri uyumunun pratik olarak hesaplanması, başka bir değere ihtiyaç duyulmadan tek başına yorumlanması ATM’ye göre üstünlük sağlamaktadır. Diğer bir araştırma sonucu güvenirlik değerlerinin iki model için  benzer sonuç vermesidir. MHM için hesaplanan parametrelerin, küçük örneklem ve kısa test koşullarında standart hataları ATM kestirimlerine göre oldukça düşüktür ve MHM için hesaplanan parametrelerin standart hataları tüm koşullarda birbirine yakın değer almıştır.  

Keywords

• parametrik olmayan madde tepki kuramı,aşamalı tepki modeli

Comparison of Polytomous Parametric and Nonparametric Item Response Theory Models

Abstract

This research aimed to identify the effects of independent variables as sample size, sample distribution, the number of items in the test, and the number of response categories of items in the test on the estimations of Graded Response Model (GRM) under Parametric Item Response Theory (PIRT) and by Monotone Homogeneity Model (MHM) under Non-Parametric Item Response Theory (NIRT) for polytomously scored items. To achieve this aim, the research was performed as a fundamental study in which 192 simulation conditions were designed by the combination of sample size, sample distribution, the number of items, and the number of categories of items. Estimates by GRM and MHM were examined under different levels of sample size (N= 100, 250, 500, 1000), sample distribution (normal, skewed), the number of items (10, 20, 40, 80), and the number of categories of items (3, 5, 7) conditions, by respectively calculating model-data fit, reliability values, standart errors of parameters. As a result of the research, it was found that since the values used to evaluate model-data fit were influenced by the increase of variable while calculating model-data fit and since they can not be interpreted alone, it is difficult to compare and generalize the results. The practical calculation of model data fit, which can be interpreted without the need for another value, in MHM provides superiority over GRM. Another research result is that the reliability values give similar results for both models. The standard errors of the MHM parameter estimates is lower than the GRM estimates under small sample and few items conditions and the standard errors of the MHM parameter estimates are close to each other in all conditions. 

Keywords

• Nonparametric item response theory,graded response model,monotone homogeneity model

References

1. Ankenmann, R. D & Stone, C.A. (1992). A monte carlo study of marginal maximum likelihood parameter estimates fort he graded model. Paper presented at the Annual Meeting of the Council on Measurement in Education, SanFrancisco, CA.
2. Crocker L. & Algina, J. (1986). Introduction to classical and modern the test theory. NY: CBS College Publishing.
3. De Ayala, R.J. (2009). The theory and practice of item response theory. NY: Guilford Press
4. DeMars, C. (2010). ıtem response theory. New York: Oxford University Press. Peer-Reviewed Publications.
5. Dyehouse, M. A. (2009). A comparison of model-data fit for parametric and nonparametric item response theory models using ordinal level ratings. Yayımlanmamış doktora tezi, Indiana.
6. Doğan, N. (2002). Klasik test kuramı ve örtük özellikler kuramının örneklemler bağlamında karşılaştırılması. Yayımlanmamış Doktora Tezi, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
7. Emons, W.H.M. (2008). Nonparametric person-fit analysis of Polytomous item scores. Applied Psychological Measurement, 32, 3,p. 224-247. Junker, B. W., & Sijtsma, K. (2001). Nonparametric item response theory in action: an overview of the special issue. Applied Psychological Measurement, 25, 211-220. Han, K. T. (2007). WinGen: Windows software that generates IRT parameters and item responses. Applied Psychological Measurement, 31(5), 457-459. Han, K. T., & Hambleton, R. K. (2007). User's Manual: WinGen (Center for Educational Assessment Report No. 642). Amherst, MA: University of Massachusetts, School of Education.
8. Hulin, C.L., Lissak, R.I & Drasgow, F. (1982). Recovery of two and three parameter logistic item characteristic curves: a monte carlo study. Applied Psychological Measurement, 6, 249-260.

9. Koğar, H. (2014). Madde tepki kuramının farklı uygulamalarından elde edilen parametrelerin ve model uyumlarının örneklem büyüklüğü ve test uzunluğu açısından karşılaştırılması. Yayımlanmamış Doktora Tezi. Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü.
10. Maydeu- Olivares, A, &Joe, H. (2005). Further emprical results on parametric vs. nonparametric irt modeling of Likert type personality data. Multivariate Behavioral Research, 40, 275-293.
11. Mokken, R.J. (1971). A theory and procedure of scale analysis with applications in political research. Berlin:Walter de Gruyter, Mouton.
12. Molenaar, I.W. (2001). Thirty years of nonparametric item response theory, Applied Psychological Measurement. Vol. 25 No.3, 295-299. Sage Publications
13. Ostini, R., & Nering, M. L. (2006). Polytomous item response theory models. Thousand Oaks: Sage Publications.
14. Pampel, F. C. (2000). Logistic Regression. Aprimer. Sage Publications
15. Sijitsma, K, Emons, W. H.M., Bouwmeester, S, Nyklicek, Roorda, L. D (2008). Nonparametric IRT analysis of Quality-of-Life Scales and its application to the World Health Organization Quality-of-Life Scale (WHOQOL-Bref). Quality of Life Research. 17,2, s.275-290.
16. Thissen, D., & Steinberg, L. (1986). A taxonomy of item response models. Psychometrika, 51, 567-577
17. Van Abswoude, A. A. H., Van der Ark, L. A. & Sjitsma, K. (2004). A comparative study of test data dimansionality assessment procedures under nonparametric irt models. Applied Psychological Measurement, 28, 3-24.
18. Zenisky, R. K., Hambleton, S.G. Sireci. (2002) Identification and Evaluation of Local Item Dependencies in the Medical College Admissions Test. Journal of Educational Measurement, 39(4), 291-309.