SIRALI LOJİSTİK REGRESYON VE POLY-SIBTEST YÖNTEMLERİ İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİ

Year 2020, , 705 - 717, 06.03.2020

Gözde Sırgancı , Mehtap Çakan

https://doi.org/10.17240/aibuefd.2020.20.52925-665084

Cited By: 2

Abstract

Bu çalışmanın amacı psikometride önemli bir geçerlik sorunu teşkil eden madde yanlılığının belirlenmesinde kullanılan farklı değişen madde fonksiyonu yöntemlerini kullanarak yöntemlerin uygulamadaki benzerlik ve farklılıklarının ortaya konmasıdır. Bu amaçla alanyazında kullanılan iki yöntem olan sıralı lojistik regresyon ve poly-SIBTEST yöntemleri ile değişen madde fonksiyonu analizleri yapılmıştır. Yöntemlere ilişkin değişen madde fonksiyonu analizleri, PISA 2006’da uygulanan bir öğrenci anketi maddelerine uygulanmıştır. Çalışma grubu ise kültürel ve dilsel farklılıkları yansıtan Avustralya, Yeni Zelanda, Amerika Birleşik Devletleri ve Türkiye olmak üzere dört ülke verisinden oluşmaktadır. Verilerin analizi aşamasında öncelikle öğrenci anketinin her bir ülkedeki faktör yapısı doğrulayıcı faktör analizi ile incelenmiştir. Devamında, sıralı lojistik regresyon ve poly-SIBTEST yöntemleri ile ölçme aracının benzer-farklı kültür ve dillerde değişen madde fonksiyonu analizi yapılmış olup yöntemlerin değişen madde fonksiyonunu belirleme benzerlikleri incelenmiştir. Doğrulayıcı Faktör Analizi bulguları ölçme aracının her bir ülkede aynı faktör yapısına sahip olduğunu göstermiştir. Sıralı lojistik regresyon ve poly-SIBTEST yöntemleri ile yapılan değişen madde fonksiyonu analiz bulguları ise ülkeler arasında kültürden ve dilden kaynaklı farklılıklar arttıkça değişen madde fonksiyonlu madde sayısında artış olduğunu göstermiştir. Yöntemlerin uyumları incelendiğinde ise her iki yöntemin değişen madde fonksiyonu belirlemede uyumlu olduğu; ancak poly-SIBTEST yöntemi ile daha hassas DMF analizinin yapıldığı belirlenmiştir.

Keywords

PISA, değişen madde fonksiyonu, doğrulayıcı faktör analizi

References

• Asil, M. (2010). Uluslararası Öğrenci Değerlendirme Programı (Pısa) 2006 Öğrenci Anketinin Kültürler Arası Eşdeğerliğinin İncelenmesi. (Yayımlanmamış Doktora Tezi). Hacettepe Üniversitesi, Ankara, Türkiye.
• Asil, M. ve Gelbal, S. (2012). Pisa Öğrenci Anketinin Kültürler Arası Eşdeğerliği. Eğitim ve Bilim, 37(166), 236-249.
• Angoff, W. H. (1993). Perspectives on differential item functioning methodology. In P. W. Holland & H. Wainer (Eds.), Differential item functioning (pp. 3-23). Hillsdale, NJ, US: Lawrence Erlbaum Associates, Inc.
• Atalay Kabasakal, K. ve Kelecioğlu, H (2012). Pisa 2006 öğrenci anketinde yer alan maddelerin değişen madde fonksiyonu açısından incelenmesi. Ankara Üniversitesi Eğitim Bilimleri Dergisi, 45(2), 77-96.
• Atalay, K. (2010). PISA 2006 Öğrenci Anketinde Yer Alan Tutum Maddelerinin Değişen Madde Fonksiyonu Açısından İncelenmesi. (Yayımlanmamış Yüksek Lisans Tezi). Hacettepe Üniversitesi, Ankara, Türkiye
• Bilir, M. K. (2009). Mixture İtem Response Theory-MIMIC Model: Simultaneous Estimation Of Differential İtem Functioning For Manifest Groups And Latent Classes (Doctoral dissertation). Available from ProQuest Dissertations and Theses database. (UMI No: 3399179)
• Brown, T.A. (2006). Confirmatory Factor Analysis for Applied Research. (First Edition). NY: Guilford Publications, Inc.
• Clauser, B. E., ve Mazor, K. M. (1998). Using statistical procedures to identify differential item functioning test items. Educational Measurement: Issues and Practice, 17, 31-44.
• Demir, S. (2013). Pisa 2009 Matematik Okuryazarlığı Alt Testinde Bulunan Maddelerinin Mantel-Haenszel, Sibtest ve Lojistik Regresyon Yöntemleri İle Değişen Madde Fonksiyonunun İncelenmesi, (Yayımlanmamış Yüksek Lisans Tezi). Abant İzzet Baysal Üniversitesi, Bolu, Türkiye.
• Ercikan, K., Gierl, M., McCreith, T., Puhan, G., ve Koh, K. (June, 2002). Comparability of English and French versions of SAIP for reading, mathematics and science items. Paper presented at the annual meeting of the Canadian Society for Studies in Education, Toronto, ON.
• Ercikan, K., ve Koh, K. (2005). Examining the construct comparability of the English and French versions of TIMSS. International Journal of Testing, 5(1), 23-35.
• Gelin, M. N. (2001). Type I error rates of the DIF MIMIC approach using Joreskog’s covariance matrix with ML and WLS estimation (Doctoral dissertation). Retrieved from https://open.library.ubc.ca/cIRcle/collections/ubctheses/831/items/1.0054355
• Gierl, M. J. (2000). Construct Equivalence on Translated Achievement Tests. Canadian Journal of Education, 25(4), 280-296
• Gierl, M., Khaliq, S. N., Boughton, K. (1999). Gender Differential Item Functioning in Mathematics and Science: Prevalence and Policy Implications, Paper presented at the Canadian Society for the Study of Education.
• Gómez-Benito, J., ve Navas-Ara, M. J. (2000). A Comparison of χ2, RFA and IRT Based Procedures in the Detection of DIF. Quality and Quantity, 34(1), 17-31.
• Hooper, D., Coughlan, J. ve Mullen, M. (2008). Structural equation modeling: Guidelines for determining model fit. The Electronic Journal of Business Research Methods. 6(1), 53-60.
• Kamata, A., ve Vaughn, B. K. (2004). An Introduction to Differential Item Functioning Analysis. Learning Disabilities: A Contemporary Journal, 2(2), 49-69.
• Karakoc Alatlı, B., Ayan, C., Polat Demir, B., ve Uzun, G. (2016). Examination of the TIMSS 2011 Fourth Grade Mathematics Test in terms of cross-cultural measurement invariance. Eurasian Journal of Educational Research, 66, 389- 406.
• Kristanjansonn E., R. Aylesworth, I. McDowell ve B.D. Zumbo (2005). A comparison of four methods for detecting differeantial item functioning ın ordered response model. Educational and Psychological Measurement. 6, 935-953.
• Köse, İ. A. (2015). Pisa 2009 öğrenci anketi alt ölçeklerinde (q32-q33) bulunan maddelerin değişen madde fonksiyonu açısından incelenmesi. Kastamonu Eğitim Dergisi, 23(1), 227-240.
• Lyons-Thomas, J., Sandilands, D. ve Ercikan, K. (2014). Gender Differential Item Functioning in Mathematics in Four International Jurisdictions, Eğitim ve Bilim, 39 (172), 20-32. Muthén, L. K., ve Muthén, B. O. (2012). MPlus: statistical analysis with latent variables--User's guide.
• Penfield, R. D., ve Camilli, G. (2007). Differential item functioning and item bias. In S. Sinharay, and C. R. Rao (Eds.), Handbook of statistics, 26, (pp. 125-167). North Holland.
• Schulz, W. (2003). Validating questionnaire constructs in ınternational studies. Two examples from PISA 2000. Paper Presented at the Annual Meetings of the American Educational Research Association (AERA) in Chicago, 21-25
• Schulz, W. (2005). Testing parameter ınvariance for questionnaire ındices using confirmatory factor analysis and ıtem response theory. Paper Presented at the Annual Meetings of the American Educational Research Association (AERA) in San Francisco, 7-11
• Schulz, W. (2008). Questionnaire construct validation in the ınternational civic and citizenship education study. Paper presented to the 3rd IEA International Research Conference in Taipei, 23-27
• Shealy, R. T., ve Stout, W. F. (1993). A model based standardization approach that separates true bias/DIF. Psychometrika, 58, 197–239.
• Swaminathan, H. ve Rogers, H. J. (1990). Detecting differential item functioning using logistic regression procedures. Journal of Educational Measurement, 27(4), 361- 370. Tabachnick, B. G. ve Fidell, L. S. (2007). Using Multivariate Statistics (5th ed.). Boston MA: Allyn & Bacon.
• Tiryaki, F. (2019). PISA 2015 öğrenci tutum anketlerinin değişen madde fonksiyonu ve ölçme değişmezliğinin incelenmesi. (Yayınlanmamış Yüksek Lisans Tezi). Ankara Üniversitesi, Ankara, Türkiye.
• Zumbo, B. D. (1999). A Handbook on the Theory and Methods of Differential İtem Functioning (DIF): Logistic Regression Modeling as a Unitary Framework for Binary and Likert-Type (Ordinal) Item Scores. Ottawa, ON: Directorate of Human Resources Research and Evaluation, Department of National Defense.