wajes Batı Anadolu Eğitim Bilimleri Dergisi 1308-8971 Dokuz Eylul University 10.51460/baebd.1671573 Other Fields of Education (Other) Alan Eğitimleri (Diğer) PISA 2018 Okuma Becerileri Testinin Bilişsel ve Sosyo-Ekonomik Gruplar Arasında Ölçme Değişmezliği Measurement Invariance of the PISA 2018 Reading Literacy Test Across Cognitive and Socio-Economic Groups https://orcid.org/0009-0007-9526-5368 Yazıkan Tuba https://orcid.org/0000-0002-3580-5568 Atalay Kabasakal Kübra Hacettepe Üniversitesi, Eğitim Fakültesi 04 28 2026 17 1 777 798 04 08 2025 04 01 2026 Copyright © 2010, The Western Anatolia Journal of Educational Sciences (WAJES) 2010 The Western Anatolia Journal of Educational Sciences (WAJES)

PISA, uluslararası eğitim araştırmaları arasında önemli bir yere sahiptir ve elde edilen sonuçlar farklı alt gruplar arasında karşılaştırmalar yapmak için kullanılmaktadır. Ancak, bu karşılaştırmaların güvenilir olabilmesi için kullanılan ölçme aracının her alt grupta aynı yapıyı ölçtüğünün kanıtlanması gerekmektedir. Bu çalışmada, PISA 2018 uygulamasında okuma becerileri başarısını yordayan güvenilirliği değerlendirme, özetleme ve ekonomik-sosyal-kültürel durum değişkenlerine göre oluşturan alt gruplarda ölçme değişmezliği incelenmiştir. Araştırmanın örneklemi, PISA 2018’e Türkiye’den katılan 6890 öğrencinin öğrenci anketi ile okuma becerileri temel testinde yer alan 5 üniteye verdikleri yanıtlar üzerinden oluşturulmuştur. Verilerin analiz için gerekli varsayımları sağladığı belirlendikten sonra, R yazılımı kullanılarak çoklu grup doğrulayıcı faktör analizi (ÇGDFA) uygulanmış ve ölçme değişmezliği aşamalı olarak test edilmiştir. Analiz sürecinde her aşama için ölçeklenmiş uyum katsayıları değerlendirilmiş, ayrıca aşamalar arasındaki farklılıklar ölçeklenmiş CFI ve ölçeklenmiş TLI uyum indeksleri farkı üzerinden karşılaştırılmıştır. Çalışmada yapılan 15 analiz sonucunda, 4’ünde yapısal değişmezliğin sağlandığı, 10’unun metrik değişmezlik aşamasında kaldığı ve 1 ünite için modelin yakınsamaması nedeniyle uyum katsayılarının hesaplanamadığı belirlenmiştir.

PISA holds a significant place among international educational research studies, and its results are used to make comparisons across different subgroups. However, for these comparisons to be valid, it must be demonstrated that the measurement instrument assesses the same construct across all subgroups. This study examines measurement invariance in subgroups formed based on three key variables predicting reading proficiency in the PISA 2018 assessment: evaluating reliability, summarizing, and socioeconomic and cultural status. The study sample consists of responses from 6,890 students in Turkey who participated in PISA 2018, specifically their answers to the student questionnaire and five reading literacy test units. After verifying that the data met the necessary assumptions for analysis, multiple-group confirmatory factor analysis (MG-CFA) was conducted using R software, and measurement invariance was tested step by step. Throughout the analysis, scaled fit indices were evaluated for each stage, and differences between stages were assessed using the scaled CFI and scaled TLI fit index differences. The findings revealed that among the 15 analyses conducted, structural invariance was achieved in 4 cases, 10 remained at the metric invariance stage, and in one unit, model convergence was not achieved, preventing the calculation of fit indices.

 ölçme değişmezliği ekonomik-sosyal-kültürel durum güvenilirliği değerlendirme özetleme çoklu grup doğrulayıcı faktör analizi. measurement invariance economic-social cultural situation reliability assessment summarizing multigroup confirmatory factor analysis. Arıcı, Ö. ve Altıntaş, Ö. (2014). PISA 2009 okuma becerileri yeterliklerinin sosyoekonomik alt yapı ve okul öncesi eğitime katılım açısından incelenmesi “Türkiye örneği”. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 47(1), 423-448. https://doi.org/10.1501/Egifak_0000001331 Asil, M. ve Brown, G. T. (2015). Comparing OECD PISA reading in English to other languages: Identifying potential sources of non-invariance. International Journal of Testing, 16(1), 71-93. http://doi.org/10.1080/15305058.2015.1064431 Atalay Kabasakal, K. ve Gören, S. (2025). Eğitimde madde takımlarının kullanımı: eTIMSS 2019 örneği. Eğitim ve Bilim, 50, 111-127. http://dx.doi.org/10.15390/EB.2025.14104 Atılgan, M. (2022). TIMMS 2019 matematik başarısına ilişkin duyuşsal özelliklerin cinsiyete göre ölçme değişmezliğinin incelenmesi. (Yüksek lisans tezi). Ankara Üniversitesi. Ayvallı, M. (2016). PISA 2012 matematik okur-yazarlığı testinin ölçme değişmezliğinin incelenmesi. (Yüksek lisans tezi). Akdeniz Üniversitesi. Bağdu Söyler, P., Aydın, B. ve Atılgan, H. (2021). PISA 2015 reading test item parameters across language groups: a measurement invariance study with binary variables. Eğitimde Ve Psikolojide Ölçme Ve Değerlendirme Dergisi, 12(2), 112–128. https://doi.org/10.21031/epod.800697 Bofah, E. ve Hannula, M. (2017). Home resources as a measure of socio-economic status in Ghana. Large-scale Assessments in Education, 5(1), 1-15. Bowen, N. K., ve Masa, R. D. (2015). Conducting measurement invariance tests with ordinal data: A guide for social work researchers. Journal of the Society for Social Work and Research, 6(2), 229–249. https://doi.org/10.1086/681607 Bryne, B. ve Stewart, S.M. (2006). The MACS approach to testing for multigroup invariance of a second order structure: A walk through the process. Structural Equation Modelling a Multidisiplinary Journal, 287-321. http://doi.org/10.1186/s40536-017-0039-5 Bryne, B. ve Watkins, D. (2003). The issue of measurement invariance revisited, Journal of Cross-cultural Psychology, 34(2), 155-175. https://doi.org/10.1177/0022022102250225 Cheung, G.W. ve Rensvold, R.B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling, 9(2), 233–255. https://doi.org/10.1207/S15328007SEM0902_5 Coşguner, T. (2013). Uluslararası öğrenci başarı değerlendirme programı (PISA) 2009 uygulaması okuma becerileri okuryazarlığını etkileyen faktörler. (Yüksek lisans tezi). Akdeniz Üniversitesi. Çakıcı Eser, D. (2021). Investigation of measurement ınvariance according to home resources: TIMSS 2015 mathematical affective characteristics questionnaire. International Journal of Assessment Tools in Education, 8(3), 633-648. https://doi.org/10.21449/ijate.817168 DiStefano, C., ve Morgan, G. B. (2014). A comparison of diagonal weighted least squares robust estimation techniques for ordinal data. Structural Equation Modeling a Multidisciplinary Journal, 21(3), 425–438. https://doi.org/10.1080/10705511.2014.915373 Dinçer, L. (2023). Sınıf içi değerlendirme yaklaşımları envanterinin Türkçe’ye uyarlanması ve ölçme değişmezliğinin incelenmesi. (Yüksek lisans tezi). Gaziantep Üniversitesi. Dunslosky, J.ve Thiede, K.W. (1998). “What makes people study more? An evaluation of factors that affect self-paced study”. Acta Psychologica 98 (1998), 3756. Epçaçan, C. (2018). Okuduğunu anlama becerisinin gelişiminde özetleme tekniğinin etkisi üzerine bir değerlendirme. Ekev Akademi Dergisi, 74, 11-30. Eroğlu, B. ve Aslan, Y. (2020). Ortaokul öğrencilerinin özetleme tutumlarının bazı değişkenler açısından incelenmesi. Dil Eğitimi ve Araştırmaları Dergisi, 6(2), 281-194. https://doi.org/10.31464/jlere.610085 Espinosa, J. E. (2016). Assessing the factorial validity, measurement invariance, and latent mean differences of a second-order, multidimensionalmodel of academic and social collage course engagement: A comparison accross course format, ethnic groups, and economic status. (Doctoral thesis). California University. Fraenkel, J.R., Wallen, N.E. ve Hyun, H.H. (2012). How to design and evaluate research in education (8th ed.). New York: Mc Graw Hill. Francisca, E.E. ve Mezoh, P.R. (2018). Home environment as a predictor of academic performance of pupils with learning disabilities in buea, south west region of cameroon. International Journal of Trend in Scientific Research and Development, 3(1), 711–729. https://doi.org/10.31142/ijtsrd19067 Gök, B., Kabasakal, K. A., & Kelecioğlu, H. (2014). PISA2009 öğrenci anketi tutum maddelerinin kültüre göre değişen madde fonksiyonu açısından incelenmesi. Journal of Measurement and Evaluation in Education and Psychology, 5(1), 72-87. https://doi.org/10.21031/epod.64124 Gönen, E. (2021). PISA 2018 okuma becerileri testinin ülkelere ve cinsiyete göre ölçme değişmezliğinin incelenmesi. (Yüksek lisans tezi). Hacettepe Üniversitesi. Gören, S., Sayın, A., ve Gelbal, S. (2024). An analysis of item bias in the PISA 2018 reading understanding and memorising strategies questionnaire. Kastamonu Education Journal, 32(2), 345-356. https://doi.org/10.24106/kefdergi.1473662 Gündoğmuş, İ. (2017). Kağıt-kalem, bilgisayar ve tablet ortamında gerçekleştirilen sınavlar için ölçme değişmezliğinin ve öğrenci görüşlerinin incelenmesi. (Yüksek lisans tezi). Hacettepe Üniversitesi. Güngör, M. (2019). Fen motivasyonu ve özyeterliği modeli’nin ölçme değişmezliğinin incelenmesi: PISA 2015 Türkiye örneği. (Yüksek lisans tezi). Hacettepe Üniversitesi. He, J., Barrera-Pedemonte, F. ve Buchholz, J. (2018). Cross-cultural comparability of noncognitive constructs in TIMSS and PISA. Assessment in Education Principles Policy and Practice, 26(4), 369–385. https://doi.org/10.1080/0969594x.2018.1469467 Hoyle, R.H. (1995). Structural Equation Modelling. California: SAGE Publications. İmrol, F. (2017). PISA 2012 Türkiye örnekleminde matematiğe yönelik motivasyon ve öz-inanç yapılarının ölçme değişmezliğinin incelenmesi. (Yüksek lisans tezi). Ankara Üniversitesi. Kasap,Y., Doğan, N. ve Koçak, C. (2021). PISA 2018’de okuduğunu anlama başarısını yordayan değişkenlerin veri madenciliği ile belirlenmesi. Manisa Celal Bayar Üniversitesi Sosyal Bilimler Dergisi, 19(4), 241-258. https://doi.org/1018026/cbayarsos.959609 Kenny, D. A. (Eds.). (2006). Methodology in the social sciences. The Guildford Press. Kıbrıslıoğlu, N. (2015). PISA 2012 matematik öğrenme modelinin kültürlere ve cinsiyete göre ölçme değişmezliğinin incelenmesi: Türkiye-Çin(Şangay)-Endonezya örneği. (Yüksek lisans tezi). Hacettepe Üniversitesi. Kline, R. B. (2016). Methodology in the social sciences: Princibles and practice of structural equation modeling (4th ed.). The Guilford Press. Lee, S. S. (2019). Longitudinal and cross-country measurement invariance of the PISA home possessions scale. (Doctoral Thesis). The Pennsylvania State University. MEB (2019). PISA 2018 Türkiye ön raporu. Eğitim ve Analiz Değerlendirme Raporları Serisi No:10. T.C. Milli Eğitim Bakanlığı Basımevi. Meredith, W. (1993). Measurement invariance, factor analysis and factorial invariance. Psychometrika 58, 525–543 (1993). https://doi.org/10.1007/BF02294825 OECD (2009). PISA 2009 Assessment framework: Key competencies in reading, mathematics and science, OECD Publishing. OECD (2019). PISA 2018 Assessment and Analytical Framework, PISA, OECD Publishing Paris. https://doi.org/10.1787/b25efab8-en Öğretmen, T. (2006). Uluslararası okuma becerilerinde gelişim projesi (PIRLS) 2001 testinin psikometrik özelliklerinin incelenmesi: Türkiye-Amerika Birleşik Devletleri örneği. (Doktora tezi). Hacettepe Üniversitesi. Pohl, S. (2013). Longitudinal multistage testing. Wiley, 50(4), 447-468. https://doi.org/10.1111/jedm.12028 Rutkowski, L. ve Svetina, D. (2014). Assessing the hypothesis of measurement invariance in the context of large-scale international surveys. Educational and Psychological Measurement, 74(1), 31–57. https://doi.org/10.1177/0013164413498257 Sarıer, Y. (2021). PISA uygulamalarında Türkiye’nin performansı ve öğrenci başarısını yordayan değişkenler. Türkiye Sosyal Araştırmalar Dergisi, 25(3), 905-926. https://dergipark.org.tr/tr/pub/tsadergisi/issue/66172/757533 Schmitt, N. ve Kuljanin, G. (2008). Measurement invariance: Review of practice and implications. Human Resource Management Review, 18(4), 210–222. https://doi.org/10.1016/j.hrmr.2008.03.003 Stafford, R. E. (2011). Evaluation of the student engagement instrument: Measurement invariance accross economic status and association with academic achievement. (Master Thesis). Southeastern Louisiana University. Şen, S. (2020). Mplus ile yapısal eşitlik modellemesi uygulamaları. (1.baskı). Nobel Akademik Yayıncılık. Tabachnick, B.G. ve Fidell, L.S. (2013). Using multivariate statistics. 6th ed. Boston: Pearson Education. Uyumaz, G. (2021). Yükseköğretimde Okul Terki Ölçeği’nin Türk kültürüne uyarlanması ve kültürlerarası ölçme değişmezliğinin belirlenmesi. (Yüksek lisans tezi). Kocaeli Üniversitesi. Uyumaz, G. ve Sırgancı, G. (2020). Doğrulayıcı faktör analizi için gerekli örneklem büyüklüğü kaç kişidir: Bayes yaklaşımı ve maksimum olabilirlik kestirimi. Uluslararası Toplum Araştırmaları Dergisi, 16(32), 5304-5340. Ülkü, S. (2019). ABİDE 2016 Türkçe ve fen bilimleri alt-testlerinin öğretmen özelliklerine göre ölçme değişmezliğinin incelenmesi. (Yüksek lisans tezi). Hacettepe Üniversitesi. Van De Vijver, F. J. R. (2018). Towards an integrated framework of bias in noncognitive assessment in international large‐scale studies: challenges and prospects. Educational Measurement Issues and Practice, 37(4), 49–56. https://doi.org/10.1111/emip.12227 Vandenberg, R. J., ve Lance, C. E. (2000). A review and synthesis of the measurement invariance literature: suggestions, practices, and recommendations for organizational research. Organizational Research Methods, 3(1), 4–70. https://doi.org/10.1177/109442810031002 Yalçınkaya, M. (2023). 2019 TIMMS ve eTIMMS 4. ve 8.sınıf matematik ve fen bilimleri başarı testlerinin ölçme değişmezliği ve madde yanlılığının incelenmesi. (Yüksek lisans tezi). Ege Üniversitesi.