PISA 2018 Okuma Becerileri Testinin Bilişsel ve Sosyo-Ekonomik Gruplar Arasında Ölçme Değişmezliği

Abstract

PISA, uluslararası eğitim araştırmaları arasında önemli bir yere sahiptir ve elde edilen sonuçlar farklı alt gruplar arasında karşılaştırmalar yapmak için kullanılmaktadır. Ancak, bu karşılaştırmaların güvenilir olabilmesi için kullanılan ölçme aracının her alt grupta aynı yapıyı ölçtüğünün kanıtlanması gerekmektedir. Bu çalışmada, PISA 2018 uygulamasında okuma becerileri başarısını yordayan güvenilirliği değerlendirme, özetleme ve ekonomik-sosyal-kültürel durum değişkenlerine göre oluşturan alt gruplarda ölçme değişmezliği incelenmiştir. Araştırmanın örneklemi, PISA 2018’e Türkiye’den katılan 6890 öğrencinin öğrenci anketi ile okuma becerileri temel testinde yer alan 5 üniteye verdikleri yanıtlar üzerinden oluşturulmuştur. Verilerin analiz için gerekli varsayımları sağladığı belirlendikten sonra, R yazılımı kullanılarak çoklu grup doğrulayıcı faktör analizi (ÇGDFA) uygulanmış ve ölçme değişmezliği aşamalı olarak test edilmiştir. Analiz sürecinde her aşama için ölçeklenmiş uyum katsayıları değerlendirilmiş, ayrıca aşamalar arasındaki farklılıklar ölçeklenmiş CFI ve ölçeklenmiş TLI uyum indeksleri farkı üzerinden karşılaştırılmıştır. Çalışmada yapılan 15 analiz sonucunda, 4’ünde yapısal değişmezliğin sağlandığı, 10’unun metrik değişmezlik aşamasında kaldığı ve 1 ünite için modelin yakınsamaması nedeniyle uyum katsayılarının hesaplanamadığı belirlenmiştir.

Keywords

• ölçme değişmezliği
• ekonomik-sosyal-kültürel durum
• güvenilirliği değerlendirme
• özetleme
• çoklu grup doğrulayıcı faktör analizi.

Measurement Invariance of the PISA 2018 Reading Literacy Test Across Cognitive and Socio-Economic Groups

Abstract

PISA holds a significant place among international educational research studies, and its results are used to make comparisons across different subgroups. However, for these comparisons to be valid, it must be demonstrated that the measurement instrument assesses the same construct across all subgroups. This study examines measurement invariance in subgroups formed based on three key variables predicting reading proficiency in the PISA 2018 assessment: evaluating reliability, summarizing, and socioeconomic and cultural status. The study sample consists of responses from 6,890 students in Turkey who participated in PISA 2018, specifically their answers to the student questionnaire and five reading literacy test units. After verifying that the data met the necessary assumptions for analysis, multiple-group confirmatory factor analysis (MG-CFA) was conducted using R software, and measurement invariance was tested step by step. Throughout the analysis, scaled fit indices were evaluated for each stage, and differences between stages were assessed using the scaled CFI and scaled TLI fit index differences. The findings revealed that among the 15 analyses conducted, structural invariance was achieved in 4 cases, 10 remained at the metric invariance stage, and in one unit, model convergence was not achieved, preventing the calculation of fit indices.

Keywords

• measurement invariance
• economic-social
• cultural situation
• reliability assessment
• summarizing
• multigroup confirmatory factor analysis.

References

1. Arıcı, Ö. ve Altıntaş, Ö. (2014). PISA 2009 okuma becerileri yeterliklerinin sosyoekonomik alt yapı ve okul öncesi eğitime katılım açısından incelenmesi “Türkiye örneği”. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 47(1), 423-448. https://doi.org/10.1501/Egifak_0000001331
2. Asil, M. ve Brown, G. T. (2015). Comparing OECD PISA reading in English to other languages: Identifying potential sources of non-invariance. International Journal of Testing, 16(1), 71-93. http://doi.org/10.1080/15305058.2015.1064431
3. Atalay Kabasakal, K. ve Gören, S. (2025). Eğitimde madde takımlarının kullanımı: eTIMSS 2019 örneği. Eğitim ve Bilim, 50, 111-127. http://dx.doi.org/10.15390/EB.2025.14104
4. Atılgan, M. (2022). TIMMS 2019 matematik başarısına ilişkin duyuşsal özelliklerin cinsiyete göre ölçme değişmezliğinin incelenmesi. (Yüksek lisans tezi). Ankara Üniversitesi.
5. Ayvallı, M. (2016). PISA 2012 matematik okur-yazarlığı testinin ölçme değişmezliğinin incelenmesi. (Yüksek lisans tezi). Akdeniz Üniversitesi.
6. Bağdu Söyler, P., Aydın, B. ve Atılgan, H. (2021). PISA 2015 reading test item parameters across language groups: a measurement invariance study with binary variables. Eğitimde Ve Psikolojide Ölçme Ve Değerlendirme Dergisi, 12(2), 112–128. https://doi.org/10.21031/epod.800697
7. Bofah, E. ve Hannula, M. (2017). Home resources as a measure of socio-economic status in Ghana. Large-scale Assessments in Education, 5(1), 1-15.
8. Bowen, N. K., ve Masa, R. D. (2015). Conducting measurement invariance tests with ordinal data: A guide for social work researchers. Journal of the Society for Social Work and Research, 6(2), 229–249. https://doi.org/10.1086/681607

9. Bryne, B. ve Stewart, S.M. (2006). The MACS approach to testing for multigroup invariance of a second order structure: A walk through the process. Structural Equation Modelling a Multidisiplinary Journal, 287-321. http://doi.org/10.1186/s40536-017-0039-5
10. Bryne, B. ve Watkins, D. (2003). The issue of measurement invariance revisited, Journal of Cross-cultural Psychology, 34(2), 155-175. https://doi.org/10.1177/0022022102250225
11. Cheung, G.W. ve Rensvold, R.B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling, 9(2), 233–255. https://doi.org/10.1207/S15328007SEM0902_5
12. Coşguner, T. (2013). Uluslararası öğrenci başarı değerlendirme programı (PISA) 2009 uygulaması okuma becerileri okuryazarlığını etkileyen faktörler. (Yüksek lisans tezi). Akdeniz Üniversitesi.
13. Çakıcı Eser, D. (2021). Investigation of measurement ınvariance according to home resources: TIMSS 2015 mathematical affective characteristics questionnaire. International Journal of Assessment Tools in Education, 8(3), 633-648. https://doi.org/10.21449/ijate.817168
14. DiStefano, C., ve Morgan, G. B. (2014). A comparison of diagonal weighted least squares robust estimation techniques for ordinal data. Structural Equation Modeling a Multidisciplinary Journal, 21(3), 425–438. https://doi.org/10.1080/10705511.2014.915373
15. Dinçer, L. (2023). Sınıf içi değerlendirme yaklaşımları envanterinin Türkçe’ye uyarlanması ve ölçme değişmezliğinin incelenmesi. (Yüksek lisans tezi). Gaziantep Üniversitesi.
16. Dunslosky, J.ve Thiede, K.W. (1998). “What makes people study more? An evaluation of factors that affect self-paced study”. Acta Psychologica 98 (1998), 3756.
17. Epçaçan, C. (2018). Okuduğunu anlama becerisinin gelişiminde özetleme tekniğinin etkisi üzerine bir değerlendirme. Ekev Akademi Dergisi, 74, 11-30.
18. Eroğlu, B. ve Aslan, Y. (2020). Ortaokul öğrencilerinin özetleme tutumlarının bazı değişkenler açısından incelenmesi. Dil Eğitimi ve Araştırmaları Dergisi, 6(2), 281-194. https://doi.org/10.31464/jlere.610085
19. Espinosa, J. E. (2016). Assessing the factorial validity, measurement invariance, and latent mean differences of a second-order, multidimensionalmodel of academic and social collage course engagement: A comparison accross course format, ethnic groups, and economic status. (Doctoral thesis). California University.
20. Fraenkel, J.R., Wallen, N.E. ve Hyun, H.H. (2012). How to design and evaluate research in education (8th ed.). New York: Mc Graw Hill.
21. Francisca, E.E. ve Mezoh, P.R. (2018). Home environment as a predictor of academic performance of pupils with learning disabilities in buea, south west region of cameroon. International Journal of Trend in Scientific Research and Development, 3(1), 711–729. https://doi.org/10.31142/ijtsrd19067
22. Gök, B., Kabasakal, K. A., & Kelecioğlu, H. (2014). PISA2009 öğrenci anketi tutum maddelerinin kültüre göre değişen madde fonksiyonu açısından incelenmesi. Journal of Measurement and Evaluation in Education and Psychology, 5(1), 72-87. https://doi.org/10.21031/epod.64124
23. Gönen, E. (2021). PISA 2018 okuma becerileri testinin ülkelere ve cinsiyete göre ölçme değişmezliğinin incelenmesi. (Yüksek lisans tezi). Hacettepe Üniversitesi.
24. Gören, S., Sayın, A., ve Gelbal, S. (2024). An analysis of item bias in the PISA 2018 reading understanding and memorising strategies questionnaire. Kastamonu Education Journal, 32(2), 345-356. https://doi.org/10.24106/kefdergi.1473662
25. Gündoğmuş, İ. (2017). Kağıt-kalem, bilgisayar ve tablet ortamında gerçekleştirilen sınavlar için ölçme değişmezliğinin ve öğrenci görüşlerinin incelenmesi. (Yüksek lisans tezi). Hacettepe Üniversitesi.
26. Güngör, M. (2019). Fen motivasyonu ve özyeterliği modeli’nin ölçme değişmezliğinin incelenmesi: PISA 2015 Türkiye örneği. (Yüksek lisans tezi). Hacettepe Üniversitesi.
27. He, J., Barrera-Pedemonte, F. ve Buchholz, J. (2018). Cross-cultural comparability of noncognitive constructs in TIMSS and PISA. Assessment in Education Principles Policy and Practice, 26(4), 369–385. https://doi.org/10.1080/0969594x.2018.1469467
28. Hoyle, R.H. (1995). Structural Equation Modelling. California: SAGE Publications.
29. İmrol, F. (2017). PISA 2012 Türkiye örnekleminde matematiğe yönelik motivasyon ve öz-inanç yapılarının ölçme değişmezliğinin incelenmesi. (Yüksek lisans tezi). Ankara Üniversitesi.
30. Kasap,Y., Doğan, N. ve Koçak, C. (2021). PISA 2018’de okuduğunu anlama başarısını yordayan değişkenlerin veri madenciliği ile belirlenmesi. Manisa Celal Bayar Üniversitesi Sosyal Bilimler Dergisi, 19(4), 241-258. https://doi.org/1018026/cbayarsos.959609
31. Kenny, D. A. (Eds.). (2006). Methodology in the social sciences. The Guildford Press.
32. Kıbrıslıoğlu, N. (2015). PISA 2012 matematik öğrenme modelinin kültürlere ve cinsiyete göre ölçme değişmezliğinin incelenmesi: Türkiye-Çin(Şangay)-Endonezya örneği. (Yüksek lisans tezi). Hacettepe Üniversitesi.
33. Kline, R. B. (2016). Methodology in the social sciences: Princibles and practice of structural equation modeling (4th ed.). The Guilford Press.
34. Lee, S. S. (2019). Longitudinal and cross-country measurement invariance of the PISA home possessions scale. (Doctoral Thesis). The Pennsylvania State University.
35. MEB (2019). PISA 2018 Türkiye ön raporu. Eğitim ve Analiz Değerlendirme Raporları Serisi No:10. T.C. Milli Eğitim Bakanlığı Basımevi.
36. Meredith, W. (1993). Measurement invariance, factor analysis and factorial invariance. Psychometrika 58, 525–543 (1993). https://doi.org/10.1007/BF02294825
37. OECD (2009). PISA 2009 Assessment framework: Key competencies in reading, mathematics and science, OECD Publishing.
38. OECD (2019). PISA 2018 Assessment and Analytical Framework, PISA, OECD Publishing Paris. https://doi.org/10.1787/b25efab8-en
39. Öğretmen, T. (2006). Uluslararası okuma becerilerinde gelişim projesi (PIRLS) 2001 testinin psikometrik özelliklerinin incelenmesi: Türkiye-Amerika Birleşik Devletleri örneği. (Doktora tezi). Hacettepe Üniversitesi.
40. Pohl, S. (2013). Longitudinal multistage testing. Wiley, 50(4), 447-468. https://doi.org/10.1111/jedm.12028
41. Rutkowski, L. ve Svetina, D. (2014). Assessing the hypothesis of measurement invariance in the context of large-scale international surveys. Educational and Psychological Measurement, 74(1), 31–57. https://doi.org/10.1177/0013164413498257
42. Sarıer, Y. (2021). PISA uygulamalarında Türkiye’nin performansı ve öğrenci başarısını yordayan değişkenler. Türkiye Sosyal Araştırmalar Dergisi, 25(3), 905-926. https://dergipark.org.tr/tr/pub/tsadergisi/issue/66172/757533
43. Schmitt, N. ve Kuljanin, G. (2008). Measurement invariance: Review of practice and implications. Human Resource Management Review, 18(4), 210–222. https://doi.org/10.1016/j.hrmr.2008.03.003
44. Stafford, R. E. (2011). Evaluation of the student engagement instrument: Measurement invariance accross economic status and association with academic achievement. (Master Thesis). Southeastern Louisiana University.
45. Şen, S. (2020). Mplus ile yapısal eşitlik modellemesi uygulamaları. (1.baskı). Nobel Akademik Yayıncılık.
46. Tabachnick, B.G. ve Fidell, L.S. (2013). Using multivariate statistics. 6th ed. Boston: Pearson Education.
47. Uyumaz, G. (2021). Yükseköğretimde Okul Terki Ölçeği’nin Türk kültürüne uyarlanması ve kültürlerarası ölçme değişmezliğinin belirlenmesi. (Yüksek lisans tezi). Kocaeli Üniversitesi.
48. Uyumaz, G. ve Sırgancı, G. (2020). Doğrulayıcı faktör analizi için gerekli örneklem büyüklüğü kaç kişidir: Bayes yaklaşımı ve maksimum olabilirlik kestirimi. Uluslararası Toplum Araştırmaları Dergisi, 16(32), 5304-5340.
49. Ülkü, S. (2019). ABİDE 2016 Türkçe ve fen bilimleri alt-testlerinin öğretmen özelliklerine göre ölçme değişmezliğinin incelenmesi. (Yüksek lisans tezi). Hacettepe Üniversitesi.
50. Van De Vijver, F. J. R. (2018). Towards an integrated framework of bias in noncognitive assessment in international large‐scale studies: challenges and prospects. Educational Measurement Issues and Practice, 37(4), 49–56. https://doi.org/10.1111/emip.12227
51. Vandenberg, R. J., ve Lance, C. E. (2000). A review and synthesis of the measurement invariance literature: suggestions, practices, and recommendations for organizational research. Organizational Research Methods, 3(1), 4–70. https://doi.org/10.1177/109442810031002
52. Yalçınkaya, M. (2023). 2019 TIMMS ve eTIMMS 4. ve 8.sınıf matematik ve fen bilimleri başarı testlerinin ölçme değişmezliği ve madde yanlılığının incelenmesi. (Yüksek lisans tezi). Ege Üniversitesi.