PISA Okuma Keyfi Ölçeğinin Farklı Başarı Gruplarında Yer Alan Ülkelere Göre Ölçme Değişmezliğinin İncelenmesi

Yıl 2025, Cilt: 20 Sayı: 47, 1190 - 1210, 17.09.2025

Yusuf Kasap , Nuri Doğan , Mustafa Köroğlu , Özlem Doğan

https://doi.org/10.35675/befdergi.1630600

Öz

Bu çalışma, PISA 2018 öğrenci anketinde yer alan okuma keyfi ölçeğinin farklı başarı gruplarındaki ölçme değişmezliğini incelemeyi amaçlamaktadır. Ölçme değişmezliği, gizil değişkenler ile gözlenen değişkenler arasındaki ilişkinin farklı gruplarda aynı biçimde sürdürülüp sürdürülmediğini ortaya koyar. Araştırmanın örneklemi, üst başarı grubunu temsil eden Norveç (n=5659), orta başarı grubunu temsil eden Türkiye (n=6858) ve düşük başarı grubunu temsil eden Kolombiya’dan (n=7192) olmak üzere toplam 19.709 öğrenciden oluşmaktadır. Açımlayıcı faktör analizi sonucunda beş maddeli tek faktörlü model doğrulanmış, ardından çok gruplu doğrulayıcı faktör analiziyle ölçme değişmezliği test edilmiştir. Bulgular, modelin şekilsel, metrik, ölçek ve katı düzeylerde değişmezlik göstermediğini ortaya koymuştur. Bu sonuç, ülkeler arasında yapılan karşılaştırmaların geçerliliğini sınırlamakta ve ölçeğin farklı başarı gruplarında ortak bir ölçme yapısını sağlayamadığını göstermektedir.

Anahtar Kelimeler

ölçme değişmezliği , PISA 2018 , okuma keyfi ölçeği

An Examination of the Measurement Invariance of the PISA Reading Enjoyment Scale across Countries with Different Achievement Levels

Öz

This study aims to examine the measurement invariance of the reading enjoyment scale included in the PISA 2018 student questionnaire across different achievement groups. Measurement invariance reveals whether the relationship between latent variables and observed variables is maintained consistently across groups. The sample consists of a total of 19,709 students: Norway representing the high-achievement group (n=5659), Turkey representing the middle-achievement group (n=6858), and Colombia representing the low-achievement group (n=7192). Exploratory factor analysis confirmed a single-factor structure with five items, followed by multi-group confirmatory factor analysis to test measurement invariance. The findings indicated that the model did not demonstrate configural, metric, scalar, or strict invariance across groups. This result suggests that cross-country comparisons are limited in validity and that the scale does not provide a common measurement structure across different achievement levels.

Anahtar Kelimeler

measurement invariance , PISA 2018 , reading enjoyment scale

Kaynakça

• Akyıldız, M. (2009). PIRLS 2001 testinin yapı geçerliliğinin ülkelerarası karşılaştırılması. Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi. 1, 18-47. https://dergipark.org.tr/en/pub/yyuefd/issue/13711/165993
• Asil, M. ve Gelbal, S. (2012). PISA öğrenci anketinin kültürler arası eşdeğerliği. Eğitim ve Bilim, 166, 236-249. https://dergipark.org.tr/en/download/article-file/146293
• Ayvallı, M. (2016) PISA 2012 Matematik okur-yazarlığı testinin ölçme değişmezliğinin incelenmesi (Tez No. 436748) [Yüksek Lisans Tezi, Akdeniz Üniversitesi-Antalya]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. Anastasi, A. (1988). Psychological Testing. Macmillan Publishing Company.
• Bahadır, E. (2012). Uluslararası Öğrenci Değerlendirme Programı'na (PISA 2009) göre Türkiye'deki öğrencilerin okuma becerilerini etkileyen değişkenlerin bölgelere göre incelenmesi (Tez No. 315014) [Yüksek Lisans Tezi, Hacettepe Üniversitesi-Ankara]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi.
• Başusta, N. B. & Gelbal, S. (2015). Gruplar arası karşılaştırmalarda ölçme değişmezliğinin test edilmesi: PISA öğrenci anketi örneği. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 30(4), 80-90. https://www.researchgate.net/publication/330089813
• Beals, R. L., & Hoijer, H. (1972). “The Macmillan Company”,(çevirien: Gürbüz Erginer). The Nature and Scope of Anthropology.
• Büyüköztürk, Ş., Kılıç-Çakmak, E., Akgün, Ö.E., Karadeniz, Ş., & Demirel, F. (2018). Bilimsel Araştırma Yöntemleri. (25.Baskı). Pegem Yayıncılık.
• Brown, T. A. (2006). Confirmatory factor analysis for applied research. Guilford Press.
• Byrne, B. M. (2016). Structural Equation Modeling with AMOS: Basic Concepts, Applications, and Programming (3rd ed.). Routledge.
• Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. Toronto: Holt, RineHart, and Winston, Inc.
• Chen, F. F. (2007). Sensitivity of goodness of fit indexes to lack of measurement invariance. Structural equation modeling: a multidisciplinary journal, 14(3), 464-504. https://doi.org/10.1080/10705510701301834
• Cheung, G. W. & Rensvold, R. B. (1999). Testing factorial ınvariance across groups: a reconceptualization and proposed new method. Journal of Management, 25(1), 1–27. https://doi.org/10.1177/014920639902500101
• Cheung, G. W. & Rensvold, R. B. (2000). Assessing extreme and acquiescence response sets in cross-cultural research using structural equations modeling. Journal of cross-cultural psychology, 31(2), 187-212.https://doi.org/10.1177/0022022100031002003
• Cheung, G. W. & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural equation modeling, 9(2), 233-255. https://doi.org/10.1207/S15328007SEM0902_5
• Davidov, E., Meuleman, B., Cieciuch, J., Schmidt, P., & Billiet, J. (2021). Measurement invariance in cross-national research. Annual Review of Sociology, 47, 293–318. https://doi.org/10.1146/annurev-soc-090120-012518
• Dimitrov, D. M. (2010). Testing for factorial invariance in the context of construct validation. Measurement and Evaluation in Counseling and Development, 43(2), 121-149. https://doi.org/10.1177/0748175610373459
• Emerson, S. D., Guhn, M., & Gadermann, A. M. (2017). Measurement invariance of the Satisfaction with Life Scale: Reviewing three decades of research. Quality of Life Research, 26, 2251-2264. https://doi.org/10.1007/s11136-017-1552-2
• Ercikan, K. & Koh, K. (2005). Examining the construct comparability of the English and French versionf of TIMSS. International Journal of Testing, 5, 23-35. https://doi.org/10.1207/s15327574ijt0501_3
• Eryilmaz, N., & Sandoval-Hernandez, A. (2024). Improving cross-cultural comparability: Does school leadership mean the same in different countries? Educational Studies, 50(5), 917–938. https://doi.org/10.1080/03055698.2021.2013777
• Eryilmaz, N., & Sandoval-Hernandez, A. (2023). Is distributed leadership universal? A cross-cultural, comparative approach across 40 countries: An alignment optimisation approach. Education Sciences, 13(2), 218. https://doi.org/10.3390/educsci13020218
• Eryilmaz, N., Rivera-Gutiérrez, M., & Sandoval-Hernández, A. (2020). Should different countries participating in PISA interpret socioeconomic background in the same way? A measurement invariance approach. Revista Iberoamericana de Educación, 84(1), 109–133. https://rieoei.org/RIE/article/view/3981
• Gür, E. (2019). An investigation of the PISA 2015 in terms of differantial item functioning based on culture. (Thesis No. 582227) [Master’s thesis, Hacettepe University-Ankara]. Council of Higher Education Thesis Center.
• Grisay, A., Gonzalez, E., & Monseur, C. (2009). Equivalence of item difficulties across national versions of the PIRLS and PISA reading assessements. IERI, 2. https://orbi.uliege.be/bitstream/2268/121044/1/IERI-Grisay-Gonzalez-Monseur.pdf
• Horn, J. L. & McArdle, J. J. (1992). A practical and theoretical guide to measurement invariance in aging research. Experimental Aging Research, 18(3), 117-144. https://doi.org/10.1080/03610739208253916
• Ireland, M. J., Day, J. J., & Clough, B. A. (2019). Exploring scale validity and measurement invariance of the Toronto Mindfulness Scale across levels of meditation experience and proficiency. Journal of clinical psychology, 75(3), 445-461. https://doi.org/10.1002/jclp.22709
• Jovanović, V., Lazić, M., & Gavrilov‐Jerković, V. (2020). Measuring life satisfaction among psychiatric patients: Measurement invariance and validity of the Satisfaction with Life Scale. Clinical Psychology & Psychotherapy, 27(3), 378-383. https://doi.org/10.1002/cpp.2434
• Kasap, Y. (2022). Veri Madenciliği Yöntemleri ile Ülkelerin Pısa Başarı Düzeylerini Etkileyen Değişkenlerin İncelenmesi (Tez No. 721726) [Doktora Tezi, Hacettepe Üniversitesi-Ankara]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi.
• Kaynak, Z. N. (2012). Yapısal eşitlik modelleri (Tez No. 305950) [Yüksek Lisans Tezi, İstanbul Ticaret Üniversitesi-İstanbul]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi.
• Kıbrıslıoğlu, N. (2015). PISA 2012 matematik öğrenme modelinin kültürlere ve cinsiyete göre ölçme değişmezliğinin incelenmesi (Tez No. 394817) [Yüksek Lisans Tezi, Hacettepe Üniversitesi-Ankara]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi.
• Lee, J. (2009). Universals and specifics of math self-concept, math self-efficacy and math anxiety across 41 countries in PISA 2003 participating countries. Learning and Individual Differences, 19, 255-365. https://doi.org/10.1016/j.lindif.2008.10.009
• Marsh, H. W., Hau, K. T., Artelt, C., Baumert, J., & Peschar, J. L. (2006). OECD's brief self-report measure of educational psychology's most useful affective constructs: Cross-cultural, psychometric comparisons across 25 countries. International Journal of Testing, 6(4), 311-360. https://doi.org/10.1207/s15327574ijt0604_1
• Marsh, H. W., Abduljabbar, A. S., Ebu-Hilal, M. M. vd., (2013). Factorial, convergent, and discriminant validity of TIMSS math and science motivation measures: a comparison of arab and anglo-saxon countries. Journal of Educational Psychology, 105 (1), 108-128. https://psycnet.apa.org/doi/10.1037/a0029907
• Meredith, W. (1993). Measurement invariance, factor analysis and factorial invariance. Psychometrika, 58(4), 525–543. https://doi.org/10.1007/BF02294825
• Milli Eğitim Bakanlığı [MEB]. (2010). Millî Eğitim İstatistikleri Örgün Eğitim 2010-2011, https://sgb.meb.gov.tr/www/milli-egitim-istatistikleri-orgun-egitim-2010-2011/icerik/69 adresinden 23 Aralık 2024 tarihinde alınmıştır.
• Organisation for Economic Co-Operation and Development [OECD] (2019). Programme for International Student Assessment (PISA), https://www.oecd.org/pisa/pisa-2019-results-in-focus.pdf, 14.02.2019 adresinden 23 Aralık 2024 tarihinde alınmıştır.
• Organisation for Economic Co-Operation and Development [OECD] (2019). PISA 2018 Results (Volume III): What School Life Means for Students’ Lives. OECD Publishing, Paris. https://doi.org/10.1787/acd78851-en
• Organisation for Economic Co-Operation and Development [OECD]. (2009). Country Statistical Profiles 2009, http://stats.oecd.org/WBOS/index.aspx adresinden 23 Aralık 2024 tarihinde alınmıştır.
• Önen, E. (2009). Ölçme değişmezliğinin yapısal eşitlik modellemesi teknikleri ile incelenmesi (Tez No. 324837) [Doktora Tezi, Ankara Üniversitesi-Ankara]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi.
• Özgen, K. & Bindak, R. (2008). Matematik okuryazarlığı öz-yeterlik ölçeğinin geliştirilmesi. Kastamonu Eğitim Dergisi, 16(2), 517-528. https://dergipark.org.tr/en/pub/kefdergi/issue/49100/626538
• Putnick, D. L., & Bornstein, M. H. (2016). Measurement invariance conventions and reporting: The state of the art and future directions for psychological research. Developmental Review, 41, 71–90. https://doi.org/10.1016/j.dr.2016.06.004
• Rutkowski, L. & Svetina, D. (2014). Assessing the hypothesis of measurement invariance in the context of large-scale international surveys. Educational and psychological measurement, 74(1), 31-57. https://doi.org/10.1177/0013164413498
• Rutkowski L, Svetina D. (2017) Measurement invariance in international surveys: Categorical indicators and fit measure performance. Appl. Meas. Educ.;30(1): 39-51. https://doi.org/10.1080/08957347.2016.1243540
• Steenkamp E.M. & Baumgartner H. (1998). Assesing measurement ınvariance in cross-national consumer research. Journal of Consumer Research, Volume 25, Issue 1, June 1998, Pages 78–90, https://doi.org/10.1086/209528
• Steinmetz, H., Schmidt, P., Tina-Booh, A., Wieczorek, S., & Schwartz, S. H. (2009). Testing measurement invariance using multigroup CFA: Differences between educational groups in human values measurement. Qual Quant, 43, 599-616. https://doi.org/10.1007/s11135-007-9143-x
• Şimşek, Ö. F. (2020). Yapısal eşitlik modellemesine giriş: Temel ilkeler ve LISREL uygulamaları. Ekinoks.
• Tyson, H.E. (2004). Ethnic differences using behavior rating scales to assess the mental health of children: a conceptual and psychometric critique. Child Psychiatry and Human Development, 34 (3), 167-201. 11. https://doi.org/10.1023/B:CHUD.0000014996.26276.a5
• Uyar. Ş. & Doğan, N. (2014). PISA 2009 Türkiye örnekleminde öğrenme stratejileri modelinin farklı gruplarda ölçme değişmezliğinin incelenmesi. Uluslararası Türk Eğitim Bilimleri Dergisi, 2, 30-43. https://dergipark.org.tr/en/pub/goputeb/issue/33496/380021
• Uzun, N. B., & Gelbal, S. (2017). PISA fen başarı testinin madde yanlılığının kültür ve dil açısından incelenmesi. Kastamonu Eğitim Dergisi, 25(6), 2427-2446.
• Yandı, A.; Köse, İ. A.; Uysal, Ö. ve Oğul, G. (2017). Küreselleşen dünyada eğitim. (PISA 2015 öğrenci anketinin (st094q01nast094q05na) ölçme değişmezliğinin farklı yöntemlerle incelenmesi). Pegem, Ankara
• Yıldırım, H. H. & Berberoglu, G. (2009). Judgemental and statistical analyses of the PISA 2003 mathematics literacy items. International Journal of Testing, 9(2), 108- https://doi.org/10.1080/15305050902880736
• Wu, D. A., Li, Z., & Zumbo, B. D. (2007). Decoding the meaning of factorial invariance and updating the practice of multi-group confirmatory factor analysis: a demonstration with TIMSS data. Practical Assesment, Research & Evaluation, 12(3), 1-26. https://doi.org/10.7275/mhqa-cd89
• Widaman, K. F. & Reise, S. P. (1997). Exploring the measurement invariance of psychological instruments: applications in the substance use domain. The science of prevention: Methodological advances from alcohol and substance abuse research, 281-324. https://doi.org/10.1037/10222-009