PISA Okuma Keyfi Ölçeğinin Farklı Başarı Gruplarında Yer Alan Ülkelere Göre Ölçme Değişmezliğinin İncelenmesi

Öz

Bu çalışma, PISA 2018 öğrenci anketinde yer alan okuma keyfi ölçeğinin farklı başarı gruplarındaki ölçme değişmezliğini incelemeyi amaçlamaktadır. Ölçme değişmezliği, gizil değişkenler ile gözlenen değişkenler arasındaki ilişkinin farklı gruplarda aynı biçimde sürdürülüp sürdürülmediğini ortaya koyar. Araştırmanın örneklemi, üst başarı grubunu temsil eden Norveç (n=5659), orta başarı grubunu temsil eden Türkiye (n=6858) ve düşük başarı grubunu temsil eden Kolombiya’dan (n=7192) olmak üzere toplam 19.709 öğrenciden oluşmaktadır. Açımlayıcı faktör analizi sonucunda beş maddeli tek faktörlü model doğrulanmış, ardından çok gruplu doğrulayıcı faktör analiziyle ölçme değişmezliği test edilmiştir. Bulgular, modelin şekilsel, metrik, ölçek ve katı düzeylerde değişmezlik göstermediğini ortaya koymuştur. Bu sonuç, ülkeler arasında yapılan karşılaştırmaların geçerliliğini sınırlamakta ve ölçeğin farklı başarı gruplarında ortak bir ölçme yapısını sağlayamadığını göstermektedir.

Anahtar Kelimeler

• ölçme değişmezliği
• PISA 2018
• okuma keyfi ölçeği

An Examination of the Measurement Invariance of the PISA Reading Enjoyment Scale across Countries with Different Achievement Levels

Abstract

This study aims to examine the measurement invariance of the reading enjoyment scale included in the PISA 2018 student questionnaire across different achievement groups. Measurement invariance reveals whether the relationship between latent variables and observed variables is maintained consistently across groups. The sample consists of a total of 19,709 students: Norway representing the high-achievement group (n=5659), Turkey representing the middle-achievement group (n=6858), and Colombia representing the low-achievement group (n=7192). Exploratory factor analysis confirmed a single-factor structure with five items, followed by multi-group confirmatory factor analysis to test measurement invariance. The findings indicated that the model did not demonstrate configural, metric, scalar, or strict invariance across groups. This result suggests that cross-country comparisons are limited in validity and that the scale does not provide a common measurement structure across different achievement levels.

Keywords

• measurement invariance
• PISA 2018
• reading enjoyment scale

References

1. Akyıldız, M. (2009). PIRLS 2001 testinin yapı geçerliliğinin ülkelerarası karşılaştırılması. Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi. 1, 18-47. https://dergipark.org.tr/en/pub/yyuefd/issue/13711/165993
2. Asil, M. ve Gelbal, S. (2012). PISA öğrenci anketinin kültürler arası eşdeğerliği. Eğitim ve Bilim, 166, 236-249. https://dergipark.org.tr/en/download/article-file/146293
3. Ayvallı, M. (2016) PISA 2012 Matematik okur-yazarlığı testinin ölçme değişmezliğinin incelenmesi (Tez No. 436748) [Yüksek Lisans Tezi, Akdeniz Üniversitesi-Antalya]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. Anastasi, A. (1988). Psychological Testing. Macmillan Publishing Company.
4. Bahadır, E. (2012). Uluslararası Öğrenci Değerlendirme Programı'na (PISA 2009) göre Türkiye'deki öğrencilerin okuma becerilerini etkileyen değişkenlerin bölgelere göre incelenmesi (Tez No. 315014) [Yüksek Lisans Tezi, Hacettepe Üniversitesi-Ankara]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi.
5. Başusta, N. B. & Gelbal, S. (2015). Gruplar arası karşılaştırmalarda ölçme değişmezliğinin test edilmesi: PISA öğrenci anketi örneği. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 30(4), 80-90. https://www.researchgate.net/publication/330089813
6. Beals, R. L., & Hoijer, H. (1972). “The Macmillan Company”,(çevirien: Gürbüz Erginer). The Nature and Scope of Anthropology.
7. Büyüköztürk, Ş., Kılıç-Çakmak, E., Akgün, Ö.E., Karadeniz, Ş., & Demirel, F. (2018). Bilimsel Araştırma Yöntemleri. (25.Baskı). Pegem Yayıncılık.
8. Brown, T. A. (2006). Confirmatory factor analysis for applied research. Guilford Press.

9. Byrne, B. M. (2016). Structural Equation Modeling with AMOS: Basic Concepts, Applications, and Programming (3rd ed.). Routledge.
10. Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. Toronto: Holt, RineHart, and Winston, Inc.
11. Chen, F. F. (2007). Sensitivity of goodness of fit indexes to lack of measurement invariance. Structural equation modeling: a multidisciplinary journal, 14(3), 464-504. https://doi.org/10.1080/10705510701301834
12. Cheung, G. W. & Rensvold, R. B. (1999). Testing factorial ınvariance across groups: a reconceptualization and proposed new method. Journal of Management, 25(1), 1–27. https://doi.org/10.1177/014920639902500101
13. Cheung, G. W. & Rensvold, R. B. (2000). Assessing extreme and acquiescence response sets in cross-cultural research using structural equations modeling. Journal of cross-cultural psychology, 31(2), 187-212.https://doi.org/10.1177/0022022100031002003
14. Cheung, G. W. & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural equation modeling, 9(2), 233-255. https://doi.org/10.1207/S15328007SEM0902_5
15. Davidov, E., Meuleman, B., Cieciuch, J., Schmidt, P., & Billiet, J. (2021). Measurement invariance in cross-national research. Annual Review of Sociology, 47, 293–318. https://doi.org/10.1146/annurev-soc-090120-012518
16. Dimitrov, D. M. (2010). Testing for factorial invariance in the context of construct validation. Measurement and Evaluation in Counseling and Development, 43(2), 121-149. https://doi.org/10.1177/0748175610373459
17. Emerson, S. D., Guhn, M., & Gadermann, A. M. (2017). Measurement invariance of the Satisfaction with Life Scale: Reviewing three decades of research. Quality of Life Research, 26, 2251-2264. https://doi.org/10.1007/s11136-017-1552-2
18. Ercikan, K. & Koh, K. (2005). Examining the construct comparability of the English and French versionf of TIMSS. International Journal of Testing, 5, 23-35. https://doi.org/10.1207/s15327574ijt0501_3
19. Eryilmaz, N., & Sandoval-Hernandez, A. (2024). Improving cross-cultural comparability: Does school leadership mean the same in different countries? Educational Studies, 50(5), 917–938. https://doi.org/10.1080/03055698.2021.2013777
20. Eryilmaz, N., & Sandoval-Hernandez, A. (2023). Is distributed leadership universal? A cross-cultural, comparative approach across 40 countries: An alignment optimisation approach. Education Sciences, 13(2), 218. https://doi.org/10.3390/educsci13020218
21. Eryilmaz, N., Rivera-Gutiérrez, M., & Sandoval-Hernández, A. (2020). Should different countries participating in PISA interpret socioeconomic background in the same way? A measurement invariance approach. Revista Iberoamericana de Educación, 84(1), 109–133. https://rieoei.org/RIE/article/view/3981
22. Gür, E. (2019). An investigation of the PISA 2015 in terms of differantial item functioning based on culture. (Thesis No. 582227) [Master’s thesis, Hacettepe University-Ankara]. Council of Higher Education Thesis Center.
23. Grisay, A., Gonzalez, E., & Monseur, C. (2009). Equivalence of item difficulties across national versions of the PIRLS and PISA reading assessements. IERI, 2. https://orbi.uliege.be/bitstream/2268/121044/1/IERI-Grisay-Gonzalez-Monseur.pdf
24. Horn, J. L. & McArdle, J. J. (1992). A practical and theoretical guide to measurement invariance in aging research. Experimental Aging Research, 18(3), 117-144. https://doi.org/10.1080/03610739208253916
25. Ireland, M. J., Day, J. J., & Clough, B. A. (2019). Exploring scale validity and measurement invariance of the Toronto Mindfulness Scale across levels of meditation experience and proficiency. Journal of clinical psychology, 75(3), 445-461. https://doi.org/10.1002/jclp.22709
26. Jovanović, V., Lazić, M., & Gavrilov‐Jerković, V. (2020). Measuring life satisfaction among psychiatric patients: Measurement invariance and validity of the Satisfaction with Life Scale. Clinical Psychology & Psychotherapy, 27(3), 378-383. https://doi.org/10.1002/cpp.2434
27. Kasap, Y. (2022). Veri Madenciliği Yöntemleri ile Ülkelerin Pısa Başarı Düzeylerini Etkileyen Değişkenlerin İncelenmesi (Tez No. 721726) [Doktora Tezi, Hacettepe Üniversitesi-Ankara]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi.
28. Kaynak, Z. N. (2012). Yapısal eşitlik modelleri (Tez No. 305950) [Yüksek Lisans Tezi, İstanbul Ticaret Üniversitesi-İstanbul]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi.
29. Kıbrıslıoğlu, N. (2015). PISA 2012 matematik öğrenme modelinin kültürlere ve cinsiyete göre ölçme değişmezliğinin incelenmesi (Tez No. 394817) [Yüksek Lisans Tezi, Hacettepe Üniversitesi-Ankara]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi.
30. Lee, J. (2009). Universals and specifics of math self-concept, math self-efficacy and math anxiety across 41 countries in PISA 2003 participating countries. Learning and Individual Differences, 19, 255-365. https://doi.org/10.1016/j.lindif.2008.10.009
31. Marsh, H. W., Hau, K. T., Artelt, C., Baumert, J., & Peschar, J. L. (2006). OECD's brief self-report measure of educational psychology's most useful affective constructs: Cross-cultural, psychometric comparisons across 25 countries. International Journal of Testing, 6(4), 311-360. https://doi.org/10.1207/s15327574ijt0604_1
32. Marsh, H. W., Abduljabbar, A. S., Ebu-Hilal, M. M. vd., (2013). Factorial, convergent, and discriminant validity of TIMSS math and science motivation measures: a comparison of arab and anglo-saxon countries. Journal of Educational Psychology, 105 (1), 108-128. https://psycnet.apa.org/doi/10.1037/a0029907
33. Meredith, W. (1993). Measurement invariance, factor analysis and factorial invariance. Psychometrika, 58(4), 525–543. https://doi.org/10.1007/BF02294825
34. Milli Eğitim Bakanlığı [MEB]. (2010). Millî Eğitim İstatistikleri Örgün Eğitim 2010-2011, https://sgb.meb.gov.tr/www/milli-egitim-istatistikleri-orgun-egitim-2010-2011/icerik/69 adresinden 23 Aralık 2024 tarihinde alınmıştır.
35. Organisation for Economic Co-Operation and Development [OECD] (2019). Programme for International Student Assessment (PISA), https://www.oecd.org/pisa/pisa-2019-results-in-focus.pdf, 14.02.2019 adresinden 23 Aralık 2024 tarihinde alınmıştır.
36. Organisation for Economic Co-Operation and Development [OECD] (2019). PISA 2018 Results (Volume III): What School Life Means for Students’ Lives. OECD Publishing, Paris. https://doi.org/10.1787/acd78851-en
37. Organisation for Economic Co-Operation and Development [OECD]. (2009). Country Statistical Profiles 2009, http://stats.oecd.org/WBOS/index.aspx adresinden 23 Aralık 2024 tarihinde alınmıştır.
38. Önen, E. (2009). Ölçme değişmezliğinin yapısal eşitlik modellemesi teknikleri ile incelenmesi (Tez No. 324837) [Doktora Tezi, Ankara Üniversitesi-Ankara]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi.
39. Özgen, K. & Bindak, R. (2008). Matematik okuryazarlığı öz-yeterlik ölçeğinin geliştirilmesi. Kastamonu Eğitim Dergisi, 16(2), 517-528. https://dergipark.org.tr/en/pub/kefdergi/issue/49100/626538
40. Putnick, D. L., & Bornstein, M. H. (2016). Measurement invariance conventions and reporting: The state of the art and future directions for psychological research. Developmental Review, 41, 71–90. https://doi.org/10.1016/j.dr.2016.06.004
41. Rutkowski, L. & Svetina, D. (2014). Assessing the hypothesis of measurement invariance in the context of large-scale international surveys. Educational and psychological measurement, 74(1), 31-57. https://doi.org/10.1177/0013164413498
42. Rutkowski L, Svetina D. (2017) Measurement invariance in international surveys: Categorical indicators and fit measure performance. Appl. Meas. Educ.;30(1): 39-51. https://doi.org/10.1080/08957347.2016.1243540
43. Steenkamp E.M. & Baumgartner H. (1998). Assesing measurement ınvariance in cross-national consumer research. Journal of Consumer Research, Volume 25, Issue 1, June 1998, Pages 78–90, https://doi.org/10.1086/209528
44. Steinmetz, H., Schmidt, P., Tina-Booh, A., Wieczorek, S., & Schwartz, S. H. (2009). Testing measurement invariance using multigroup CFA: Differences between educational groups in human values measurement. Qual Quant, 43, 599-616. https://doi.org/10.1007/s11135-007-9143-x
45. Şimşek, Ö. F. (2020). Yapısal eşitlik modellemesine giriş: Temel ilkeler ve LISREL uygulamaları. Ekinoks.
46. Tyson, H.E. (2004). Ethnic differences using behavior rating scales to assess the mental health of children: a conceptual and psychometric critique. Child Psychiatry and Human Development, 34 (3), 167-201. 11. https://doi.org/10.1023/B:CHUD.0000014996.26276.a5
47. Uyar. Ş. & Doğan, N. (2014). PISA 2009 Türkiye örnekleminde öğrenme stratejileri modelinin farklı gruplarda ölçme değişmezliğinin incelenmesi. Uluslararası Türk Eğitim Bilimleri Dergisi, 2, 30-43. https://dergipark.org.tr/en/pub/goputeb/issue/33496/380021
48. Uzun, N. B., & Gelbal, S. (2017). PISA fen başarı testinin madde yanlılığının kültür ve dil açısından incelenmesi. Kastamonu Eğitim Dergisi, 25(6), 2427-2446.
49. Yandı, A.; Köse, İ. A.; Uysal, Ö. ve Oğul, G. (2017). Küreselleşen dünyada eğitim. (PISA 2015 öğrenci anketinin (st094q01nast094q05na) ölçme değişmezliğinin farklı yöntemlerle incelenmesi). Pegem, Ankara
50. Yıldırım, H. H. & Berberoglu, G. (2009). Judgemental and statistical analyses of the PISA 2003 mathematics literacy items. International Journal of Testing, 9(2), 108- https://doi.org/10.1080/15305050902880736
51. Wu, D. A., Li, Z., & Zumbo, B. D. (2007). Decoding the meaning of factorial invariance and updating the practice of multi-group confirmatory factor analysis: a demonstration with TIMSS data. Practical Assesment, Research & Evaluation, 12(3), 1-26. https://doi.org/10.7275/mhqa-cd89
52. Widaman, K. F. & Reise, S. P. (1997). Exploring the measurement invariance of psychological instruments: applications in the substance use domain. The science of prevention: Methodological advances from alcohol and substance abuse research, 281-324. https://doi.org/10.1037/10222-009