An Investigation of Measurement Invariance of the TIMSS Fourth-Grade Mathematics Assessment Across OECD Member Countries

Öz

This study aimed to examine the measurement invariance of the factor structure of the scores obtained from the fourth-grade mathematics achievement test administered within the framework of TIMSS 2015 across OECD member countries. A total of 132226 students from 24 countries participated in TIMSS 2015. This correlational survey model research was conducted on the data of 9641 randomly selected students who took the 7th booklet. Within the scope of the study, normality was tested before the measurement invariance analyses. Normality is a basic assumption of measurement invariance analyses. Reliability coefficients were determined, and confirmatory factor analysis was performed for all groups to be tested for measurement invariance. Lastly, the equality of covariance matrices was tested. As a result of the analyses, it was determined that the assumptions were confirmed. Then, multi-group confirmatory factor analysis and measurement invariance analyses were performed on a single-factor design. The research determined that the best working model among the measurement invariance models was the strong factorial invariance model. Based on this finding, it was concluded that TIMSS 2015 fourth-grade mathematics achievement test scores did not provide measurement invariance among OECD member countries; in other words, the factorial design was not the same for the countries compared, thus raising doubts about making comparisons between these countries.

Anahtar Kelimeler

• Measurement invariance
• Mathematics achievement
• TIMMS
• OECD

TIMSS Dördüncü Sınıf Matematik Testinin OECD Üyesi Ülkelere Göre Ölçme Değişmezliğinin İncelenmesi

Öz

Bu araştırmada, TIMSS 2015 uygulaması çerçevesinde uygulanan dördüncü sınıf matematik başarı testinden elde edilen puanların faktör deseninin ölçme değişmezliğinin OECD üyesi ülkelere göre incelenmesi amaçlanmıştır. TIMSS 2015 uygulamasına 24 ülkeden toplam 132.226 öğrenci katılmıştır. İlişkisel tarama modelindeki bu araştırma rastlantısal olarak seçilen, 7. Kitapçığı alan 9.641 öğrenci verisi üzerinden yürütülmüştür. Araştırma kapsamında, ölçme değişmezliği analizlerine geçmeden önce ölçme değişmezliği analizlerinin temel sayıltıları olan normallik test edilmiş; güvenilirlik katsayıları belirlenmiş, ölçme değişmezliği test edilecek tüm gruplar için doğrulayıcı faktör analizi yapılmış ve kovaryans matrislerinin eşitliği test edilmiştir. Yapılan analizler sonucunda sayıltıların doğrulandığı tespit edilmiştir. Daha sonra çoklu-grup doğrulayıcı faktör analizi ile ölçme değişmezliği analizleri gerçekleştirilmiştir. Analizler tek faktörlü desen üzerinden gerçekleştirilmiştir. Araştırma sonucundan, ölçme değişmezliği modelleri arasında en iyi çalışan modelin güçlü faktöriyel değişmezlik modeli olduğu belirlenmiştir. Bu bulgudan yola çıkılarak TIMSS 2015 dördüncü sınıf matematik başarı testi puanlarının OECD üyesi ülkeler arasında ölçme değişmezliğini sağlamadığı, diğer bir ifadeyle faktör deseninin karşılaştırılan ülkeler için aynı olmadığı ve dolayısıyla söz konusu ülkeler arasında karşılaştırma yapmaya ilişkin şüpheleri arttırdığı sonucuna ulaşılmıştır.

Anahtar Kelimeler

• Ölçme değişmezliği
• Matematik başarısı
• TIMMS
• OECD

Kaynakça

1. Ayvallı, M. (2016). PISA 2012 matematik okuryazarlığı testinin ölçme değişmezliğinin incelenmesi. (Unpublished master’s thesis). Akdeniz University.
2. Başusta, N.B., & Gelbal, S. (2015). Gruplararası karşılaştırmalarda ölçme değişmezliğinin test edilmesi: PISA öğrenci anketi örneği. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 30(4), 80-90.
3. Bayır, E., Çakıcı, Y., & Atalay, Ö. (2016). Fen bilimleri öğretmenlerinin bilimin doğasına ilişkin görüşleri: Bilişsel harita örneği. Kastamonu Eğitim Dergisi, 24(3), 1419-1436.
4. Byrne, B.M., Shavelson, R.J., & Muthén, B. (1989). Testing for the equivalence of factor covariance and mean structures: The issue of partial measurement equivalence. Psychological Bulletin, 105, 456-466.
5. Byrne, B.M., Shavelson, R.J., & Muthén, B. (1989). Testing for the equivalence of factor covariance and mean structures: The issue of partial measurement invariance. Psychological Bulletin, 105(3), 456–466. doi:10.1037/0033-2909.105.3.456
6. Çepni, S., Ayas, A., Johnson, D., & Turgut, F. (1997), Fizik öğretimi. Ankara: YÖK/Dünya Bankası Milli Eğitimi Geliştirme Projesi Hizmet Öncesi Öğretmen Eğitimi.
7. Chen, F.F. (2007). Sensitivity of goodness of fit indexes to lack of measurement invariance. Structural equation modeling, 14(3), 464-504. doi:10.1080/10705510701301834
8. Cheung, G.W., & Rensvold, R.B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling, 9(2), 233–255. Doi:10.1207/S15328007SEM0902_5

9. Çokluk, Ö., Şekercioğlu, G. ve Büyüköztürk, Ş. (2018). Sosyal bilimler için çok değişkenli istatistik: SPSS ve LISREL uygulamaları. Pegem Akademi.
10. Ergül, H. (1999). Uzaktan öğretimde kalite verimlilik ve üretkenlik. Anadolu Üniversitesi Açık Öğretim Fakültesi Kurgu Dergisi, 16, 283-296.
11. Gierl, M.J. (2000). Construct equivalence on translated achievement tests. Canadian Journal of Education, 25(4), 280-296. doi:10.2307/1585851
12. Horn, J.L. & McArdle, J.J. (1992). A practical and theoretical guide to measurement invariance in aging research. Experimental Aging Research, 18(3), 117-144. doi:10.1080/ 03610739208253916
13. International Association for Evaluation of Educational Assessment (2015). TIMSS 2015: The trends in international mathematics and science study. Retrieved from https://www.iea.nl/fileadmin /user_upload/Studies/TIMSS_2015/TIMSS_2015.pdf on July 25, 2015.
14. Jöreskog, K.G. (1971). Simultaneous factor analysis in several populations. Psychometrika, 36, 409-426. doi:10.1007/BF02291366
15. Karasar, N. (2005). Bilimsel araştırma yöntemi, Nobel Yayıncılık.
16. Karakoç Alatlı, B. (2016). Uluslararası öğrenci değerlendirme programı (PISA-2012) okuryazarlık testlerinin ölçme değişmezliğinin incelenmesi. (Unpublished master’s thesis). Ankara University.
17. Kıbrıslıoğlu, N. (2015). PISA 2012 matematik öğrenme modelinin kültürlere ve cinsiyete göre ölçme değişmezliğinin incelenmesi: Türkiye-Çin (Şangay)-Endonezya örneği. (Unpublished master’s thesis). Hacettepe University.
18. Kıbrıslıoğlu Uysal, N. & Akın Arıkan, Ç. (2018). Measurement invariance of science self-efficacy scale in PISA. International Journal of Assessment Tools in Education, 5(2), 325-338.
19. MEB (2010). Uluslararası Öğrenci Değerlendirme Programı (PISA) 2009 ulusal ön raporu. Millî Eğitim Bakanlığı Eğitimi Araştırma ve Geliştirme Dairesi Başkanlığı, Ankara. Retrieved from https:// pisa.meb.gov.tr/www/raporlar/icerik/5 on July 25, 2015.
20. MEB (2014). TIMSS 2011 ulusal matematik ve fen raporu: 8. sınıflar. Yenilik ve Eğitim Teknolojileri Genel Müdürlüğü. Retrieved from https://timss.meb.gov.tr/meb_iys_dosyalar/2022_03 /07135958 _ TIMSS- 2011-8-Sinif.pdf on July 25, 2015.
21. Mark, B.A. & Wan, T.T.H. (2005). Testing measurement equivalence in a patient satisfaction instrument. Western Journal of Nursing Research, 27(6), 772-787.
22. Meredith, W. (1993). Measurement invariance, factor analysis and factorial invariance. Psychometrica, 58(4), 525-543. doi:10.1007/BF02294825
23. Mertler, C.A. & Vannatta, R.A. (2005). Advanced and multivariate statistical methods: Practical application and interpretation (Third Edition). Pyrczak.
24. Milfont, T.L. & Fischer, R. (2010). Testing measurement invariance across groups: Applications in cross-cultural research. International Journal of Psychological Research, 3(1), 111-121. doi:10. 21500/20112084.857
25. Nunnally, J.C. & Bernstein, I.H. (1994). Psychometric theory. (Third Edition). New York: McGraw-Hill, Inc.
26. Putnick, D.L. & Bornstein, M.H. (2016). Measurement invariance conventions and reporting: The state of the art and future directions for psychological research. Developmental Review, 41, 71-90. doi: 10.1016/j.dr.2016.06.004
27. Rutkowski, L., von Davier, M., & Rutkowski, D. (2013). Handbook of international large-scale assessment: Background, technical issues, and methods of data analysis. CRC Press, Boca Raton.
28. Satorra, A. & Bentler, P.M. (2001). A scaled difference chi-square test statistics for moment structure analysis. Psychometrika, 66(4), 507-514. doi:10.1007/BF02296192
29. Schoot, R., Lugtig, P. & Hox, J. (2012). A checklist for testing measurement invariance. European Journal of Developmental Psychology, 9(4), 486–492. doi:10.1080/17405629.2012.686740
30. Şekercioğlu, G. (2018). Measurement invariance: Concept and implementation. International Online Journal of Education and Teaching (IOJET), 5(3), 609-634.
31. Şekercioğlu, G. ve Koğar, H. (2018). The examination of measurement invariance and differential item functioning of PISA 2015 cognitive tests in terms of the commonly used languages. Novitas-Royal (Research on Youth and Language). 12(2), 152- 172.
32. Uluslararası Matematik ve Fen Eğilimleri Araştırması TIMSS (2015). TIMSS 2015 ulusal matematik ve fen ön raporu. Retrieved from http://timss.meb.gov.tr/wpcontent/uploads/TIMSS_2015_ Ulusal_Rapor.pdf September 13, 2018.
33. Uyar, Ş. & Doğan, N. (2014). PISA 2009 Türkiye örnekleminde öğrenme stratejileri modelinin farklı gruplarda ölçme değişmezliğinin incelenmesi. Uluslararası Türk Eğitim Bilimleri Dergisi, 2, 30-43.
34. Uzun, B. & Öğretmen, T. (2010). Fen başarısı ile ilgili bazı değişkenlerin TIMSS-R Türkiye örnekleminde cinsiyete göre ölçme değişmezliğinin değerlendirilmesi. Eğitim ve Bilim, 35(155), 26-35.
35. White, H. (1982). Maximum likelihood estimation of misspecified models. Econometria, 50(1), 1-25.
36. Wu. A.D., Li, Z. & Zumbo, B.D. (2007). Decoding the meaning of factorial invariance and updating the practice of multigroup confirmatory factor analysis: A demonstration with TIMSS data. Practical Assessment, Research and Evaluation, 12(3), 1-26.
37. Vandenberg, R.J. & Lance, C.E. (2000). A review and synthesis of the MI literature: suggestions, practices, and recommendations for organizational research. Organizational Research Methods, 3(1), 4-70. doi:10.1177/109442810031002.