The Investigation of Measurement Invariance of the Variables Related to TIMSS 2015 Mathematics Achievement in terms of Gender

Abstract

TIMSS is an international study which aims to follow the changes and developments in student achievement and identify the differences between the education systems of the participating countries. In this study, it is aimed to test whether the variables which are effective in mathematics achievement of fourth grade students provide the measurement invariance conditions or not. It is a correlational study and its sample consists of 6456 fourth grade students participated in TIMSS 2015 from Turkey. The Multigroup Confirmatory Factor Analysis (MG-CFA) was used for testing the measurement invariance of the factors related to the student achievement. The configural, metric, scalar and strict invariance tests in terms of genders were done incrementally for liking mathematics, interest in mathematics and confidence in mathematics latent variables in the research. CFI, comparative fit indices, differences between the unconstrained condition (configural invariance) and the conditions in which more restrictions were added incrementally were assessed in the analyses. As a result, it was seen that the three of the latent variables tested provided the configural invariance condition, however only liking mathematics latent variable provided the strict invariance condition in gender groups.

Keywords

• TIMSS,measurement instability,structural equation model,gender

TIMSS 2015 Matematik Başarısı ile İlgili Bazı Değişkenlerin Cinsiyete Göre Ölçme Değişmezliğinin İncelenmesi

Öz

TIMSS, öğrenci başarılarındaki değişim ve gelişimlerinin izlenmesini sağlayan ve ülkeler arası eğitim sistemleri arasındaki farklılıkları belirlemede faydalanılan uluslararası bir sınavdır. Bu çalışmada da, TIMSS’ e katılan Türk öğrencilerinin matematik başarılarında etkili olan değişkenlerin ölçme değişmezliği koşullarını sağlayıp sağlamadıkları test edilmiştir. Araştırma ilişkisel bir araştırma olup, örneklemini TIMSS 2015’ e Türkiye’den katılan 6456 dördüncü sınıf öğrencisi oluşturmaktadır. Öğrencilerin matematik başarılarını etkileyen faktörlerin ölçme değişmezliklerinin test edilmesinde Çok Gruplu Doğrulayıcı Faktör Analizi (ÇG-DFA) kullanılmıştır. Araştırmada yer alan matematiği sevme, matematiğe olan ilgi ve matematiğe ilişkin özgüven gizil değişkenleri için cinsiyet açısından aşamalı bir şekilde değişmezlik testleri yapılmıştır. Analizlerde ölçme değişmezliği aşamaları olarak biçimsel, metrik, skalar ve katı değişmezlik yer almıştır. Analizlerde hiçbir sınırlandırmanın yapılmadığı (biçimsel değişmezlik) durumu ile daha fazla sınırlandırmaların konulduğu diğer değişmezlik testleri arasındaki CFI karşılaştırmalı uyum iyiliği indeksleri arasındaki farklar değerlendirilmiştir. Araştırmada test edilen üç gizil değişkenin biçimsel değişmezlik koşulunu yerine getirdiği, ancak cinsiyet gruplarında katı değişmezlik koşulunu sadece “matematiği sevme” gizil değişkeninin sağladığı bulunmuştur.

Anahtar Kelimeler

• timss,ölçme değişmezliği,yapısal eşitlik modeli

References

1. Akyıldız, M. (2009) PIRLS 2001 Testinin yapı geçerliliğinin ülkelerarası karşılaştırılması. Yüzüncü Yıl Üniversitesi, Eğitim Fakültesi Dergisi, 6(1), 18-47.
2. Anderson, J. C., & Gerbing, D.W. (1984). The effect of sampling error on convergence, improper solutions, and goodness-of-fit indices for maximum likelihood confirmatory factor analysis. Psychometrika, 49, 155-173.
3. Bahadır, E. (2012).Uluslararası Öğrenci Değerlendirme Programı'na (PISA 2009) göre Türkiye'deki öğrencilerin okuma becerilerini etkileyen değişkenlerin bölgelere göre incelenmesi. Ankara. Hacettepe Üniversitesi. Yüksek Lisans Tezi.
4. Başusta, N. B. U. (2010). Ölçme eşdeğerliği. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1(2), 58-64.
5. Başusta, N. B., & Gelbal, S. (2015). Gruplararası karşılaştırmalarda ölçme değişmezliğinin test edilmesi: PISA öğrenci anketi örneği. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 30(4), 80-90.
6. Bollen, K.A. (1989). Structural equations with latent variables. New York: John Wiley & Sons, Inc.
7. Büyüköztürk, Ş. (2015). Sosyal bilimler için veri analizi el kitabı: İstatistik, araştırma deseni, SPSS uygulamaları ve yorum. Ankara: Pegem Akademi.
8. Byrne, B. M. (1998). Structual equation modeling with LISREL, PRELIS, and SIMPLIS: Basic concepts, applications, and programming. New Jersey: Lawrence Erlbaum.

9. Byrne, B. M., Shavelson, R. J., & Muthén, B. (1989). Testing for the equivalence of factor covariance and mean structures: The issue of partial measurement invariance. Psychological Bulletin, 105, 456-466.
10. Chen, F. F., Sousa, K. H., & West, S. G. (2005). Testing measurement invariance of second-order factor models. Structural Equation Modeling, 12(3), 471–492.
11. Cheung, G. W., & Rensvold, R. B. (2000). Assessing extreme and acquiescence response sets in cross-cultural research using structural equations modeling. Journal Of Cross-Cultural Psychology, 31(2), 187-212.
12. Cheung, G. W., Rensvold, R. B. (2000). Assessing extreme and acquiescence response sets in cross-cultural research using structural equations modeling. Journal Of Cross-Cultural Psychology, 31(2), 187-212.
13. Cole, D. A. (1987). Utility of confirmatory factor analysis in test validation research. Journal of Consulting and Clinical Psychology, 55, 1019-1031.
14. Cook, R.D. (1977). Detection of influential observations in linear regression. Technometrics, 19 (1): 15 - 18.
15. Garson, G. D. (2015). Missing value analysis and dat imputation. Ashebora: Statistical.
16. Horn, J.L., McArdle, J.J., & Mason, R. (1983). When is invariance not invariant: A practical scientist’s look at the ethereal concept of factor invariance. The Southern Psychologist, 1 (4), 179-188.
17. Jöreskog, K. G. (1993). Testing structural equation models. In K. A. Bollen & J. S. Long (Eds.), Testing Structural Equation Models (Pp. 294−316). Newbury Park, CA: Sage.
18. Mark, B. A. & Wan, T.T.H (2005). Testing measurement equivalence in a patient satisfaction ınstrument. Western Journal of Nursing Research, 27(6), 772-787.
19. Marsh, H.W., & Hocevar, D. (1988). A new more powerful approach to multitrait multi method analyses: Application of second-order confirmatory factor analysis. Journal of Applied Psychology, 73, 107-117. http://psycnet.apa.org/index.cfm?fa=buy.optionToBuy&id=1989-07244-001.pdf.
20. Marsh, H.W., Balla, J. R., & McDonald, R. P. (1988). Goodness-of-fit indexes in confirmatory factor analysis: The effect of sample size. Psychological Bulletin, 103,391-410.
21. Meredith, W. (1993). Measurement invariance, factor analysis, and factorial invariance. Pyschometrika, 58, 525-543.
22. Milli Eğitim Bakanlığı Eğitimi Geliştirme ve Araştırma Dairesi Başkanlığı, (2003). TIMSS 1999 Ulusal Raporu. http://timss.meb.gov.tr/?page_id=25.
23. Önen, E. (2009). Ölçme değişmezliğinin yapısal eşitlik modelleme teknikleri ile incelenmesi. Yayınlanmamış Doktora Tezi, Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
24. Sehee H. & Mary L. Malık. (2003). Testing configural, metric, scalar, and latent mea invariance across genders in sociotropy and autonomy using a non-western sample. Educational and Psychological Measurement, 63, 636.
25. Steenkamp, E.M., & Baumgartner, H.(1998). Assesing measurement invarianc. In Cross-National Consumer Research.
26. Sümer, N. (2000). Yapısal eşitlik modelleri: Temel kavramlar ve örnek uygulamalar. Türk Psikoloji Yazıları, 3(6), 49-74.
27. Tabachnick, G. B. ve Fidell, L. S. (2001). Using multivariate statistics. Needham Heights: Allyn & Bacon, Inc.
28. Tyson, H.E. (2004). Ethnic differences using behavior rating scales to assess the mental health of children: a conceptual and psychometric critique. Child Psychiatry and Human Development, 34 (3), 167-201.
29. Uzun, B & Öğretmen, T. (2010). Fen başarısı ile ilgili bazı değişkenlerin TIMSS-R Türkiye örnekleminde cinsiyete göre ölçme değişmezliğinin değerlendirilmesi. Eğitim ve Bilim, 35 (155), 26-35.
30. Vandenberg, R. J., & Lance, C. E. (2002). A review and synthesis of the measurement invariance literature: Suggestions, practices, and recommendations for organizational research. Organizational Research Methods, 2, 4-69.