An Examination of TIMSS 2015 Science Affective Factors with Regard to Gender and Regions

Year 2023, Volume: 12 Issue: 3, 579 - 593, 11.07.2023

Mehmet Can Demir , Selahattin Gelbal

https://doi.org/10.14686/buefad.1104446

Abstract

Various international and national tests are applied to assess curricula across the world. About 250.000 students’ knowledge and skills are tested via Trends in International Mathematics and Science Study (TIMSS). Many international and national comparisons are made with the test results. However, to be able to compare the test results of such a big crowd of people, the test results must not differ because of any other variable but achievement; in short, they must represent the same results of measurement. In the light of this information, the purpose of the study is to examine the measurement invariance of the model of the science affective factors of the eighth graders participated in TIMSS 2015 Turkey which is constructed via structural equation modeling, among Nomenclature of Territorial Units for Statistics – Level 1 regions and genders in Turkey, through multi-group confirmatory factor analysis. The sample of this research consists of 5344 students and the analyses was made by using SPSS 23.0 and AMOS 23.0 softwares. As a result of this study, the model met strict invariance for genders and scalar invariance for regions

Keywords

TIMSS, science affective factors, structural equation modeling, measurement invariance, multi-group confirmatory factor analysis.

TIMSS 2015 Fen Duyuşsal Özelliklerinin Cinsiyet ve Bölgelere Göre İncelenmesi

Abstract

Dünya çapında, eğitim programlarının değerlendirilmesi amacıyla birçok uluslararası ve ulusal sınav uygulanmaktadır. Bu sınavlardan biri olan Uluslararası Matematik ve Fen Eğilimleri Araştırması ile yaklaşık 250.000 öğrencinin bilgi ve becerileri test edilmektedir. Test sonuçları ile uluslararası ve ulusal düzeyde birçok karşılaştırma yapılmaktadır. Fakat bu kadar büyük bir kitlenin sonuçlarının anlamlı bir şekilde karşılaştırılabilmesi için sınav sonuçlarının başarıdan farklı bir değişkenden ötürü farklılık göstermemesi, aynı ölçüm sonuçlarını yansıtması gereklidir. Bundan hareketle, araştırma kapsamında TIMSS 2015 Türkiye uygulamasına katılan 8. sınıf öğrencilerinin fen duyuşsal özellik değişkenlerinden öğrenci anketine verilen yanıtlar kullanılarak Yapısal Eşitlik Modellemesi ile bir model oluşturulmuştur. Daha sonra bu modelin cinsiyet ve İstatistiki Bölge Birimleri Sınıflaması Düzey 1’e göre Türkiye’de yer alan bölgelere göre ölçme değişmezliği, çok gruplu doğrulayıcı faktör analizi ile incelenmiştir. Araştırmanın örneklemi TIMSS 2015 Türkiye uygulamasına katılan 5344 öğrenciden oluşmaktadır. Analizler SPSS 23.0 ve AMOS 23.0 programları ile yürütülmüştür. Çalışma sonucunda, oluşturulan modelin cinsiyetler göre katı değişmezlik, bölgeler arasında ölçek değişmezliği koşulunu sağladığı gözlenmiştir.

Keywords

TIMSS, fen duyuşsal özellikleri, yapısal eşitlik modellemesi, ölçme değişmezliği, çok gruplu doğrulayıcı faktör analizi.

References

• Akyıldız, M. (2009). PIRLS 2001 testinin yapı geçerliliğinin ülkelerarası karşılaştırılması [The comparison of construct validities of the PIRLS 2001 test between countries]. Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi, 6(1), 18-47.
• Bahadır, E. (2012). Uluslararası öğrenci değerlendirme programına (PISA 2009) göre Türkiye’deki öğrencilerin okuma becerilerini etkileyen değişkenlerin bölgelere göre incelenmesi [According Programme for International Student Assessment (PISA 2009), investigation of variables that affect Turkish students' reading skills by regions] (Unpublished master’s thesis). Hacettepe University Institute of Social Sciences.
• Başusta, N. B. (2010). Ölçme eşdeğerliği [Measurement equivalence]. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1(2), 58-64.
• Başusta, N. B. & Gelbal, S. (2015). Gruplar arası karşılaştırmalarda ölçme değişmezliğinin test edilmesi: PISA öğrenci anketi örneği [Examination of measurement invariance at groups’ comparisons: A study on PISA student questionnaire]. H. U. Journal of Education, 30(4), 80-90.
• Bialosiewicz, S., Murphy, K., & Berry, T. (October, 2013). An introduction to measurement invariance testing: Resource packet for participants. Do our measures measure up? The critical role of measurement invariance? Demonstration Session American Evaluation Association, Washington, DC Retrieved from http://comm.eval.org/HigherLogic/System/DownloadDocumentFile.ashx?DocumentFileKey=63758fed-a490-43f2-8862-2de0217a08b8
• Bloom, B. (2012). İnsan nitelikleri ve okulda öğrenme [Human qualities and learning in school]. (D. A. Özçelik, Ed. & Trans.). MEB Publishing. (Original work published 1979).
• Bollen, K. A. (1989). Structural equations with latent variables. Wiley-Interscience Publication.
• Bryne, B. M., & Watkins, D. (2003). The issue of measurement invariance revisited. Journal of Cross-Cultural Psychology, 34(2), 155-175. https://doi.org/10.1177%2F0022022102250225
• Büyüköztürk, Ş., Çakmak, E. K., Akgün, Ö. E., Karadeniz, Ş. ve Demirel, F. (2012). Bilimsel araştırma yöntemleri [Scientific research methods] (12th edition). Pegem Akademi Publishing.
• Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281-302. https://psycnet.apa.org/doi/10.1037/h0040957
• Ercikan, K., & Koh, K. (2005). Examining the construct comparability of the English and French version of TIMSS. International Journal of Testing, 5(1), 23-35. https://doi.org/10.1207/s15327574ijt0501_3
• Gregorich, S. E. (2006). Do self-report instruments allow meaningful comparisons across diverse population groups?: Testing measurement invariance using the confirmatory factor analysis framework. Medical Care, 44(1), 78-94. https://dx.doi.org/10.1097%2F01.mlr.0000245454.12228.8f
• Gülleroğlu, H. D. (2017). PISA 2012 Matematik uygulamasına katılan Türk öğrencilerin duyuşsal özelliklerinin cinsiyete göre ölçme değişmezliğinin incelenmesi [An investigation of measurement invariance by gender for the Turkish students’ affective characteristics who took the PISA 2012 math test]. Gazi University Journal of Gazi Educational Faculty (GUJGEF), 37(1), 151-175.
• Karakoç Alatlı, B., & Çokluk Bökeoğlu, Ö. (2018). Uluslararası Öğrenci Değerlendirme Programı (PISA-2012) okuryazarlık testlerinin ölçme değişmezliğinin incelenmesi [Investigation of Measurement Invariance of Literacy Tests in the Programme for International Student Assessment (PISA-2012)]. Elementary Education Online, 17(2): pp. 1096-1115. http://dx.doi.org/10.17051/io.2015.85927
• Kıbrısoğlu, N. (2015). PISA 2012 matematik öğrenme modelinin kültürlere ve cinsiyete göre ölçme değişmezliğinin incelenmesi: Türkiye – Çin (Şangay) – Endonezya örneği [The investigation of measurement invariance PISA 2012 mathematics learning model according to culture and gender: Turkey – China (Shangai) - Indonesia] (Unpublished master’s thesis). Hacettepe University Institute of Educational Sciences.
• Kline, R. B. (2011). Principles and practices of structural equation modeling. The Guilford Press.
• Meade, A. W., & Lautenschlager, G. J. (2004). A comparison of item response theory and confirmatory factor analytic methodologies for establishing measurement equivalence/invariance. Organizational Research Methods, 7(4), 361-388. https://doi.org/10.1177%2F1094428104268027
• MoNE (2016). TIMSS 2015 Ulusal Matematik ve Fen Ön Raporu: 4. ve 8. Sınıflar [TIMSS 2015 National Mathematics and Science Preliminary Report: 4th and 8th grades]. Retrieved from https://odsgm.meb.gov.tr/meb_iys_dosyalar/2017_06/23161945_timss_2015_on_raporu.pdf
• Millsap, R. E., & Olivera-Aguilar, M. (2012). Investigating measurement invariance using confirmatory factor analysis. In R. H. Hoyle (Ed.), Handbook of structural equation modeling (pp. 380-392). Guilford Press.
• Mullis, I. V. S., & Martin, M. O. (Eds.) (2013). TIMSS 2015 Assessment Frameworks. Retrieved from https://timssandpirls.bc.edu/timss2015/frameworks.html
• Mullis, I. V. S., Martin, M. O., Foy, P., & Hooper, M. (2016). TIMSS 2015 International Results in Mathematics. http://timssandpirls.bc.edu/timss2015/international-results/wp-content/uploads/filebase/full%20pdfs/T15-International-Results-in-Mathematics.pdf
• Öğretmen, T. (2006). Uluslararası okuma becerilerinde gelişim projesi (PIRLS) 2001 testinin psikometrik özelliklerinin incelenmesi: Türkiye-Amerika Birleşik Devletleri örneği [he investigation of psychometric properties of the test of progress in international reading literacy (PIRLS) 2001: The model of Turkey-United States of America] (Unpublished doctoral dissertation). Hacettepe University Institute of Social Sciences.
• Ölçüoğlu, R. (2015). TIMSS 2011 Türkiye sekizinci sınıf matematik başarısını etkileyen değişkenlerin bölgelere göre incelenmesi [The investigation of the variables that affecting TIMSS 2011 Turkey eight grade math achievement according to regions] (Unpublished master’s thesis). Hacettepe University Institute of Educational Sciences.
• Raju, N. S., Laffitte, L. J., & Byrne, B. M. (2002). Measurement equivalence: A comparison of methods based on confirmatory factor analysis and item response theory. Journal of Applied Psychology, 87(3), 517-529. https://psycnet.apa.org/doi/10.1037/0021-9010.87.3.517
• Reise, S. P., Widaman, K. F., & Pugh, R. H. (1993). Confirmatory factor analysis and item response theory: Two approaches for exploring measurement invariance. Psychological Bulletin, 114(3), 552-566. https://psycnet.apa.org/doi/10.1037/0033-2909.114.3.552
• Schmitt, N., & Kuljanin, G. (2008). Measurement invariance: Review of practice and implication. Human Resources Management Review, 18(4), 210-222. https://doi.org/10.1016/j.hrmr.2008.03.003
• Tabachnick, B. G., & Fidell, L. S. (2013). Using multivariate statistics (5th Edition). Pearson Education.
• Uyar, Ş. (2011). PISA 2009 Türkiye örnekleminde öğrenme stratejileri modelinin farklı gruplarda ölçme değişmezliğinin incelenmesi [An investigation of measurement invariance of learning strategies model across different groups in PISA Turkey sample] (Unpublished master’s thesis). Hacettepe University Institute of Social Sciences.
• Uzun, N. B. (2008). TIMSS-R Türkiye örnekleminde fen başarısını etkileyen değişkenlerin cinsiyetler arası değişmezliğinin değerlendirilmesi [Assessing the measurement invariance of factors that are related to students' science achievement across gender in TIMSS-R Turkey sample] (Unpublished master’s thesis). Hacettepe University Institute of Social Sciences.
• Vandenberg, R. J., & Lance, C. E. (2000). A review and synthesis of the measurement invariance literature: Suggestions, practices and recommendations for organizational research. Organizational Research Methods, 3(1), 4-70. https://doi.org/10.1177%2F109442810031002
• Widaman, K. F., & Reise, S. P. (1997). Exploring the measurement invariance of psychological instruments: Applications in the substance use domain. In K. J. Bryant, M. Windle, & S. G. West (Eds.), The science of prevention: Methodological advances from alcohol and substance abuse research (p. 281–324).
• Wu, A. D., Li, Z., & Zumbo, B. D. (2007). Decoding the meaning of factorial invariance and updating the practice of multi-group confirmatory factor analysis: a demonstration with TIMSS data. Practical Assessment, Research & Evaluation, 12(3). https://doi.org/10.7275/mhqa-cd89
• Yandı, A., Köse, İ. A., Uysal, Ö. ve Oğul, G. V. (2017). PISA 2015 öğrenci anketinin (St094Q01na - St094Q05na) ölçme değişmezliğinin farklı yöntemlerle incelenmesi [Investigation of measurement invariance of PISA 2015 student questionnaire (St094Q01na - St094Q05na) with different methods]. In Demirel, Ö. ve Dinçer, S. (Ed.), Küresel Dünyada Eğitim, (pp. 333-344). Pegem Akademi Publishing.