TIMSS 2011 Dördüncü Sınıf Matematik Testinin Kültürlerarası Ölçme Değişmezliğinin İncelenmesi

Abstract

Problem Durumu: Eğitim; bir yandan yeni ve eski değerleri bağdaştırarak kültürel aktarımla toplumsal devamlılığı sağlarken; diğer yandan toplumun yaşamasını ve kalkınmasını devam ettirebilecek ölçüde ve nitelikte değer üreterek, kültürel mirasa yeni kazanımlar ekleyecek insan gücünü yetiştirerek aynı toplumu bir adım ileriye götürmesini sağlamaktadır. Eğitim sonucunda ise öğrenci başarısı, eğitimin niteliğinin bir göstergesi olarak ele alınmakta ve öğrenci başarısının değerlendirilmesinde de başarı testleri uygulanmaktadır. Bu testler ulusal ve uluslararası düzeyde olabilmektedir. Uluslararası düzeyde öğrenci başarılarını değerlendirmek ve farklı ülkelerin başarılarını karşılaştırmak amacıyla hazırlanan uluslararası düzeydeki testler ise farklı dillere ve kültürlere uyarlanmaktadır.

Türkiye’de de öğrenci başarısının değerlendirilmesinde ulusal ve uluslararası düzeyde testler uygulanmaktadır. Uygulanan uluslararası testlerden biri de merkezi Hollanda’da bulunan Uluslararası Eğitim Başarılarını Değerlendirme Kuruluşu tarafından düzenlenen  Uluslararası Matematik ve Fen Eğilimleri Araştırması (TIMSS)’dır. Öğrencilerin matematik ve fen bilimleri alanlarındaki kazandıkları bilgi ve becerilerini değerlendirmek, eğitimi ve öğretimi geliştirmek amacıyla ülkelerin eğitim sistemleri hakkında karşılaştırmalı veri toplamak TIMSS’in amaçları arasında yer almaktadır. Bu karşılaştırmanın anlamlı olabilmesi için testlerin ölçtüğü yapıların eşdeğer olması yani kullanılan testlerin ölçme değişmezliği/eşdeğerliğinin sağlanmış olması gerekir. Bu bağlamda testlerin, psikometrik bir özellik olarak ölçme değişmezliğine sahip olması, kültürlerarası karşılaştırmalarda, temel bir varsayımdır.

Bir testin ölçme değişmezliğini karşılayabilmesi için, farklı gruplardan gelen fakat benzer yapıları ölçülen bireylerin, belirli bir puanı alma olasılığı eşit olmalıdır. Başka bir deyişle ölçme değişmezliğinin sağlanabilmesi için bir ölçme modelinin birden fazla grupta aynı yapıya sahip olması yani ölçme aracının maddelerinin, faktör yüklerinin, faktörler arası korelasyonlarının ve hata varyanslarının aynı olması gerekir. Ölçme eşdeğerliliği ise dört aşamada test edilir. Bunlar;    

1.        Yapısal değişmezlik: Bu aşamada grupların aynı faktör yapısına sahip olup olmadığı incelenir. Bu modelde kestirilen parametreler üzerinde gruplar arası değişmezlik sınırlandırması yapılmaz yani grupların farklı parametre değerleri almalarına izin verilir.

2.        Metrik değişmezlik:  Bu aşamada, farklı grupların maddelere aynı biçimde cevap verip vermediği incelenir. Bu modelde faktör yükleri gruplar arasında sınırlandırılır.

3.        Skalar değişmezlik: Bu aşamada özel faktör ortalamalarının yani grupların faktör puanı sıfır olduğunda elde edilen regresyon sabitinin gruplar arasında benzer olup olmadığı incelenir. Bu modelde faktör yükleri sınırlandırmasının yanında sabit değer/katsayı sınırlamasına gidilir.

4.        Tam değişmezlik: Bu son aşamada hata varyanslarının gruplarda farklılaşıp farklılaşmadığı incelenir. Ölçme modelindeki katı değişmezlik test edilirken bütün parametre sınırlamaları ile birlikte hata varyansları sınırlandırılır

Sonuçları ülke eğitim politikalarına yön vermede ve eğitim programlarının yeniden yapılandırılmasında büyük öneme sahip uluslararası eğitim araştırmalarına dayalı olarak karşılaştırmalar yapabilmek için kullanılan testlerin ölçtüğü yapıların eşdeğer olması gerekmektedir. Literatür incelendiğinde ise kültürlerarası değişmezliğin incelendiği çalışmaların Türkiye örneklemi için oldukça az olduğu ve bu yapılan çalışmaların TIMSS 2011 uygulamasını kapsamadığı görülmüştür. Bu bağlamda hem testlere dayalı yapılan çıkarımların gerekli ve güvenilir olduğunu belirlemek hem de sorunlar varsa kaynaklarını bulup gidermek açısından TIMSS 2011 uygulamasında yer alantestlerin farklı kültürlerdeki ülkeler arasında ölçme değişmezliğinin sağlanıp sağlanmadığının incelenmesine ihtiyaç duyulmuştur. Bu nedenle TIMSS 2011 Türkiye örnekleminin, anadili İngilizce olan ve olmayan farklı başarı düzeyinde ülkelerle ölçme değişmezliği açısından karşılaştırılması, varsa sorunların belirlenmesi ve daha geçerli güvenilir sonuçlar elde edebilmek ve karşılaştırmalar yapabilmek için yapılabilecek olası çözüm yollarının tartışılması gerekli görülmektedir.  Bu amaçla çalışmada, TIMSS 2011 kapsamında yer alan Matematik testinin farklı kültürlerde kültürlerarası ölçme değişmezliği gösterip göstermediği incelenmiştir.

Araştırmanın Amacı: Bu çalışmanın amacı TIMSS 2011 kapsamında yer alan Matematik testinin farklı kültürlere göre ölçme değişmezliğinin incelenmesidir.  Bu genel amaç doğrultusunda bu çalışmada şu sorulara yanıt aranmıştır;

TIMSS 2011’in kültürler arası;

a) Yapısal değişmezliğine,

b) Metrik değişmezliğine        

c) Skalar değişmezliğine ve

d) Tam değişmezliğine ilişkin kanıt bulunmakta mıdır?

Araştırmanın Yöntemi: TIMSS 2011 kapsamında uygulanan matematik testinde yer alan yapıların kültürlerarası değişmezliğini incelemeyi amaçlayan bu araştırma, var olan bir durumu olduğu şekliyle araştırma söz konusu olduğundan tarama modelindedir. Araştırmanın evrenini TIMSS 2011 uygulamasına 4. Sınıf düzeyinde katılan 50 ülke oluşturmaktadır. Araştırmanın örneklemini ise TIMSS 2011 uygulamasına katılan 50 ülkeden amaçlı örnekleme yöntemi ile belirlenen Türkiye, İngiltere, Japonya ve Amerika Birleşik Devletleri’nden 1987 4. Sınıf öğrencisi oluşturmaktadır. Araştırmaya bu ülkelerin alınmasının amacı iki ülkenin (İngiltere ve Amerika Birleşik Devletleri) anadilinin İngilizce ve diğer iki ülkenin (Türkiye- Japonya) anadilinin İngilizce olmamasıdır. Kültürlerarası en önemli farklılıklardan biri olan dil öğesi, araştırmanın amacı doğrultusunda ülkelerin araştırmaya dahil edilmesinde etkili olmuştur. Araştırma TIMSS 2011 kapsamında uygulanan matematik testi sonuçlarından elde edilen veriler üzerinden yürütülmüştür. Çalışma için gerekli olan veriler http://timssandpirls.bc.edu/timss2011/international-database.html adresinden alınmıştır. TIMMS 2011 Matematik testleri 14 paralel kitapçıktan oluşmaktadır. Araştırma bir numaralı formda yer alan 21 madde ile yürütülmüştür. Maddelerin %33’ü bilme, %29’u uygulama, %38’i ise akıl yürütme alt boyutunda yer almaktadır. Modelin değişmezliği çok gruplu doğrulayıcı faktör analizi ile incelenmiştir. Verilerden doğru bir sonuç çıkartılabilmesi açısından analizlere başlamadan önce veri seti, veri yapısı ve verilerin analizlere ilişkin varsayımları karşılayıp karşılamadığı incelenmiş, varsayımların karşılandığı sonucuna ulaşılmıştır.

Araştırmanın Bulguları: Bu araştırma kapsamında TIMMS 2011 Matematik maddelerinin bilişsel düzeylerini gösteren modelin Türkiye, Amerika, İngiltere ve Japonya olmak üzere seçilen dört ülkede ölçme değişmezliğinin sağlanıp sağlanmadığına ilişkin analizler yürütülmüştür. Bu anlamda ülkeler arasında hiyerarşik 4 adımdan oluşan değişmezlik kontrolleri yapılmıştır.

1.Yapısal Değişmezlik: İlk adımda kurulan yapının seçilen dört ülke için de doğrulanıp doğrulanmadığı test edilmiştir. Kurulan modelin tüm ülkeler için doğrulandığı ve dolayısı ile değişmezliğin ilk adımı olan yapısal değişmezliğin sağlandığı bulgusuna ulaşılmıştır.

2. Metrik Değişmezlik: Bu adımda kurulan modelde faktör yükleri her ülke için sabitlenmiş ve ilk durum ile yeni modelde elde edilen indeksler arasındaki farkın manidarlığı test edilmiş ve fark manidar bulunmuştur. Yani, metrik değişmezlik sağlanmamaktadır bulgusuna ulaşılmıştır. Değişmezlik analizi hiyerarşik bir yapı gösterdiğinden, metrik değişmezliğin sağlanmadığı adımda analize son verilmiş, skalar değişmezlik ve tam değişmezlik kontrollerine geçilmemiştir. Ancak bu adımdan sonra değişmezliğin hangi ülke ile ilgili olarak bozulduğunu belirleyebilmek adına ülkelerin ikili ve üçlü kombinasyonları arasında metrik değişmezlik incelenmiş ve sağlanmadığı bulgusuna ulaşılmıştır.

Araştırmanın Sonuç ve Önerileri: Araştırma sonucunda, ülkeler arası değişmezliğin zayıf değişmezlik seviyesinde olduğu belirlenmiştir. Bu aşamada yapılan karşılaştırmalarda, gruplar arasındaki farklılıkların ölçme aracından meydana gelebileceği düşünülebilir. Bu doğrultuda, ülkeleri karşılaştırmanın çok uygun olmayacağı, kültürel anlamda sorun çıkarabilecek noktaların tespitinin yapılması gerektiği düşünülmektedir. Bu çerçevede modelin ölçme değişmezliğinin sağlanmamasına neden olan maddeler belirlenerek, gruplar arasında maddelerin DMF (değişen madde fonksiyonu) gösterip göstermediği incelenebilir. DMF gösterdiği tespit edilen maddelerin uzman görüşü alınarak olası yanlılık kaynakları belirlenebilir. 

Keywords

• Ölçme eşdeğerliği,Çok gruplu doğrulayıcı faktör analizi,Yapısal eşitlik modeli.

Examination of the TIMSS 2011 Fourth Grade Mathematics Test in Terms of Cross-Cultural Measurement Invariance

Abstract

Problem Statement: Student achievement is considered an indicator of the quality of education, and achievement tests are applied to assess student achievement. International tests are adapted into different languages and cultures with the aim of assessing student achievement on an international level and comparing the achievements of different countries. In our country, a number of tests at the national and international levels are conducted to assess student achievement. One of the tests conducted in our country is called Trends in International Mathematics and Science Study (TIMSS). Countries structure their curricula and education policies based on the results of these studies. However, in order for these comparisons to be meaningful, the constructs measured by the tests should be equivalent. When the relevant literature was examined, it was observed that the number of studies on cross-cultural invariance in Turkey was low and that these studies did not involve TIMSS 2011.

Purpose of the Study: The purpose of this study was to examine the measurement invariance of TIMSS 2011 mathematics test in terms of different cultures.

Method: Aiming at examining the intercultural measurement invariance of the TIMSS 2011 mathematics test, this is a survey model that tries to describe an existing situation as it is. The study sample was composed of 1,987 fourth graders from Turkey, England, Japan and the USA. This study was conducted on the data obtained from the TIMSS 2011 mathematics test. Model invariance was examined through multi-group confirmatory factor analysis. LISREL 8.80 for Windows software was used for performance of data analysis.

Findings and Results: The study of measurement invariance was conducted in four steps. It was found that the proposed model was confirmed for all countries, and configural invariance was ensured in the first step, while metric invariance was not ensured in the second step. Therefore, we did not start the scalar invariance or strict invariance analyses. After this step, metric invariance was tested through binary and trilateral combinations in order to determine in which country the invariance was collapsed. It was found that the reason why the metric invariance wasn’t ensured was that it was not sourced from only one country.

Conclusions and Recommendations: According to the findings, the invariance across four countries was ensured only in the configural invariance step. Therefore, the items causing the model not to have measurement invariance can be determined, as well as whether the items demonstrated DIF across groups. The items determined to demonstrate DIF can be examined in terms of bias of sources, depending on the expert opinions

Keywords

• Measurement invariance,Multiple-group confirmatory factor analysis,Structural equation modeling

References

1. Akyildiz, M. (2009). PIRLS 2001 testinin yapi gecerliliginin ulkelerarasi karsilastirilmasi [The comparison of construct validities of the PIRLS 2001 test between countries]. Yuzuncu Yil Üniversitesi Egitim Fakultesi Dergisi, 6(1), 18-47.
2. American Educational Research Association, American Psychological Association, National Council on Measurement in Education [AERA/APA/NCME]. (1999). Standards for educational and psychological testing. Washington, DC: American Psychological Association.
3. Asil, M. & Gelbal, S. (2012). PISA ogrenci anketinin kulturler arasi esdegerligi [Cross-cultural equivalence of the PISA student questionnaire].Egitim ve Bilim, 37(166), 236-249.
4. Asil, M., & Brown, G. T. L. (2015). Comparing OECD PISA reading in English to other languages: Identifying potential sources of non-invariance. International Journal of Testing. Advance online publication. doi: 10.1080/15305058.2015.1064431
5. Basusta, B. N. (2010). Olcme esdegerligi. [Measurement invariance].Egitimde ve Psikolojide Ölcme ve Degerlendirme Dergisi, 1(2), 58-64.
6. Bollen, K.A. (1989). Structural equations with latent variables. New York: John Wiley & Sons, Inc.
7. Brown, T. A. (2006). Confirmatory factor analysis for applied research. New York: The Guilford Press.
8. Byrne, B. M., Shavelson, R. J., & Muthén, B. (1989). Testing for the equivalence of factor covariance and mean structures: The issue of partial measurement invariance. Psychological Bulletin, 105(3), 456-466.

9. Gierl, M. J. (2000). Construct equivalence on translated achievement tests. Canadian Journal of Education, 25(4), 280-296.
10. Hotaman, D. (2009). Bazi kisisel degiskenlerin ogrencilerin bagimsiz bir partnerle ve bir grupla calisma aliskanliklariuzerindeki etkisinin arastirilmasi. [The research of the influence of some individual variables on the students’ study habits independently, with a partner and in a group]. Uluslararasi Insan Bilimleri Dergisi, 6(1).
11. International Test Commission (2005). International test commission guidelines for test adaptation. London: Author.
12. Joreskog, K., & Sorbom, D. (1993). Lisrel 8.7. Chicago: Scientific Software International Inc.
13. Kline, R.B. (2005), Principles and practice of structural equation modeling (2nd Edition ed.). New York: The Guilford Press.
14. Meredith, W. (1993), Measurement invariance, factor analysis, and factorial invariance. Pyschometrika, 58, 525-543.
15. Milli Egitim Bakanligi. (2003). TIMSS 1999 Ulusal raporu [TIMSS 1999 National report]. Retrieved October 10, 2016, from http://timss.meb.gov.tr/wp-content/uploads/timss_1999_ulusal_raporu.pdf
16. Milli Egitim Bakanligi. (2011). TIMSS 2007 Ulusal Raporu [TIMSS 2007 National report].. Retrieved October 10, 2016, from http://timss.meb.gov.tr/?page_id=25
17. Milli Egitim Bakanligi. (2014a). TIMSS 2011 Ulusal Raporu (4. Siniflar) [TIMSS 2011 National report (4th grades)].Retrieved October 10, 2016, from http://timss.meb.gov.tr/wp-content/uploads/TIMSS-2011-4-Sinif.pdf
18. Milli Egitim Bakanligi. (2014b). TIMSS 2011 Ulusal Raporu (8. siniflar) [TIMSS 2011 National report (8th grades)]. Retrieved October 10, 2016, from http://timss.meb.gov.tr/wp-content/uploads/TIMSS-2011-8-Sinif.pdf
19. Milli Egitim Bakanligi. (2016). TIMSS 2015 Ulusal Ön Raporu[TIMSS 2015 National pre-report (4th grades)]. Retrieved December 8, 2016, from http://timss.meb.gov.tr/wp-content/uploads/Timss_2015_ulusal_fen_mat_raporu.pdf
20. Milli Egitim Bakanligi, (2015). Uluslararasi matematik ve fen egilimleri arastirmasi TIMMS 2011 tanitim kitapcigi [Intoduction booklet of Trends in International Mathematics and Science Study] Retrieved October 10, 2016 from http: egitek.meb.gov.tr/pdf/TIMSS_2011_kitapcigi.pdf‎
21. Millsap, R. E., & Kwok, O. (2004). Evaluating the impact of partial factorial invariance on selection in two populations. Psychological Methods, 9(1), 93-115.
22. Ogretmen, T. (2006). Uluslararasi okuma becerilerinde gelisim projesi (PIRLS) 2001 testinin psikometrik ozelliklerinin incelenmesi: Turkiye- Amerika Birlesik Devletleri ornegi. [The investigation of psychometric properties of the test of progress in international reading literacy
23. (PIRLS) 2001: The model of Turkey-United States of America].(Yayinlanmamis Doktora Tezi). Hacettepe Üniversitesi, Ankara.
24. Stevens, J. P. (2009). Applied multivariate statistics for the social sciences (5th ed.). New York, NY: Routledge.
25. Tabachnick, B.G., & Fidell, L.S. (2007), Using multivariate statistics (5th ed.). New York: Allyn and Bacon.
26. Uzun, B., & Ogretmen T. (2010). Fen basarisi ile ilgili bazi degiskenlerin TIMSS-R Turkiye ornekleminde cinsiyete gore olcme degismezliginin degerlendirilmesi [Assessing the measurement invariance of factors that are related to students’ science achievement across gender in
27. TIMSS-R Turkey Sample]. Egitim ve Bilim, 35(155), 26-35.
28. Weston, R., & Gore, P. A. (2006). A brief guide to structural equation modeling. The Counseling Psychologist, 34 (5), 719 – 751.
29. Vandenberg, R. J., & Lance, C. E. (2000). A review and synthesis of the measurement invariance literature: Suggestions, practices, and recommendations for organizational research. Organizational Research Methods, 3(1), 4-70.
30. Varis, F. (1998). Egitimde program gelistirme [Curriculum development in education]. (7. Basim). Ankara: Alkim Yayincilik.
31. Zopluoglu, C. (2013). V. Uluslararasi matematik ve fen egilimleri arastirmasi (TIMMS), Turkiye degerlendirmesi: Matematik [Trends in International Mathematics and Science Study (TMSS), Turkey evaluation: mathematics]. Siyaset, Ekonomi ve Toplum Arastirmalari Vakfi, 64, 1-14.