TIMSS 2011 Dördüncü Sınıf Matematik Testinin Kültürlerarası Ölçme Değişmezliğinin İncelenmesi

Year 2016, Volume: 16 Issue: 66, 389 - 406, 15.12.2016

Betul Karakoc Alatlı , Cansu Ayan , Betul Polat Demır , Gulcin Uzun

Abstract

Problem
Durumu: Eğitim; bir yandan yeni ve eski değerleri bağdaştırarak kültürel aktarımla
toplumsal devamlılığı sağlarken; diğer yandan toplumun yaşamasını ve
kalkınmasını devam ettirebilecek ölçüde ve nitelikte değer üreterek, kültürel
mirasa yeni kazanımlar ekleyecek insan gücünü yetiştirerek aynı toplumu bir
adım ileriye götürmesini sağlamaktadır. Eğitim sonucunda ise öğrenci başarısı,
eğitimin niteliğinin bir göstergesi olarak ele alınmakta ve öğrenci başarısının
değerlendirilmesinde de başarı testleri uygulanmaktadır. Bu testler ulusal ve
uluslararası düzeyde olabilmektedir. Uluslararası düzeyde öğrenci başarılarını
değerlendirmek ve farklı ülkelerin başarılarını karşılaştırmak amacıyla
hazırlanan uluslararası düzeydeki testler ise farklı dillere ve kültürlere
uyarlanmaktadır.

Türkiye’de de
öğrenci başarısının değerlendirilmesinde ulusal ve uluslararası düzeyde testler
uygulanmaktadır. Uygulanan uluslararası testlerden biri de merkezi Hollanda’da
bulunan Uluslararası Eğitim Başarılarını Değerlendirme Kuruluşu tarafından
düzenlenen  Uluslararası Matematik ve Fen
Eğilimleri Araştırması (TIMSS)’dır. Öğrencilerin matematik ve fen bilimleri
alanlarındaki kazandıkları bilgi ve becerilerini değerlendirmek, eğitimi ve
öğretimi geliştirmek amacıyla ülkelerin eğitim sistemleri hakkında
karşılaştırmalı veri toplamak TIMSS’in amaçları arasında yer almaktadır. Bu
karşılaştırmanın anlamlı olabilmesi için testlerin ölçtüğü yapıların eşdeğer
olması yani kullanılan testlerin ölçme değişmezliği/eşdeğerliğinin sağlanmış
olması gerekir. Bu bağlamda testlerin, psikometrik bir özellik olarak ölçme
değişmezliğine sahip olması, kültürlerarası karşılaştırmalarda, temel bir
varsayımdır.

Bir testin ölçme
değişmezliğini karşılayabilmesi için, farklı gruplardan gelen fakat benzer
yapıları ölçülen bireylerin, belirli bir puanı alma olasılığı eşit olmalıdır.
Başka bir deyişle ölçme değişmezliğinin sağlanabilmesi için bir ölçme modelinin
birden fazla grupta aynı yapıya sahip olması yani ölçme aracının maddelerinin,
faktör yüklerinin, faktörler arası korelasyonlarının ve hata varyanslarının
aynı olması gerekir. Ölçme eşdeğerliliği ise dört aşamada test edilir.
Bunlar;    

1.       
Yapısal
değişmezlik: Bu aşamada grupların aynı faktör yapısına sahip olup
olmadığı incelenir. Bu modelde kestirilen parametreler üzerinde gruplar arası
değişmezlik sınırlandırması yapılmaz yani grupların farklı parametre değerleri
almalarına izin verilir.

2.       
Metrik
değişmezlik:  Bu aşamada,
farklı grupların maddelere aynı biçimde cevap verip vermediği incelenir. Bu
modelde faktör yükleri gruplar arasında sınırlandırılır.

3.       
Skalar
değişmezlik: Bu aşamada özel faktör ortalamalarının yani grupların
faktör puanı sıfır olduğunda elde edilen regresyon sabitinin gruplar arasında
benzer olup olmadığı incelenir. Bu modelde faktör yükleri sınırlandırmasının
yanında sabit değer/katsayı sınırlamasına gidilir.

4.       
Tam değişmezlik: Bu son aşamada
hata varyanslarının gruplarda farklılaşıp farklılaşmadığı incelenir. Ölçme
modelindeki katı değişmezlik test edilirken bütün parametre sınırlamaları ile
birlikte hata varyansları sınırlandırılır

Sonuçları ülke
eğitim politikalarına yön vermede ve eğitim programlarının yeniden
yapılandırılmasında büyük öneme sahip uluslararası eğitim araştırmalarına
dayalı olarak karşılaştırmalar yapabilmek için kullanılan testlerin ölçtüğü
yapıların eşdeğer olması gerekmektedir. Literatür incelendiğinde ise
kültürlerarası değişmezliğin incelendiği çalışmaların Türkiye örneklemi için
oldukça az olduğu ve bu yapılan çalışmaların TIMSS 2011 uygulamasını
kapsamadığı görülmüştür. Bu bağlamda hem testlere dayalı yapılan çıkarımların
gerekli ve güvenilir olduğunu belirlemek hem de sorunlar varsa kaynaklarını
bulup gidermek açısından TIMSS 2011 uygulamasında yer alantestlerin farklı
kültürlerdeki ülkeler arasında ölçme değişmezliğinin sağlanıp sağlanmadığının
incelenmesine ihtiyaç duyulmuştur. Bu nedenle TIMSS 2011 Türkiye örnekleminin,
anadili İngilizce olan ve olmayan farklı başarı düzeyinde ülkelerle ölçme
değişmezliği açısından karşılaştırılması, varsa sorunların belirlenmesi ve daha
geçerli güvenilir sonuçlar elde edebilmek ve karşılaştırmalar yapabilmek için
yapılabilecek olası çözüm yollarının tartışılması gerekli görülmektedir.  Bu amaçla çalışmada, TIMSS 2011 kapsamında
yer alan Matematik testinin farklı kültürlerde kültürlerarası ölçme
değişmezliği gösterip göstermediği incelenmiştir.

Araştırmanın Amacı: Bu çalışmanın amacı TIMSS 2011 kapsamında
yer alan Matematik testinin farklı kültürlere göre ölçme değişmezliğinin
incelenmesidir.  Bu genel amaç
doğrultusunda bu çalışmada şu sorulara yanıt aranmıştır;

TIMSS 2011’in kültürler arası;

a) Yapısal değişmezliğine,

b) Metrik değişmezliğine        

c) Skalar değişmezliğine ve

d) Tam değişmezliğine ilişkin kanıt bulunmakta mıdır?

Araştırmanın
Yöntemi: TIMSS 2011 kapsamında uygulanan matematik testinde yer alan yapıların
kültürlerarası değişmezliğini incelemeyi amaçlayan bu araştırma, var olan bir
durumu olduğu şekliyle araştırma söz konusu olduğundan tarama modelindedir.
Araştırmanın evrenini TIMSS 2011 uygulamasına 4. Sınıf düzeyinde katılan 50
ülke oluşturmaktadır. Araştırmanın örneklemini ise TIMSS 2011 uygulamasına
katılan 50 ülkeden amaçlı örnekleme yöntemi ile belirlenen Türkiye, İngiltere,
Japonya ve Amerika Birleşik Devletleri’nden 1987 4. Sınıf öğrencisi
oluşturmaktadır. Araştırmaya bu ülkelerin alınmasının amacı iki ülkenin
(İngiltere ve Amerika Birleşik Devletleri) anadilinin İngilizce ve diğer iki
ülkenin (Türkiye- Japonya) anadilinin İngilizce olmamasıdır. Kültürlerarası en
önemli farklılıklardan biri olan dil öğesi, araştırmanın amacı doğrultusunda
ülkelerin araştırmaya dahil edilmesinde etkili olmuştur. Araştırma TIMSS 2011
kapsamında uygulanan matematik testi sonuçlarından elde edilen veriler
üzerinden yürütülmüştür. Çalışma için gerekli olan veriler
http://timssandpirls.bc.edu/timss2011/international-database.html adresinden
alınmıştır. TIMMS 2011 Matematik testleri 14 paralel kitapçıktan oluşmaktadır.
Araştırma bir numaralı formda yer alan 21 madde ile yürütülmüştür. Maddelerin
%33’ü bilme, %29’u uygulama, %38’i ise akıl yürütme alt boyutunda yer
almaktadır. Modelin değişmezliği çok gruplu doğrulayıcı faktör analizi ile
incelenmiştir. Verilerden doğru bir sonuç çıkartılabilmesi açısından analizlere
başlamadan önce veri seti, veri yapısı ve verilerin analizlere ilişkin
varsayımları karşılayıp karşılamadığı incelenmiş, varsayımların karşılandığı
sonucuna ulaşılmıştır.

Araştırmanın
Bulguları: Bu araştırma kapsamında TIMMS 2011 Matematik
maddelerinin bilişsel düzeylerini gösteren modelin Türkiye, Amerika, İngiltere
ve Japonya olmak üzere seçilen dört ülkede ölçme değişmezliğinin sağlanıp
sağlanmadığına ilişkin analizler yürütülmüştür. Bu anlamda ülkeler arasında
hiyerarşik 4 adımdan oluşan değişmezlik kontrolleri yapılmıştır.

1.Yapısal Değişmezlik:
İlk adımda kurulan yapının seçilen dört ülke için de doğrulanıp doğrulanmadığı
test edilmiştir. Kurulan modelin tüm ülkeler için doğrulandığı ve dolayısı ile
değişmezliğin ilk adımı olan yapısal değişmezliğin sağlandığı bulgusuna
ulaşılmıştır.

2. Metrik
Değişmezlik: Bu adımda kurulan modelde faktör yükleri her ülke için sabitlenmiş
ve ilk durum ile yeni modelde elde edilen indeksler arasındaki farkın
manidarlığı test edilmiş ve fark manidar bulunmuştur. Yani, metrik değişmezlik
sağlanmamaktadır bulgusuna ulaşılmıştır. Değişmezlik analizi hiyerarşik bir
yapı gösterdiğinden, metrik değişmezliğin sağlanmadığı adımda analize son
verilmiş, skalar değişmezlik ve tam değişmezlik kontrollerine geçilmemiştir.
Ancak bu adımdan sonra değişmezliğin hangi ülke ile ilgili olarak bozulduğunu
belirleyebilmek adına ülkelerin ikili ve üçlü kombinasyonları arasında metrik
değişmezlik incelenmiş ve sağlanmadığı bulgusuna ulaşılmıştır.

Araştırmanın
Sonuç ve Önerileri: Araştırma sonucunda, ülkeler
arası değişmezliğin zayıf değişmezlik seviyesinde olduğu belirlenmiştir. Bu aşamada yapılan
karşılaştırmalarda, gruplar arasındaki farklılıkların ölçme aracından meydana
gelebileceği düşünülebilir. Bu
doğrultuda, ülkeleri karşılaştırmanın çok uygun olmayacağı, kültürel anlamda
sorun çıkarabilecek noktaların tespitinin yapılması gerektiği düşünülmektedir.
Bu çerçevede modelin ölçme değişmezliğinin sağlanmamasına neden olan
maddeler belirlenerek, gruplar arasında maddelerin DMF (değişen madde
fonksiyonu) gösterip göstermediği incelenebilir. DMF gösterdiği tespit edilen
maddelerin uzman görüşü alınarak olası yanlılık kaynakları belirlenebilir. 

Keywords

Ölçme eşdeğerliği, Çok gruplu doğrulayıcı faktör analizi, Yapısal eşitlik modeli.

Examination of the TIMSS 2011 Fourth Grade Mathematics Test in Terms of Cross-Cultural Measurement Invariance

Abstract

Problem
Statement:
Student achievement is considered an indicator of the quality of education, and
achievement tests are applied to assess student achievement. International
tests are adapted into different languages and cultures with the aim of
assessing student achievement on an international level and comparing the
achievements of different countries. In our country, a number of tests at the national
and international levels are conducted to assess student achievement. One of the
tests conducted in our country is called Trends in International Mathematics
and Science Study (TIMSS). Countries structure their curricula and education
policies based on the results of these studies. However, in order for these
comparisons to be meaningful, the constructs measured by the tests should be
equivalent. When the relevant literature was examined, it was observed that the
number of studies on cross-cultural invariance in Turkey was low and that these
studies did not involve TIMSS 2011.

Purpose
of the Study: The
purpose of this study was to examine the measurement invariance of TIMSS 2011
mathematics test in terms of different cultures.

Method:
Aiming at
examining the intercultural measurement invariance of the TIMSS 2011
mathematics test, this is a survey model that tries to describe an existing
situation as it is. The study sample was composed of 1,987 fourth graders from
Turkey, England, Japan and the USA. This study was conducted on the data
obtained from the TIMSS 2011 mathematics test. Model invariance was examined
through multi-group confirmatory factor analysis. LISREL 8.80 for Windows
software was used for performance of data analysis.

Findings and
Results: The
study of measurement invariance was conducted in four steps. It was found that
the proposed model was confirmed for all countries, and configural invariance
was ensured in the first step, while metric invariance was not ensured in the
second step. Therefore, we did not start the scalar invariance or strict
invariance analyses. After this step, metric invariance was tested through
binary and trilateral combinations in order to determine in which country the
invariance was collapsed. It was found that the reason why the metric
invariance wasn’t ensured was that it was not sourced from only one country.

Conclusions and
Recommendations: According to the
findings, the invariance across four countries was ensured only in the configural
invariance step. Therefore, the items causing the model not to
have measurement invariance can be determined, as well as whether the items
demonstrated DIF across groups. The items determined to demonstrate DIF can be
examined in terms of bias of sources, depending on the expert opinions

Keywords

Measurement invariance, Multiple-group confirmatory factor analysis, Structural equation modeling

References

• Akyildiz, M. (2009). PIRLS 2001 testinin yapi gecerliliginin ulkelerarasi karsilastirilmasi [The comparison of construct validities of the PIRLS 2001 test between countries]. Yuzuncu Yil Üniversitesi Egitim Fakultesi Dergisi, 6(1), 18-47.
• American Educational Research Association, American Psychological Association, National Council on Measurement in Education [AERA/APA/NCME]. (1999). Standards for educational and psychological testing. Washington, DC: American Psychological Association.
• Asil, M. & Gelbal, S. (2012). PISA ogrenci anketinin kulturler arasi esdegerligi [Cross-cultural equivalence of the PISA student questionnaire].Egitim ve Bilim, 37(166), 236-249.
• Asil, M., & Brown, G. T. L. (2015). Comparing OECD PISA reading in English to other languages: Identifying potential sources of non-invariance. International Journal of Testing. Advance online publication. doi: 10.1080/15305058.2015.1064431
• Basusta, B. N. (2010). Olcme esdegerligi. [Measurement invariance].Egitimde ve Psikolojide Ölcme ve Degerlendirme Dergisi, 1(2), 58-64.
• Bollen, K.A. (1989). Structural equations with latent variables. New York: John Wiley & Sons, Inc.
• Brown, T. A. (2006). Confirmatory factor analysis for applied research. New York: The Guilford Press.
• Byrne, B. M., Shavelson, R. J., & Muthén, B. (1989). Testing for the equivalence of factor covariance and mean structures: The issue of partial measurement invariance. Psychological Bulletin, 105(3), 456-466.
• Gierl, M. J. (2000). Construct equivalence on translated achievement tests. Canadian Journal of Education, 25(4), 280-296.
• Hotaman, D. (2009). Bazi kisisel degiskenlerin ogrencilerin bagimsiz bir partnerle ve bir grupla calisma aliskanliklariuzerindeki etkisinin arastirilmasi. [The research of the influence of some individual variables on the students’ study habits independently, with a partner and in a group]. Uluslararasi Insan Bilimleri Dergisi, 6(1).
• International Test Commission (2005). International test commission guidelines for test adaptation. London: Author.
• Joreskog, K., & Sorbom, D. (1993). Lisrel 8.7. Chicago: Scientific Software International Inc.
• Kline, R.B. (2005), Principles and practice of structural equation modeling (2nd Edition ed.). New York: The Guilford Press.
• Meredith, W. (1993), Measurement invariance, factor analysis, and factorial invariance. Pyschometrika, 58, 525-543.
• Milli Egitim Bakanligi. (2003). TIMSS 1999 Ulusal raporu [TIMSS 1999 National report]. Retrieved October 10, 2016, from http://timss.meb.gov.tr/wp-content/uploads/timss_1999_ulusal_raporu.pdf
• Milli Egitim Bakanligi. (2011). TIMSS 2007 Ulusal Raporu [TIMSS 2007 National report].. Retrieved October 10, 2016, from http://timss.meb.gov.tr/?page_id=25
• Milli Egitim Bakanligi. (2014a). TIMSS 2011 Ulusal Raporu (4. Siniflar) [TIMSS 2011 National report (4th grades)].Retrieved October 10, 2016, from http://timss.meb.gov.tr/wp-content/uploads/TIMSS-2011-4-Sinif.pdf
• Milli Egitim Bakanligi. (2014b). TIMSS 2011 Ulusal Raporu (8. siniflar) [TIMSS 2011 National report (8th grades)]. Retrieved October 10, 2016, from http://timss.meb.gov.tr/wp-content/uploads/TIMSS-2011-8-Sinif.pdf
• Milli Egitim Bakanligi. (2016). TIMSS 2015 Ulusal Ön Raporu[TIMSS 2015 National pre-report (4th grades)]. Retrieved December 8, 2016, from http://timss.meb.gov.tr/wp-content/uploads/Timss_2015_ulusal_fen_mat_raporu.pdf
• Milli Egitim Bakanligi, (2015). Uluslararasi matematik ve fen egilimleri arastirmasi TIMMS 2011 tanitim kitapcigi [Intoduction booklet of Trends in International Mathematics and Science Study] Retrieved October 10, 2016 from http: egitek.meb.gov.tr/pdf/TIMSS_2011_kitapcigi.pdf‎
• Millsap, R. E., & Kwok, O. (2004). Evaluating the impact of partial factorial invariance on selection in two populations. Psychological Methods, 9(1), 93-115.
• Ogretmen, T. (2006). Uluslararasi okuma becerilerinde gelisim projesi (PIRLS) 2001 testinin psikometrik ozelliklerinin incelenmesi: Turkiye- Amerika Birlesik Devletleri ornegi. [The investigation of psychometric properties of the test of progress in international reading literacy
• (PIRLS) 2001: The model of Turkey-United States of America].(Yayinlanmamis Doktora Tezi). Hacettepe Üniversitesi, Ankara.
• Stevens, J. P. (2009). Applied multivariate statistics for the social sciences (5th ed.). New York, NY: Routledge.
• Tabachnick, B.G., & Fidell, L.S. (2007), Using multivariate statistics (5th ed.). New York: Allyn and Bacon.
• Uzun, B., & Ogretmen T. (2010). Fen basarisi ile ilgili bazi degiskenlerin TIMSS-R Turkiye ornekleminde cinsiyete gore olcme degismezliginin degerlendirilmesi [Assessing the measurement invariance of factors that are related to students’ science achievement across gender in
• TIMSS-R Turkey Sample]. Egitim ve Bilim, 35(155), 26-35.
• Weston, R., & Gore, P. A. (2006). A brief guide to structural equation modeling. The Counseling Psychologist, 34 (5), 719 – 751.
• Vandenberg, R. J., & Lance, C. E. (2000). A review and synthesis of the measurement invariance literature: Suggestions, practices, and recommendations for organizational research. Organizational Research Methods, 3(1), 4-70.
• Varis, F. (1998). Egitimde program gelistirme [Curriculum development in education]. (7. Basim). Ankara: Alkim Yayincilik.
• Zopluoglu, C. (2013). V. Uluslararasi matematik ve fen egilimleri arastirmasi (TIMMS), Turkiye degerlendirmesi: Matematik [Trends in International Mathematics and Science Study (TMSS), Turkey evaluation: mathematics]. Siyaset, Ekonomi ve Toplum Arastirmalari Vakfi, 64, 1-14.