An Analysis of Item Bias in the PISA 2018 Reading Understanding and Memorising Strategies Questionnaire

Year 2024, , 345 - 356, 29.04.2024

Sebahat Gören , Ayfer Sayın , Selahattin Gelbal

https://doi.org/10.24106/kefdergi.1473662

Abstract

Çalışmanın amacı: Bu araştırmanın amacı, PISA 2018 uygulamasında yer alan okuduğunu anlama ve hatırlama stratejileri anketindeki maddelerin kültür ve ana dil değişkenleri bağlamında ülkeler arasında yanlılık gösterip göstermediğinin incelenmesidir.
Materyal ve Yöntem: Betimsel araştırma türünde yürütülen çalışmaya ABD, Avustralya, Kore, Japonya, Türkiye ve Yeni Zelanda olmak üzere altı ülke dâhil edilmiştir. Ülkeler kültür ve ana dil değişkenlerine göre dört gruba ayrılarak öncelikle gruplar arasında ölçme değişmezliği test edilmiştir. Çoklu grıp DFA yöntemi ile ölçme değişmezliği okuduğunu anlama ve hatırlama stratejileri anketi için sırayla şekilsel, metrik, ölçek ve katı değişmezlik olmak üzere aşamalı olarak gerçekleştirilmiştir. Ardından gruplara göre anket maddelerinin değişen madde fonksiyonu (DMF) gösterip göstermediği poly-SIBTEST yöntemi ile belirlenmiştir. Farklı kültür ve ana dile sahip Türkiye-ABD karşılaştırmasında DMF gösteren tüm anket maddelerine göre uzman görüşü alınmıştır.
Bulgular: 20 uzmanın katıldığı çalışmasonrasında üç maddedeki DMF’nin madde etkisinden kaynaklı olduğu ifade edilmiştir. Uzman görüşlerine göre Türkiye örneklemindeki öğrencilerin “metindeki kolay kısımlara yoğunlaşma” stratejisini daha az kullanışlı bulmasının beklendik bir durum olduğu belirtilmiştir. Benzer şekilde “özetleme” ve “sesli bir şekilde başkasına okuma” stratejilerinde de çeviriden, kültürden, eğitim programından ya da başka unsurlardan kaynaklı bir problem olmadığı ifade edilmiştir. Bununla birlikte uzman görüşüne göre anketteki üç maddenin yanlılık gösterdiği tespit edilmiştir. “Metnin geneli hızlı bir şekilde iki kez okuma” stratejisinin alan yazında okuma öncesinde göz gezdirme stratejisi ile okuma sırasında iki kez okuma stratejilerini aynı anda içerdiğine vurgu yapılmıştır. “Metnin içeriğini başkalarıyla tartışma” stratejisinde öğrencilerin soru-cevap olarak nitelendirdikleri stratejide tartışma eyleminin öğrenciler tarafından yanlış anlaşılabileceği vurgulanmıştır. araştırma sonucunda ayrıca “altını çizerek okuma” stratejisinin de eğitim programlarından kaynaklı olarak Türkiye örneklemindeki öğrencilere yanlılık gösterebileceği belirlenmiştir
Önemli Vurgular: Bu araştırmanın sonuçlarına göre PISA gibi önemli uluslararası uygulamalarda sadece başarı testleri değil duyuşsal alanla ilgili anket maddelerinin de çeviri süreçlerinde standartalara uygun bir şekilde gözden geçirilmesi önem arz etmektedir.

Keywords

reading comprehension, reading strategies, PISA 2018, item bias, measurement invariance

References

• Zumbo, B. D. (1999). A Handbook on the Theory and Methods of Differential Item Functioning (DIF): Logistic Regression Modeling as a Unitary Framework for Binary and Likert-type (Ordinal) Item Scores. Ottawa ON: Directorate of Human Resources Research and Evaluation, Department of National Defense.
• Zumbo, B. D., & Gelin, M. N. (2005). A Matter of Test Bias in Educational Policy Research: Bringing the Context into Picture by Investigating Sociological/Community Moderated (or Mediated) Test and Item Bias. Journal of Educational Research & Policy Studies, 5(1), 1-23.