PISA’nın ışığında geliştirilen ABİDE projesinde okuma bakımından ne hâldeyiz? Bir geçerlilik çalışması

Öz

Çalışmamızda MEB Ölçme ve Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğünün Veri Analizi, İzleme ve Değerlendirme Daire Başkanlığı birimi ile yapılan yazışmalar neticesinde erişilebilen ABİDE 2016 Türkçe-A testine cevap veren öğrencilerden seçilen 6000 kişilik veri analiz edilmiştir. İlgili kitapçıkta araştırmacılara 9 madde verilmiş olup araştırma boyunca ilgili maddelerin hedef kitlenin cinsiyet, kurum türü ve bölge değişkenlerinin alt gruplarında madde yanlılığına işaret eden diferansiyel madde fonksiyonunu gösterip göstermediği incelenmiştir. Parametrik veri setlerine uygunluğu ve maddelere verilen cevapların hiyerarşik yapı içermesi sebebiyle lojistik regresyon analizleri seçilmiştir. Maddelere verilen cevapların ordinal bir yapı içermesi sebebiyle de ordinal lojistik regresyon analizi ana analiz metodu olarak belirlenmiştir. İlgili metot yoluyla yapılan DMF (diferansiyel madde fonksiyonu) analizleri neticesinde madde yanlılığına işaret eden maddeler varsa bulgulaştırılarak raporda sunulmuştur. Elde edilen sonuçlar ABİDE maddelerinin alt gruplara yönelik olarak orta ve yüksek derecede diferansiyel madde fonksiyonuna sahip olmadığına işaret etmektedir. Bulgular ilgili maddelerin analiz edilen alt gruplar için geçerli olduğu şeklinde yorumlanabilir. Bununla beraber mevcut bulguların oluşmasına sebep olabilecek istikşafi analizlerin gelecek araştırmalarda yapılması milli bir izleme-değerlendirme sisteminin kurulmasında katkı sağlayacaktır. Son olarak ABİDE projesinin PISA (Program for International Student Assessment) gibi açık veri politikası izlemesi ve daha geniş veri paylaşımında bulunması projenin güvenilirliğini de artıracak ve daha derinlikli veri elde edilmesine imkân sağlayacaktır.

Anahtar Kelimeler

• PISA,
• ABİDE,
• diferansiyel madde fonksiyonu,
• madde yanlılığı.

Where are we in the reading items of the ABIDE project developed in the light of PISA? A validity study

Öz

In this research, we used and analyzed the data obtained from Ministry of Education General Directorate of Assessment and Examination Services. Analyzed data consists of ABİDE 2016 Turkish-A booklet, and the data was collected from 6000 participants. We aimed to find out whether the subgroups to which the ABİDE reading test items are applied contain DIF among the gender subgroups. We chose logistic regression analyzes because of their suitability to parametric data sets. Ordinal logistic regression analysis was determined as the main analysis method because the responses given to the items contain an ordinal structure. As a result of the DMF analysis, we did not determine any differential item functioning. The results obtained indicate that ABIDE substances do not have medium and high degree differential item function for subgroups. The findings can be interpreted as the relevant items are valid for analyzed subgroups. However, conducting exploratory analyzes that may lead to the formation of existing findings in future research will contribute to the establishment of a national monitoring-evaluation system. Finally, the fact that the ABIDE project follows an open data policy such as PISA and shares broad data, will increase the reliability of the project and allow more in-depth data to be obtained.

Anahtar Kelimeler

• PISA
• ABİDE
• differential item functioning,
• item bias.

Kaynakça

1. Anderson, L. W., & Bloom, B. S. (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom's taxonomy of educational objectives. Longman.
2. Arslan, A. (2013). Okuma becerisi ile ilgili makalelerde cinsiyet değişkeni. Uluslararası Türkçe Edebiyat Kültür Eğitim (TEKE) Dergisi, 2(2), 251-265.
3. Batur, Z., & Alevli, O. (2014). Okuma becerileri dersinin PISA okuduğunu anlama yeterlilikleri açısından incelenmesi. Okuma Yazma Eğitimi Araştırmaları, 2(1), 22-30.
4. Bloom, B. S., Engelhart, M. D., Furst, E. J., Hili, W. H., & Krathwohl, D. R. (1956). Taxonomy of educational objectives: Handbook I: Cognitive domain. David McKay.
5. Chen, M. Y., & Zumbo, B. D. (2017). Ecological framework of item responding as validity evidence: An application of multilevel DIF modeling using PISA data. B. D. Zumbo, ve A. Hubley, (Ed.). Understanding and investigating response processes in validation research içinde (s. 53-68). Cham, Springer.
6. Creswell, J. W., & Creswell, J. D. (2017). Research design: Qualitative, quantitative, and mixed methods approaches. Sage Publications.
7. Çalık, G. (2020). Investıgatıon of 8th grade students’ science achievement in Turkey: Results from monitoring and evaluating academic skills study (ABİDE) 2016 (Tez no: 608197) [Doktora tezi, Orta Doğu Teknik Üniversitesi]. YÖK Tez Merkezi.
8. Ekinci, O., & Bal, A. P. (2019). 2018 Yılı Liseye Geçiş Sınavı (LGS) Matematik Sorularının Öğrenme Alanları ve Yenilenmiş Bloom Taksonomisi Bağlamında Değerlendirilmesi. Anemon Muş Alparslan Üniversitesi Sosyal Bilimler Dergisi, 7(3), 9-18.

9. Ferreira, F. H., & Gignoux, J. (2010). Eğitimde fırsat eşitsizliği: Türkiye örneği. TC Cumhuriyeti DPT ve Dünya Bankası Refah ve Sosyal Politika Analitik Çalışma Programı. Çalışma Raporu, 4.
10. Fraenkel, J. R., Wallen, N. E., & Hyun, H. H. (2011). How to design and evaluate research in education (7. bs.). McGraw-Hill.
11. Güzle Kayır, Ç. (2012). PISA 2009-türkiye verilerine dayanarak okuma becerileri alanında başarılı okullar ile başarısız okulları ayırt eden okul içi etmenler ve sosyo-ekonomik faktörler (Tez no: 325161) [Yüksek Lisans Tezi, Akdeniz Üniversitesi]. YÖK Tez Merkezi.
12. Jodoin, M. G., & Gierl, M. J. (2001). Evaluating type I error and power rates using an effect size measure with the logistic regression procedure for DIF detection. Applied measurement in education, 14(4), 329-349.
13. Le, L. T. (2009). Investigating gender differential item functioning across countries and test languages for PISA science items. International Journal of Testing, 9(2), 122-133.
14. Milli Eğitim Bakanlığı. (2020, Ocak 15). Akademik Becerilerin İzlenmesi ve Değerlendirilmesi içinde. http://abide.meb.gov.tr/index.asp OECD. (2020). Programme for International Student Assesment içinde. http://www.oecd.org/pisa/data/
15. Milli Eğitim Bakanlığı. (2016). Akademik becerilerin izlenmesi ve değerlendirilmesi (8. Sınıflar raporu). Ölçme, Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğü.
16. Milli Eğitim Bakanlığı. (2016). Milli Eğitim İstatistikleri Örgün Eğitim 2015/’16. T.C. Milli Eğitim Bakanlığı Strateji Geliştirme Başkanlığı.
17. OECD (2009). PISA Data Analysis Manual: SPSS (2. bs.). OECD Yayınları. https://doi.org/10.1787/9789264056275-en.
18. Özbek, Ö. (2014). Diferansiyel Madde Fonksiyonuna Genel Bir Bakış. Sakarya Üniversitesi Eğitim Fakültesi Dergisi, (9), 86-96.
19. Prastiwi, M. S. (2017). Cognitive Process Analysis of PISA, TIMSS, and UN Science Items Based on Revised Bloom Taxonomy. Advanced Science Letters, 23(12), 12068-12072.
20. Sarier, Y. (2010). Ortaöğretime Giriş Sınavları (OKS-SBS) ve PISA Sonuçları Işığında Eğitimde Fırsat Eşitliğinin Değerlendirilmesi. Journal of Kirsehir Education Faculty, 11(3), 107-129.
21. Suna, H. E., Tanberkan, H., Taş, U. E., Eroğlu, E., & Altun, Ü. (2019). PISA 2018 Türkiye ön raporu. Milli Eğitim Bakanlığı.
22. Swaminathan, H., & Rogers, H. J. (1990). Detecting differential item functioning using logistic regression procedures. Journal of Educational measurement, 27(4), 361-370.
23. Şentürk, T. (2019). TIMSS’de değişen madde fonksiyonu gösteren maddelerin madde özellikleri açısından incelenmesi (Tez no: 583596) [Yüksek lisans tezi, Hacettepe Üniversitesi]. YÖK Tez Merkezi.
24. Yıldırım, A., & Şimşek, H. (2016). Sosyal Bilimlerde Nitel Araştırma Yöntemleri (10. bs.). Seçkin.
25. Yurdugül, H., & Aşkar, P. (2004). Ortaöğretim kurumları öğrenci seçme ve yerleştirme sınavı'nın, öğrencilerin yerleşim yerlerine göre, diferansiyel madde fonksiyonu açısından incelenmesi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 27(27).
26. Zumbo, B. D. (1999). A handbook on the theory and methods of differential item functioning (DIF). Ottawa: National Defense Headquarters, 1-57.
27. Zumbo, B. D. (2007). Three generations of DIF analyses: Considering where it has been, where it is now, and where it is going. Language assessment quarterly, 4(2), 223-233. doi: 10.1080/15434300701375832
28. Zumbo, B. D., Liu, Y., Wu, A. D., Shear, B. R., Olvera Astivia, O. L., & Ark, T. K. (2015). A methodology for Zumbo’s third generation DIF analyses and the ecology of item responding. Language assessment quarterly, 12(1), 136-151. doi: 10.1080/15434303.2014.972559