Analysis of Differential Item Functioning of PISA 2015 Mathematics Subtest Subject to Gender and Statistical Regions

Abstract

It is accepted that the presence of Differential Item Functioning (DIF) in large scale examinations may be an indication of bias. The aim of the present study was to analyze whether dichotomous (1-0) items in the PISA 2015 mathematics subtest exhibit DIF with regard to gender and statistical regions. The study was carried out using the data of 2409 students who took part in PISA 2015 and answered all mathematics questions. Rasch model was used via Winsteps software to determine whether the items exhibit DIF or not. Confirmatory Factor Analysis (CFA) was applied to the sixty-three mathematics questions in the clusters. The modification indices and goodness of fit values were examined for CFA and a total of eight items that disrupt the model structure were excluded from the test. DIF analyses were carried out for the 55 items that were observed to be one-dimensional. The analysis results based on gender indicated that five items exhibit DIF. Two of these items exhibit DIF in favor of girls, while three in favor of men. Statistically significant DIF findings were observed in all items when the analyses results based on statistical regional units were analyzed. While at least 10 DIF cases were observed as a result of the binary territory comparison on an item basis, maximum 38 DIF cases were observed. Minimum DIF was observed in item Q4 as a result of regional comparisons, whereas maximum DIF was observed in items Q47 and Q50.

Keywords

• Differential item functioning
• Rasch model
• bias
• statistical regions
• PISA

References

1. Acar, T. (2011). Sample size in differential item functioning: An application of hierarchical linear modeling. Kuram ve Uygulamada Eğitim Bilimleri, 11(1), 284-288.
2. Akalın, Ş. (2014). Kamu Personeli Seçme Sınavı genel yetenek testinin madde yanlılığı açısından incelenmesi. (Doktora Tezi, Ankara Üniversitesi, Ankara). Retrieved from https://tez.yok.gov.tr/UlusalTezMerkezi/tezSorguSonucYeni.jsp
3. Akour, M., AL-Baddareen, G., H., A., & AL Duwairi, A. (2015). Exploring the jordanian gender gap in a large-scale assessment in mathematics. Jordan Journal of Educational Sciences, 11(1), 101-111.
4. Ardıç, E. Ö., & Gelbal, S. (2017). Cross‐group equivalence of interest and motivation items in PISA 2012 Turkey Sample. Eurasian Journal of Educational Research, 68(2017), 221-238. doi: 10.14689/ejer.2017.68.12
5. Ariffin, S. R., Idrıs, R., & Ishak, N. M. (2010). Differential item functioning in Malaysian generic skills instrument (MyGSI). Journal Pendidikan Malaysia, 35(1), 1-10.
6. Arikan, S., Van de Vijver, F. R., & Yagmur, K. (2018). Propensity score matching helps to understand sources of DIF and mathematics performance differences of Indonesian, Turkish, Australian, and Dutch students in PISA. International Journal of Research in Education an Science, 4(1), 69-82. doi: 10.21890/ijres.382936
7. Atalay Kabasakal, K., ve Kıbrıslıoğlu Uysal, N. (2017). Öğrenci özelliklerinin cinsiyete dayalı değişen madde fonksiyonuna etkisi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 4(8), 373-390. doi: 10.21031/epod.333451
8. Ateşok Deveci, N. (2008). Üniversitelerarası kurul yabancı dil sınavının madde yanlılığı bakımından incelenmesi. (Doktora Tezi, Ankara Üniversitesi, Ankara). Retrieved from https://tez.yok.gov.tr/UlusalTezMerkezi/tezSorguSonucYeni.jsp

9. Bakan Kalaycıoğlu, D. (2008). Öğrenci Seçme Sınavı'nın madde yanlılığı açısından incelenmesi. (Doktora Tezi, Hacettepe Üniversitesi, Ankara). Retrieved from https://tez.yok.gov.tr/UlusalTezMerkezi/tezSorguSonucYeni.jsp
10. Bakan Kalaycıoğlu, D., ve Kelecioğlu, H. (2011). Öğrenci Seçme Sınavının madde yanlılığı açısından incelenmesi. Eğitim ve Bilim, 36(161), 3-13.
11. Baykul, Y. (2000). Eğitimde ve psikolojide ölçme: Klasik Test Teorisi ve uygulanması. Ankara: ÖSYM Yayınları.
12. Bekci, B. (2007). Ortaöğretim Kurumları Öğrenci Seçme Sınavının değişen madde fonksiyonlarının cinsiyete ve okul türüne göre incelenmesi. (Yüksek lisans Tezi, Hacettepe Üniversitesi, Ankara). Retrieved from https://tez.yok.gov.tr/UlusalTezMerkezi/tezSorguSonucYeni.jsp
13. Berberoğlu, G. (1995). Differential item functioning analysis of computation, word problem and geometry questions across gender and SES groups. Studies in Educational Evaluation, 21(4), 439-456. doi: 10.1016/0191-491X(95)00025-P
14. Birjandi, P., & Amini, M. (2007). Differential item functioning (Test Bias) analysis paradigm across manifest and latent examinee groups (On the construct validity of IELTS). Human Sciences, 55 (Special Issue On Linguistics),153-172.
15. Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö., Karadeniz, Ş., ve Demirel, F. (2013). Bilimsel araştırma yöntemleri. (15. Baskı). Ankara: Pegem Akademi.
16. Camili, G., & Shepard, L. A. (1994). Methods for identifying biased test items. London: Sage Publications.
17. Çıkrıkçı Demirtaşlı, N., ve Uluştaş, S. (2015). A study on detecting of differential ıtem functioning of PISA 2006 science literacy ıtems in Turkish and American samples. Eurasian Journal of Educational Research, 58, 41-60 doi: 10.14689/ejer.2015.58.3
18. Demir, S., ve Köse, İ. A. (2014). Mantel-Haenszel, SIBTEST ve Logistik Regresyon yöntemleri ile değişen madde fonksiyonu analizi. International Journal of Human Sciences, 11(1), 700-714. doi: 10.14687/ijhs.v11i1.2798
19. Doolittle, A. E., & Cleary, T. A. (1987). Gender-based differantial item performance in mathematics achievement items. Journal of Educational Measurement, 24(2), 157- 166.
20. Ercikan, K., & Kim, K. (2009). Examining the construct comparability of the English and French versions of TIMSS. International Journal of Testing, 5(1), 23-35. doi: 10.1207/s15327574ijt0501_3
21. Özer Özkan, Y., & Fincan, F. B. (2017). An Investigation of Item Bias in Free Boarding and Scholarship Examination in Turkey. International Test Commission (ITC) 2016 Conference. Canada
22. Gamer, M., & Engelhard Jr, G. (1999). Gender differences in performance on multiple-choice and constructed response mathematics items. Applied Measurement in Education, 12(1), 29-51.
23. Gierl, M. J. (2000). Construct equivalence on translated achievement tests. Canadian Journal of Education, 25(4), 280-296.
24. Gök, B., Atalay Kabasakal K., ve Kelecioğlu, H. (2014). PISA 2009 öğrenci anketi tutum maddelerinin kültüre göre değişen madde fonksiyonu açısından incelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(1), 72-87. DOI: 10.21031/epod.64124
25. Hanna, G. (1986). Sex differences in the mathematics achievement of 8th graders in Ontario. Journal for Research in Mathematics Education, 17, 231-237.
26. Harris, A.M., & Carlton, S.T. (1993). Patterns of Gender Differences on Mathematics Items on the Scholastic Aptitude Test. Applied Measıırement In Education, 6(2),137-151.
27. Kıbrıslıoğlu Uysal, N., ve Atalay Kabasakal, K. (2017). Öğrenci özelliklerinin cinsiyete dayalı değişen madde fonksiyonuna etkisi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 8(4), 373-390.
28. Kan, A., Sünbül, Ö., ve Ömür, S., (2013). 6.-8. Sınıf seviye belirleme sınavları alt testlerinin çeşitli yöntemlere göre değişen madde fonksiyonlarının incelenmesi. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 9(2), 207-222.
29. Karakaya, İ. (2012). Seviye belirleme sınavındaki fen ve teknoloji ile matematik alt testlerinin madde yanlılığı açısından incelenmesi. Kuram ve Uygulamada Eğitim Bilimleri, 12(1), 215-229.
30. Karakaya, İ., ve Kutlu, Ö. (2012). Seviye belirleme sınavındaki Türkçe alt testlerinin madde yanlılığının incelenmesi, Eğitim ve Bilim, 37(165), 348-362.
31. Kurnaz, F. B. (2006). Peabody resim kelime testinin madde yanlılığı açısından incelenmesi. (Yüksek Lisans Tezi, Hacettepe Üniversitesi, Ankara). Retrieved from https://tez.yok.gov.tr/UlusalTezMerkezi/tezSorguSonucYeni.jsp
32. Latifi, S., Bulut, O., Gierl, M., Christie, T., & Jeeva, S. (2016). Differential Performance on National Exams: Evaluating item and bundle functioning methods using English, Mathematics, and Science Assessments. SAGE Open, 1-14.
33. Le, L. (2009). Investigating gender differential item functioning across countries and test languages for PISA science items. International Journal of Testing, 9(2), 122-133. DOI: 10.1080/15305050902880769
34. Lyons-Thomas, J., Sandılands, D., & Ercikan, K. (2014). Gender differential item functioning in mathematics in four international jurisdictions. Education and Science Large- Scale Assessment Special Issue, 39(172), 20-32.
35. MoNE, (2010). PISA 2009 Uluslararası Öğrenci Değerlendirme Programı Ulusal Ön Raporu, Ankara: MEB Eğitimi Araştırma ve Geliştirme Dairesi Başkanlığı.
36. MoNE, (2013). PISA 2012 Ulusal ön raporu, Millî Eğitim Bakanlığı, Yenilik ve Eğitim Teknolojileri Genel Müdürlüğü, Ankara.
37. MoNE, (2015). PISA 2015 Uluslararası Öğrenci Değerlendirme Programı Ulusal Raporu, Ankara: MEB Ölçme Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğü.
38. OECD, (2015). OECD PISA Technical Report. OECD: http://www.oecd.org/pisa/data/2015-technical-report/ adresinden alındı. (Erişim Tarihi: 27.06.2018)
39. Osterlind, S. J. (1983). Test item bias. London: Sage Publications.
40. Öğretmen, T. (1995). Differential item functioning (DIF) analysis of the verbal ability section of first stage of the university entrance examination in Turkey. (Doctoral Dissertation, Middle East Tecnic University, Ankara). Retrieved from https://tez.yok.gov.tr/UlusalTezMerkezi/tezSorguSonucYeni.jsp
41. Öğretmen, T., ve Doğan, N. (2004). Öğretmen, T., & Doğan, N. (2004). OKÖSYS matematik alt testine ait maddelerin yanlılık analizi. İnönü Üniversitesi Eğitim Fakültesi Dergisi, 5 (8), 61-76.
42. Özer Özkan, Y. (2012). Öğrenci başarılarının belirlenmesi sınavından (ÖBBS) klasik test kuramı, tek boyutlu ve çok boyutlu madde tepki kuramı modelleri ile kestirilen başarı puanlarının karşılaştırılması. (Doktora Tezi, Ankara Üniversitesi, Ankara). Retrieved from https://tez.yok.gov.tr/UlusalTezMerkezi/tezSorguSonucYeni.jsp
43. Özmen, D.T. (2014). PISA 2009 Okuma testi maddelerinin yanlılığı üzerine bir çalışma. Eğitim Bilimleri ve Uygulama Dergisi, 13(26),147-165.
44. Reise, S. P., Widaman, K. F., & Pugh, R. H. (1993). Confirmatory factor analysis and item response theory: two approaches for exploring measurement invariance”, Psychological Bulletin, 114(3), 552-566.
45. Sachse, K. A., & Haag, N. (2017). Standard errors for national trends in international large-scale assessments in the case of cross-national differential item functioning. Applied Measurement in Education, 2(30), 102-116. DOI: 10.1080/08957347.2017.1283315
46. Satıcı, K., ve Özer Özkan, Y. (2017). Temel eğitimden ortaöğretime geçiş sınavının (2014-Kasım) cinsiyet açısından madde yanlılığının incelenmesi. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 13(1), 254-274. DOI: 10.17860/mersinefd.305954
47. Suna, H.E. (2012). TIMSS 2007 Fen bilimleri testindeki maddelerin dil ve cinsiyet yanlılığı açısından incelenmesi. (Yüksek Lisans Tezi, Ankara Üniversitesi, Ankara). Retrieved from https://tez.yok.gov.tr/UlusalTezMerkezi/tezSorguSonucYeni.jsp
48. Şenferah, S. (2015). 2010 Seviye belirleme sınavı matematik alt testi için değişen madde fonksiyonlarının ve madde yanlılığının incelenmesi.(Doktora Tezi, Gazi Üniversitesi, Ankara). Retrieved from https://tez.yok.gov.tr/UlusalTezMerkezi/tezSorguSonucYeni.jsp
49. Taylor, C. S., & Lee, Y. (2012). Gender DIF in reading and mathematics tests with mixed ıtem formats. Applied Measurement in Education, 25(3), 246-280. DOI: 10.1080/08957347.2012.687650
50. Türkan, A. (2014). 2012- Seviye Belirleme Sınavının Rasch modeline göre cinsiyet değişkeni açısından yanlılığının incelenmesi. (Yüksek Lisans Tezi, Gaziantep Üniversitesi, Gaziantep). Retrieved from https://tez.yok.gov.tr/UlusalTezMerkezi/tezSorguSonucYeni.jsp
51. Ulutaş, S. (2012). PISA 2006 fen okuryazarlığı testindeki maddelerin yanlılık bakımından araştırılması. (Doktora tezi, Ankara Üniversitesi, Ankara). Retrieved from https://tez.yok.gov.tr/UlusalTezMerkezi/tezSorguSonucYeni.jsp
52. Yalçın, S., ve Tavşancıl, E. (2015). TIMSS 2011 Fen uygulamasında cinsiyete göre farklılaşan madde fonksiyonunu açıklayan değişkenler. Eğitim Bilimleri ve Uygulama, 14(27), 1-21.
53. Yurdugül, H., ve Aşkar, P. (2004). Ortaöğretim kurumları öğrenci seçme ve yerleştirme sınavının, öğrencilerin yerleşim yerlerine göre, diferansiyel madde fonksiyonu açısından incelenmesi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 27(2004), 268-275.
54. Van de Vijver, F., & Tanzer, N. K. (2004). Bias and equivalence in cross-cultural Assessment. European Journal of Applied Physiology, 54(2004), 119–135.
55. Zenisky, A. L., Hambleton, R. K., & Robin, F. (2004). DIF detection and interpretation in large-scale science assessments: Informing item writing practices. Educational Assessment, 9(12), 61-78. doi: 10.1207/s15326977ea0901&2_3
56. Zwick, R., & Ercikan, K. (1989). Analysis of differential item functioning in the NAEP. History Assessment Journal of Educational Measurement, 26(1), 55-66.