An Analysis of the DIF Sources of ABIDE Mathematics Self-Efficacy Scale by means of a Latent Class Approach

Abstract

This study aims to identify the sources of Differential Item Functioning (DIF) using the Mixture Ordinal Logistic Regression (Mixture OLR) method, a contemporary approach for detecting DIF. To analyze mathematics self-efficacy, data from a scale comprising 9 items were obtained from 5000 8th-grade students as part of the ABIDE-2016 project. The study compared the presence and extent of DIF by gender using two methods and examined the sources of DIF for items displaying DIF with Mixture OLR. The OLR analysis revealed that five items exhibited DIF at level A, but no DIF was observed with Mixture OLR. Furthermore, it was found that the magnitude of DIF (B) for an item showing DIF at level A changed due to Mixture OLR. The results indicate that the homogeneity of the data affects both the number of items displaying DIF and the magnitude of DIF. Three items did not exhibit significant DIF according to both methods. One significant finding in the study highlights the moderating effect of latent class on item 8, where DIF was observed. However, the source of DIF was not related to gender but rather stemmed from different ecological variables. An analysis of latent class characteristics revealed that students with significant DIF effects had lower absenteeism and fewer siblings. Additionally, students in this class had greater access to books at home and participated in more out-of-school mathematics courses. Surprisingly, these students were found to engage less in social activities. Various factors can influence how students respond to test items, potentially leading to DIF. These factors may include cultural background, gender, social environment, school, teacher, family interest/attitude toward the child, and home climate. Therefore, when developing and administering tests, it is crucial to test for data homogeneity and consider the impact of these variables, in addition to gender, to identify any sources of DIF in test items.

Keywords

• Laten Class Analysis
• Mixture Logistic Regression
• Third Generation DIF
• ABIDE
• Self-efficacy

ABİDE Matematik Özyeterlik Ölçeği DMF Kaynaklarının Gizil Sınıf Yaklaşımıyla İncelenmesi

Öz

Bu araştırmanın amacı, Değişen Madde Fonksiyonu (DMF) belirlemede güncel bir yaklaşım olan Karma Ordinal Lojistik Regresyon (Karma OLR) yöntemini kullanarak DMF kaynaklarının belirlenmesidir. Bu amaçla 9 maddeden oluşan matematik özyeterlik ölçeğinden elde edilen veriler kullanılmıştır. Araştırma kapsamında Akademik Becerilerin İzlenmesi ve Değerlendirilmesi (ABİDE-2016) projesi kapsamındaki 5000 8.sınıf öğrencisinden elde edilen veriler kullanılmıştır. Araştırmada cinsiyete göre DMF’nin varlığı ve büyüklüğü iki yöntem sonuçların açsınndan karşılaştırılmış ve DMF gösteren maddelerin DMF kaynakları Karma OLR ile incelenmiştir. OLR kullanılarak yapılan analizlere göre 5 maddenin A düzeyinde DMF gösterdiği sonucuna ulaşılmıştır. Aynı maddeler Karma OLR ile incelendiğinde ise maddelerde DMF görülmemiştir. Bu sonuca ek olarak A düzeyinde DMF gösteren bir maddenin Karma OLR sonucunda DMF büyüklüğünün (B) değiştiği görülmüştür. Elde edilen sonuçlar homojenliğin DMF gösteren madde sayısı ve DMF’nin büyüklüğünü etkilediğini göstermektedir. Üç madde de her iki yönteme göre de DMF anlamlı çıkmamıştır. Araştırmada elde edilen diğer bir önemli sonuç ise gizil sınıfın moderetör etkisinin anlamlı çıktığı bir maddede (madde 8) DMF kaynağının cinsiyetten ziyade farklı ekolojik değişkenlerden kaynaklandığıdır. Gizil sınıf özellikleri incelendiğinde, özellikle DMF etkisinin anlamlı olduğu sınıftaki öğrencilerin devamsızlık durumu ve kardeş sayılarının daha düşük olduğu görülmüştür. Bununla beraber bu sınıfta yer alan öğrencilerin evde var olan kitap sayıları ve matematik için okul harici kurs alma durumlarının yüksek olduğu sonucuna ulaşılmıştır. Dikkat çekici sonuç ise bu öğrencilerin sosyal faaliyetlere daha az katılmalarıdır. Öğrencilerin maddelere verdikleri tepkileri etkileyen bu değişkenler DMF kaynağı olarak yorumlanabilir. Çünkü maddeye verilen tepkiler sadece kültür ya da cinsiyet gibi özelliklerle ilişkili olmayabilir. Bu gibi karakteristik özelliklere ek olarak, madde tipi, sosyal çevre, okul, öğretmen, çocuğa yönelik aile ilgi/tutum durumu ve ev iklimi gibi bir çok değişkenden etkilenebilir. Buradan haraketle özellikle test uygulama ve geliştirme süreçlerinde veri yapısının homejenliği test edilmeli ve DMF’li maddelerin kaynakları incelenirken cinsiyet gibi karakteristik özelliklerle beraber madde tepki örüntüsünü etkileyebilecek değişkenler de dikkate alınmalıdır.

Anahtar Kelimeler

• Gizil Sınıf Analizi
• Karma Lojistik Regresyon
• Üçüncü Nesil DMF
• ABİDE
• Özyeterlik

References

1. Akgün, A., & Aydın, S. (2007). İlköğretim fen ve matematik öğretmenliği öğrencilerinin kaygı düzeylerinin bazı değişkenlere göre incelenmesi. Elektronik Sosyal Bilimler Dergisi, 6(20), 283-299.
2. Arıcıoğulları, Z., (2001). Ortaöğretim Öğrencilerinde Sosyal Fobi ve Benlik Saygısı Arasındaki İlişki ve Bunları Etkileyen Faktörler. (Tıpta Uzmanlık Tezi), Dicle Üniversitesi.
3. Bindak, R. (2005). İlköğretim öğrencileri için matematik kaygı ölçeği. Fırat Üniversitesi Fen ve Mühendislik Bilimleri Dergisi, 17(2), 442-448.
4. Büyüköztürk, Ş., Çakmak, E. K., Akgün, Ö. E., Karadeniz, Ş. ve Demirel, F. (2014). Bilimsel araştırma yöntemleri. Pegem Akademi Yayıncılık.
5. Camilli, G., & Shepard, L. A. (1994). Methods for identifying biased test items. California: Sage.
6. Chen, Y. F., & Jiao, H. (2014). Exploring the utility of background and cognitive variables in explaining latent differential item functioning: An example of the PISA 2009 reading assessment. Educational Assessment, 19(2), 77-96. https://doi.org/10.1080/10627197.2014.903650
7. Cho, S. J., Suh, Y., & Lee, W. Y. (2016). An NCME Instructional Module on Latent DIF Analysis Using Mixture Item Response Models. Educational Measurement: Issues and Practice, 35(1), 48-61. https://doi.org/10.1111/emip.12093
8. Clauser, B. E., & Mazor, K. M. (1998). Using statistical procedures to identify differential item functioning test items. Educational Measurement: Issues and Practice, 17, 31-44.

9. Cronbach, L. J. (1984). Essentials of psychological testing. Harper.
10. Cohen, A. S., & Bolt, D. M. (2005). A mixture model analysis of differential item functioning. Journal of Educational Measurement, 42(2), 133-148. https://doi.org/10.1111/j.1745-3984.2005.0000.
11. DeMars, C. E., & Lau, A. (2011). Differential Item Functioning Detection With Latent Classes: How Accurately Can We Detect Who Is Responding Differentially?. Educational and Psychological Measurement, 71(4), 597-616. https://doi.org/10.1177/001316441140422
12. De Ayala, R. J., Kim, S. H., Stapleton, L. M., & Dayton, C. M. (2002). Differential item functioning: A mixture distribution conceptualization. International Journal of Testing, 2(3), 243-276. https://doi.org/10.1080/15305058.2002.9669495.
13. De Wit, L. M., Fokkema, M., van Straten, A., Lamers, F., Cuijpers, P., & Penninx, B. W. (2010). Depressive and anxiety disorders and the association with obesity, physical, and social activities. Depression and anxiety, 27(11), 1057-1065. https://doi.org/10.1002/da.20738.
14. Erözkan, A. (2007). Üniversite öğrencilerinin reddedilme duyarliklari ıle sosyal kaygi düzeylerinin bazi değişkenlere göre incelenmesi. Selçuk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 1(17), 225-240.
15. Finch, W. H., & Hernández Finch, M. E. (2013). Investigation of specific learning disability and testing accommodations based differential item functioning using a multilevel multidimensional mixture item response theory model. Educational and Psychological Measurement, 73(6), 973-993.
16. Frick, H., Strobl, C., & Zeileis, A. (2015). Rasch mixture models for DIF detection: A comparison of old and new score specifications. Educational and Psychological Measurement, 75(2), 208-234. https://doi.org/10.1177/00131644145361.
17. Gomez-Benito, J., Sireci, S., Padilla, J. L., Hidalgo, M. D., & Benítez, I. (2018). Differential Item Functioning: Beyond validity evidence based on internal structure. Psicothema, 30(1), 104-109.
18. Hu, L. T., & Bentler, P. M. (1999). Cut off criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling, 6(1), 1-55. https://doi.org/10.1080/10705519909540118.
19. Kang, T., & Cohen, A. S. (2003, April). A mixture model analysis of ethnic group DIF. Paper presented at the annual meeting of the National Council on Measurement in Education, Chicago, IL.
20. Kaya, M. & Varol, K. (2004). İlahiyat fakültesi öğrencilerinin durumluk-sürekli kaygı düzeyleri ve kaygı nedenleri (Samsun örneği). Ondokuz Mayıs Üniversitesi İlahiyat Fakültesi Dergisi, 17(17), 31-63.
21. Kayri, M. (2006). Özel yetenek sınavında (Beden Eğitimi) başarının modellenmesi ve risk faktörünün tanımlanması [Yayımlanmamış Doktora Tezi]. Yüzüncü Yıl Üniversitesi.
22. Kelecioğlu, H., & Şahin, S. G. (2014). Geçmişten Günümüze Geçerlik. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(2), 1-11. https://doi.org/10.21031/epod.41706
23. Lee Webb, M. Y., Cohen, A. S., & Schwanenflugel, P. J. (2008). Latent class analysis of differential item functioning on the Peabody Picture Vocabulary Test–III. Educational and Psychological Measurement, 68(2), 335-351. https://doi.org/10.1177/001316440730847
24. MEB (2016a). Uluslararası öğrenci değerlendirme programı PISA 2015 ulusal raporu. https://odsgm.meb.gov.tr/test/analizler/docs/PISA/PISA2015_Ulusal_Rapor.pdf
25. MEB (2016b). TIMSS 2015 Ulusal matematik ve fen bilimleri ön raporu 4. ve 8. Sınıflar. https://docplayer.biz.tr/130870560-Timss-uluslararasi-matematik-ve-fen-egilimleri-arastirmasi-timss-2015-ulusal-matematik-ve-fen-bilimleri-on-raporu-4-ve-8-siniflar.html
26. MEB (2016c). ABİDE 2016-Akademik becerilerin izlenmesi ve değerlendirilmesi raporu. https://odsgm.meb.gov.tr/meb_iys_dosyalar/2017_11/30114819_iY-web-v6.pdf
27. Mislevy, R., Wilson, M., Ercikan, K., & Chudowsky, N. (2002). Psychometric principles in student evaluation. In D. Nevo & D. Stufflebeam (Eds.), International handbook of educational evaluation (pp. 478–520). Dordrecht, The Netherlands: Kluwer.
28. Oliveri, M. E., Ercikan, K., & Zumbo, B. (2013). Analysis of sources of latent class differential item functioning in international assessments. International Journal of Testing, 13(3), 272-293. https://doi.org/10.1080/15305058.2012.738266.
29. Oliveri, M. E., Ercikan, K., Lyons-Thomas, J., & Holtzman, S. (2016). Analyzing fairness among linguistic minority populations using a latent class differential item functioning approach. Applied Measurement in Education, 29(1), 17-29.
30. Öztop, F. (2018). İlkokul öğrenci velilerinin matematik kaygısının çeşitli değişkenlere göre incelenmesi. Yüksek Lisans Tezi [Yayımlanmamış Yüksek Lisans Tezi]. Kırakkale Üniversitesi.
31. Rost, J. (1990). Rasch models in latent classes: An integration of two approaches to item analysis. Applied Psychological Measurement, 14 (3), 271-282. https://doi.org/10.1177/014662169001400
32. Samuelsen, K. M. (2005). Examining differential item functioning from a latent class perspective. http://gradworks.umi.com/31/75/3175148.html.
33. Samuelsen, K. M. (2008). Examining differential item functioning from a latent mixture perspective. In G. R. Hancock & K. M. Samuelsen (Eds.), Advances in latent variable mixture models (pp. 177-197). Charlotte, NC: Information Age.
34. Tabachnick, B. G., & Fidell, L. S. (2001). Using Multivariate Statistics (4th ed.). Needham Heights, MA: Allyn & Bacon.
35. Ümmet, D. (2007). Üniversite Öğrencilerinde Sosyal Kaygının Cinsiyet Rolleri Ve Aile Ortamı Bağlamında İncelenmesi [Yayınlanmamış Doktora Tezi]. Marmara Üniversitesi.
36. Ünal-Karagüven, M. H. (1999). Açık kaygı ölçeğinîn geçerlik ve güvenirliği ile ilgili bîr çalışma. Marmara Üniversitesi Atatürk Eğitim Fakültesi Eğitim Bilimleri Dergisi, 11(11), 203-218.
37. Vermunt, J. K., & Magidson, J. (2005). Latent GOLD 4.0 user's guide. https://www.statisticalinnovations.com/wp-content /uploads/ LGusersguide.
38. Wiberg, M. (2007). Measuring and detecting differential item functioning in criterion-referenced licensing test: A theoretic comparison of methods. Umea University. EM No 60. http://coshima.davidrjfikis.com/EPRS9360/Articles/Wiberg_07.pdf
39. Yalçın, S., & Tavşancıl, E. (2015). TIMSS 2011 Fen uygulamasında cinsiyete göre farklılaşan madde fonksiyonunu açıklayan değişkenler. Journal of Educational Sciences & Practices, 14(27), 1-21.
40. Yalçın, S. (2017). Öğrencilerin Duyuşsal Özelliklerine Göre Oluşan Gizil Sınıfların Cinsiyete Göre Farklılaşan Madde Fonksiyonu’na Etkisi. İlköğretim Online, 16(4), 1917-1931. https://doi.org/10.17051/ilkonline.2017.364505.
41. Zumbo, B. D. (1999). A handbook on the theory and methods of differential item functioning (DIF). Ottawa: National Defense Headquarters. https://s3.amazonaws.com/academia.edu. documents/33861736/ handbook-pdf_dif. pdf
42. Zumbo, B. D., & Gelin, M. N. (2005). A matter of test bias in educational policy research: Bringing the context into picture by investigating sociological/community moderated (or mediated) test and item bias. Journal of Educational Research and Policy Studies, 5(1), 1-23.
43. Zumbo, B. D. (2007). Three generations of differential item functioning (DIF) analyses: Considering where it has been, where it is now, and where it is going. Language Assessment Quarterly, 4(2), 223-233. https://doi.org/10.1080/15434300701375832.
44. Zumbo, B. D., Liu, Y., Wu, A. D., Shear, B. R., Olvera Astivia, O. L., & Ark, T. K. (2015). A methodology for Zumbo’s third generation DIF analyses and the ecology of item responding. Language Assessment Quarterly, 12(1), 136-151. https://doi.org/10.1080/15434303.2014.972559.