The Effects of Distractors to Differential Item Functioning in Peabody Picture Vocabulary Test

Abstract

In this study logistic regression and Lord’s Chi Square methods were used to research the items that have DIF. The study utilized Peabody Picture Vocabulary Test (PPVT). The original form of the PPVT includes four options. Three different forms (A, B and C) were formed by removing one of the distractors respectively. The original form of PPVT was implemented in a group of 970 preschool children who were aged between 3 to 6. 757 of them took one of the forms. In each implementation, the order to the implementation of the original form and the form (A, B or C) was changed. The applications were conducted 15 days apart. In the first application, the original form was applied, while one of the devised forms (A, B or C) was used in the following application. In this way, the effect of order of application on responses was investigated. The gender variable constituted the reference and focus group of the study. The Logistic Regression and Lord's Chi-square methods did not give compatible results in DIF analysis. DIF was found in 15 items in the original form according to the logistic regression method and in nine items according to the Lord's Chi-square method. The three-option and four-option applications of the test revealed that DIF was determined in five items in different forms. It was observed that there was no compliance in different applications and analyses in other items with DIF.

Keywords

• Differential item functioning,logistic regression,Lord’s chi square,Peabody picture vocabulary test

Peabody Resim Kelime Testinde Çeldiricilerin Değişen Madde Fonksiyonuna Etkisi

Öz

Bu araştırmada değişen madde fonksiyonunun belirlenmesinde lojistik regresyon ve Lord’un Ki-kare yöntemleri karşılaştırılmıştır. Araştırmada Peabody Resim Kelime Testi (PRKT) kullanılmıştır. PRKT dört seçenekli maddelerden oluşmaktadır. Çeldiricilerin uygulamadaki etkisini görmek amacıyla farklı formlarda farklı bir çeldirici maddeden çıkarılarak üç seçenekli formlar oluşturulmuştur. PRKT 3-6 yaş arasında 970 çocuğa uygulanmış 757 uygulamadan elde edilen yanıtlar çözümlenmiştir. Uygulamalar 15 gün arayla gerçekleştirildi. Bir uygulamada önce original form uygulandı, diğer uygulamada oluşturulan formlardan biri (A, B veya C) uygulandı. Bu yolla yanıtlarda uygulama sırasının etkisi kontrol edildi. Cinsiyet değişkeni araştırmanın referans ve odak grubunu oluşturmuştur. DIF analizinde Lojistik Regreyon ve Lord’un Ki-kare yöntemi uyumlu sonuçlar vermedi. Araştırma bulgularına göre lojistik regresyon yöntemine göre orijinal formda 15, Lord’un Ki-kare yöntemine göre 9 maddede DIF belirlendi. Testin üç seçenekli ve dört seçenekli uygulamalarından elde edilen sonuçlarda farklı formlarda beş maddede uyumlu bir biçimde DIF belirlenmiştir. DIF belirlenen diğer maddelerde ise farklı uygulama ve analizlerde uyum olmadığı gözlenmiştir.

Anahtar Kelimeler

• Değişen madde fonksiyonu,lojistik regresyon,Lord’un ki-karesi,Peabody resim kelime testi

References

1. Adebule, S. O. (2013). A Study of Differential Item Functioning in Ekiti State Unified Mathematics Examination for Senior Secondary Schools. Journal of Education and Practice, 4(17), 43-46.
2. Alordiah, C. O., & Agbajor, H. T. (2014). Bias in test items and implication for national development. Journal of Education and Practice, 5(9), 10-13.
3. Allalouf, A. (2003). Revising translated differential item functioning items as a tool for improving cross-lingual assessment. Applied Measurement in Education, 16(1), 55-73.
4. Clauser, B. E., & Mazor, K. M. (1998). Using statistical procedures to identify differentially functioning test items. Educational Measurement: issues and practice, 17(1), 31-44.
5. Doğan, N., & Öğretmen, T. (2010). Değişen madde fonksiyonunu belirlemede mantel‐haenszel, ki‐kare ve lojistik regresyon tekniklerinin karşılaştırılması. Eğitim ve Bilim, 33(148), 100-112.
6. Dunn, L. M., & Dunn, L. M. (1981). Manual for the Peabody picture vocabulary test - revised. Circle Pines, MN: American Guidance Service.
7. French, B. F., & Maller, S. J. (2007). Iterative purification and effect size use with logistic regression for differential item functioning detection. Educational and Psychological Measurement, 67(3), 373-393.
8. French, B. F., Maller, S. J., & Zumbo, B. (2007). The influence of differential item functioning on multi-sample confirmatory factor analysis. In National Council on Measurement in Education conference, Chicago, IL.

9. Gierl, M., Khaliq, S. N., & Boughton, K. (1999, June). Gender differential item functioning in mathematics and science: Prevalence and policy implications. In Improving Large-Scale Assessment in Education Symposium at the Annual Meeting of the Canadian Society for the Study of Education, Canada. Retrieved February (Vol. 25, p. 2008).
10. Jensen, A. R. (1980). Bias in mental testing. New York: Free Press.
11. Kalaycıoğlu, D. B., & Kelecioğlu, H. (2011). Öğrenci Seçme Sınavı’nın madde yanlılığı açısından incelenmesi. Eğitim ve Bilim, 36(161).
12. Karakaya, İ., & Kutlu, Ö. (2012). Seviye belirleme sınavındaki Türkçe alt testlerinin madde yanlılığının incelenmesi. Eğitim ve Bilim, 37(165).
13. Köse, İ. A. (2015). Pisa 2009 öğrenci anketi alt ölçeklerinde (q32-q33) bulunan maddelerin değişen madde fonksiyonu açısından incelenmesi. Kastamonu Eğitim Dergisi, 23(1), 227-240.
14. Kurnaz, F. B. (2008). Investigation of Peabody Picture Vocabulary Test from the Point of Item Bias, World Applied Sciences Journal, 3(2), 231-239.
15. Lee, H., & Geisinger, K. F. (2016). The Matching Criterion Purification for Differential Item Functioning Analyses in a Large-Scale Assessment. Educational and psychological measurement, 76(1), 141-163.
16. Maller, S. J. (2001). Differential item functioning in the WISC-III: Item parameters for boys and girls in the national standardization sample. Educational and Psychological Measurement, 61(5), 793-817.
17. Narayanon, P., & Swaminathan, H. (1996). Identification of items that show nonuniform DIF. Applied Psychological Measurement, 20(3), 257-274.Osterlind, S. J. (1983). Test item bias (Vol. 30). Sage.
18. Öner, N. (1997). Türkiye’de kullanılan psikolojik testler: bir başvuru kaynağı. Boğaziçi Üniversitesi.
19. Özgüven, İ. E. (1994). Psikolojik Testler. Psikoloji Danışma Rehberlik ve Eğitim Merkezi (PDREM) Yayınları.
20. Petersen, M. A., Groenvold, M., Bjorner, J. B., Aaronson, N., Conroy, T., Cull, A., ... & Sullivan, M. (2003). Use of differential item functioning analysis to assess the equivalence of translations of a questionnaire. Quality of Life Research, 12(4), 373-385.
21. Stump, T. E., Monahan, P., & Mchorney, C. A. (2005). Differential item functioning in the short portable mental status questionnaire. Research on Aging, 27(3), 355-384.Swaminathan, H., & Rogers, H. J. (1990). Detecting differential item functioning using logistic regression procedures. Journal of Educational measurement, 27(4), 361-370.
22. Temiz, G. (2002). Okulöncesi eğitimin çocuğun dil gelişimine olan etkisi (Doctoral dissertation, Selçuk Üniversitesi Sosyal Bilimler Enstitüsü).
23. Tian, F., Pang, X. L., & Boss, M. W. (1994). The effects of sample size and criterion variable on the identification of DIF by the Mantel-Haenszel and logistic regression procedures. In Annual Meeting of the American Educational Research Association, New Orleans, LA.
24. Thomas, D. R., & Zumbo, B. D. (1998). Variable importance in logistic regression based on partitioning an R-squared measure. In annual meeting of the Psychometric Society, Urbana, IL.
25. Tunç, E. B., & Kutlu, Ö. (2018). İki ve çok kategorili puanlanan maddelerde değişen madde fonksiyonlarının karşılaştırılması. Başkent University Journal of Education, 5(1), 40-50.
26. Washington, J. A., & Craig, H. K. (1999). Performances of at-risk, African American preschoolers on the peabody picture vocabulary test-III. Language, Speech, and Hearing Services in Schools, 30(1), 75-82.
27. Washington, J. A., Kamhi, A., Pollock, K., & Harris, J. (1996). Issues in assessing the language abilities of African American children. Communication development and disorders in African American children: Research, assessment, and intervention, 35-54.
28. Yıldırım, A. (2017). PISA 2009 okuma becerileri alanındaki maddelerin tek değişkenli ve çok değişkenli eşleştirme yöntemi ile değişen madde fonksiyonlarının incelenmesi (Yayınlanmamış Doktora Tezi). Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
29. Yıldırım, H., & Büyüköztürk, Ş. (2018). Using the Delphi Technique and Focus-Group Interviews to Determine Item Bias on the Mathematics Section of the Level Determination Exam for 2012. Educational Sciences: Theory & Practice, 18(2), 447-470.
30. Yurdugül, H. (2003). Ortaöğretim kurumları seçme ve yerleştirme sınavının madde yanlılığı açısından incelenmesi. Yayımlanmamış doktora tezi, Hacettepe Üniversitesi.Zumbo, B. D. (1999). A handbook on the theory and methods of differential item functioning (DIF). Ottawa: National Defense Headquarters.