Investigating Different Theory-Based Differential Item Functioning Methods Under Different Scoring Situations

Year 2017, , 223 - 239, 01.07.2017

Hüseyin Selvi , Devrim Alıcı

https://doi.org/10.21449/ijate.334584

Abstract

This study intended to investigate the operations of various theory-based Differential Item Functioning (DIF) methods under different scoring situations. In this context, data obtained from conducting a Verbal Reasoning Skills Test (scored both in dichotomous and weighted scores) on 1593 individuals was examined via Mantel-Haenszel/Mantel, Standardization and Likelihood Ratio Test techniques and items that point to DIF and numbers of items with DIF for each technique and scoring situation were identified. Results show that Classical Test Theory (CTT) based DIF methods generally provided results that were consistent in themselves and that these results were not significantly different from each other. Agreement between techniques based on Item Response Theory (IRT) and Classical Test Theory (CTT) was found to be low under different scoring situations and results were significantly different from each other.

Keywords

Item Scoring, Differential Item Functioning, DIF, Item Bias, Bias, Mantel-Haenszel, Likelihood Ratio Test

Investigating Different Theory-Based Differential Item Functioning Methods Under Different Scoring Situations

Abstract

This study intended to investigate the
operations of various theory-based Differential Item Functioning (DIF) methods
under different scoring situations. In this context, data obtained from
conducting a Verbal Reasoning Skills Test (scored both in dichotomous and
weighted scores) on 1593 individuals was examined via Mantel-Haenszel/Mantel,
Standardization and Likelihood Ratio Test techniques and items that point to
DIF and numbers of items with DIF for each technique and scoring situation were
identified. Results show that Classical Test Theory (CTT) based DIF methods
generally provided results that were consistent in themselves and that these
results were not significantly different from each other. Agreement between
techniques based on Item Response Theory (IRT) and Classical Test Theory (CTT)
was found to be low under different scoring situations and results were
significantly different from each other.

Keywords

Item Scoring, Differential Item Functioning, DIF, Item Bias, Bias, Mantel-Haenszel, Likelihood Ratio Test

References

• Abedlazeez, N. (2010). Exploring DIF: comparison of CTT and IRT methods. International Journal of Sustainable Development, 1(7), 11-46.
• Acar, T. (2008). Maddenin Farklı Fonksiyonlaşmasını belirlemede kullanılan Genelleştirilmiş Aşamalı Doğrusal Modelleme, Lojistik Regresyon ve Olabilirlik Oranı tekniklerinin karşılaştırılması. Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü Eğitim Bilimleri Anabilim Dalı. Yayımlanmamış Doktora Tezi.
• Atalay, K., Gök, B., Kelecioğlu, H., Arslan, N. (2012). Değişen Madde Fonksiyonunun belirlenmesinde kullanılan farklı yöntemlerin karşılaştırılması: bir simülasyon çalışması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi. 43: 270-281.
• Aiken, L. R. (2000). Psychological testing and assessment.Allyn and Bacon.
• Anastasi, A., Urbina, S. (1997). Psychological testing. Prentice Hall.
• Angoff, W.H. (1993). Perspectives on differential item functioning methodology. Holland, P.W. and Wainer, H. (Ed.), Differential Item Functioning. Lawrence Erlbaum Associates, Publishers, New Jersey.
• Ateşok Deveci, N. (2008). Üniversitelerarası Kurul Yabancı Dil Sınavı’‘nın Madde Yanlılığı bakımından incelenmesi. Ankara Üniversitesi Eğitim Bilimleri Enstitüsü Eğitimde Psikolojik Hizmetler Anabilim Dalı. Yayınlanmamış Doktora Tezi.
• Ayan, C. (2011). PISA 2009 fen okuryazarlığı alt testinin değişen madde fonksiyonu açısından incelenmesi. Hacettepe Üniversitesi Sosyal Bilimler Ensitüsü Eğitim Bilimleri Anabilim Dalı Eğitimde Ölçme ve Değerlendirme Bilim Dalı. Yüksek Lisans Tezi.
• Bock, R.D. (1997). The Nominal Categories Model. In W. J. van der Linden, and R. K. Hambleton (Eds.), Handbook of Modern Item Response Theory (p.33-49). New York Inc.: Springer-Verlag.
• Camilli, G., Shepard, L.A. (1994). Methods for identifying biased test items. Sage Publication, London.
• Crocker, L., Algina, J. (1986). Introduction to classical and modern test theory. USA: Rinehart and Winston Inc.
• Çepni, Z. (2011). Değişen Madde Fonksiyonlarının SIBTEST, Mantel Haenzsel, Lojistik Regresyon ve Madde Tepki Kuramı Yöntemleriyle İncelenmesi. Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü Eğitim Bilimleri Anabilim Dalı. Yayımlanmamış Doktora Tezi.
• Drasgow, F., Levine, M.V., Tsien, S., Williams, B., Mead, A.D. (1995). Fitting Polytomous Item Response Thoery Models to Multiple-Choice Tests. Applied Psychological Measurement, 19 (2), 143-165.
• Dişçi, R. (2012). Temel ve Klinik Biyoistatistik. İstanbul Tıp Kitapevi.
• Doğan, N., Öğretmen, T. (2008). Değişen Madde Fonksiyonunu belirlemede Mantel–Haenszel, Ki-Kare ve Lojistik Regresyon tekniklerinin karşılaştırılması. Eğitim ve Bilim, 33(148).
• Dorans, N.J., Holland, P.W. (1993). DIF Detection and Description: Mantel-Haenszel and Standardization. Holland, P.W. & Wainer (Ed.), Differential Item Functioning. Lawrence Erlbaum Associates, Publishers, New Jersey.
• Embretson, S.E., Reise, S.P. (2000). Item Response Theory for Psychologists. Lawrence Erlbaum Associates, Publishers, London.
• Erkuş, A. (2006). Sınıf Öğretmenleri İçin Ölçme ve Değerlendirme: Kavramlar ve Uygulamalar, Ekinoks, Ankara.
• Gelin, M.N., Zumbo, B.D. (2003). Differential item functioning results may change depending on how an item is scored: an illustration with the center for epidemiologic studies depression scale. Educational and Psychological Measurement, 63:65, DOI: 10.1177/0013164402239317.
• Gierl, M.J., Jodoin, M.G., Ackerman, T.A. (2000). Performance of Mantel-Haenszel, Simultaneous Item Bias Test, and Logistic Regression When the Proportion of DIF Items is Large. Annual Meeting of the American Educational Research Association (AERA).
• Gonzales, A., Padilla, J.L., Dolores, H., Gomez-Benito, J., Benitez, I. (2010). EASY-DIF: Software for analyzing Differential Item Functioning using the Mantel-Haenszel and Standardization procedures. Applied Psychological Measurement. doi:10.1177/0146621610381489.
• Gök, B., Kelecioğlu, H., Doğan, N. (2010). Değişen Madde Fonksiyonunu belirlemede Mantel–Haenszel ve Lojistik Regresyon tekniklerinin karşılaştırılması. Eğitim ve Bilim, 35(156).
• Gözen Çıtak, G. (2007). Klasik Test Ve Madde-Tepki Kuramlarına Göre Çoktan Seçmeli Testlerde Farklı Puanlama Yöntemlerinin Karşılaştırılması. Ankara Üniversitesi Eğitim Bilimleri Enstitüsü Eğitimde Psikolojik Hizmetler Anabilim Dalı. Yayınlanmamış Doktora Tezi.
• Hambleton, R.K. and Swaminathan, H. (1989). Item Response Theory: Principles and Applications. Kluwer-Nijhoff Publishing, Boston.
• Kalaycıoğlu, D.B. (2008). Öğrenci Seçme Sınavı’‘nın Madde Yanlılığı açısından incelenmesi. Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü Eğitim Bilimleri Anabilim Dalı. Yayımlanmamış Doktora Tezi.
• Kan, A. (2007). Test Yansızlığı: H.Ü. yabancı dil muafiyet sınavının cinsiyete ve bölümlere göre dmf analizi. Eurasian Journal of Educational Research, 29, 45-58.
• Kan, A., Sünbül, Ö., Ömür, S. (2013). 6.- 8. sınıf seviye belirleme sınavları alt testlerinin çeşitli yöntemlere göre değişen madde fonksiyonlarının incelenmesi. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 9(2), 207-222.
• Korkmaz, M. (2005). Madde Cevap Kuramına Dayalı Olarak Çok Kategorili Maddelerde Madde ve Test Yanlılığının (İşlevsel Farklılığın) İncelenmesi. Ege Üniversitesi. Yayınlanmamış Doktora Tezi.
• Kim, S.-H., Cohen, A. S. (1991). A comparison of two area measures for detecting differential item functioning. Applied Psychological Measurement, 15, 269-278.
• Kurnaz, F.B. (2006). Peabody Resim Kelime Testinin Madde Yanlılığı açısından incelenmesi. Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü Eğitim Bilimleri Anabilim Dalı. Yayınlanmamış Yüksek Lisans Tezi.
• Lord, F. M. (1980). Aplications of item response theory to practical testing problems. Hillsdale, New Jersey: Lawrence Erlbaum Associates.
• Magnusson, D. (1967). Test Theory. Massachusetts. Addison-Wesley.
• Murphy, K.R., Davidshofer, C.O. (2005). Psychological Testing: principles and applications. Pearson/Prentice Hall.
• Narayanan, P., Swaminathan, H. (1994). Performance of the Mantel-Haenszel and Simultaneous Item Bias procedures for detecting Differential Item Functioning, Applied Psychological Measurement, 18(4).
• Padilla, J.L., Hidalgo, J.L., Benitez, I., Gomez-Benito, J. (2012). Comparison of three software programs for evaluating DIF by means of the Mantel-Haenszel procedure; EASY DIF, DIFAS and EZDIF, Psicologica, 33,135-156.
• Osterlind, S.J. (1983). Test Item Bias. Sage Publication, London.
• Ostini, R. Nering, M.L. (2006). Polytomous Item Response Theory Models. Sage Publications, Thousand Oaks, California.
• Öğretmen, T. (1995). Differential Item Functioning analysis of the verbal ablity section of the first stage of the University Entrance Examination in Turkey. Ortadoğu Teknik Üniversitesi Sosyal Bilimler Enstitüsü. Yüksek Lisans Tezi.
• Öğretmen, T. (2006). Uluslararası okuma becerilerinde gelişim projesi (PIRLS) 2001 testinin psikometrik özelliklerinin incelenmesi: Türkiye-Amerika Birleşik Devletleri örneği. Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü Eğitim Bilimleri Anabilim Dalı. Doktora Tezi.
• Öğretmen, T. (2009). Değişen Madde ve Test Fonksiyonunun belirlenmesinde Madde Tepki Kuramı’na dayalı parametrik yöntemlerin karşılaştırılması. Eğitim ve Bilim, 34(152), 113-125.
• Santelices, M.V., Wilson, M. (2012). On the relationship between differential item functioning and item difficulty: an issue of methods? Item response theory approach to differential item functioning. Educational and Psychological Measurement 72(1) 5–36.
• Selvi, H. (2013). Klasik test ve madde tepki kuramlarına dayalı değişen madde fonksiyonu belirleme tekniklerinin farklı puanlama durumlarında incelenmesi. Mersin Üniversitesi Eğitim Bilimleri Enstitüsü Eğitim Bilimleri Anabilim Dalı. Yayınlanmamış Doktora Tezi, Mersin.
• Selvi, H., Alici, D. (2016). Investigating Differential Item Functioning Methods under Different Missing Value Reduction Methods Situations. 5. Ulusal Eğitimde ve Psikolojide Ölçme ve Değerlendirme Kongresi, Antalya
• Spray, J.,, Miller, T. (1994). Identifying nonuniform DIF in polytomously scored test items. American College Testing Research Report Series 94-1. Iowa City, IA: American College Testing Program.
• Thorndike, R.L. (1982). Aplied Psychometrics. Houghton Mifflin Company, Boston.
• Thissen, D.M. (1991). Multilog User’s Guide- Multiple, Categorical Item Analysis and Test Scoring Using Item Response Theory. Chicago: Scientific Software, Inc.
• Thissen, D. (2001). IRTLRDIF (v.2.0b Sürümü) [Computer Software]. Chapel Hill: L. L. Thurstone Psychometric Labaratory, University of North Carolina at Chapel Hill.
• Ward, W.C., Bennett, R.E. (2012). Construction Versus Choice in Cognitive Measurement: Issues in Constructed Response, Performance Testing, and Portfolio Assessment.Routledge,Taylor ve Francis Group, London and New York.
• Wetzel, E., Böhnke, J.R., Carstensen, C.H., Zeigler, M., Ostendorf, F. (2013). Do individual response styles matter? Assessing differential item functioning for men and women in the NEO-PI-R. Journal of Individual Differences, 34(2), 69-81. doi: 10.1027/1614-0001/a000102.
• Yenal, E. (1995). Differantial Item Functioning analysis of the quantitative ability section of the first stage of the University Entrance Examination in Turkey. Ortadoğu Teknik Üniversitesi Sosyal Bilimler Enstitüsü. Yayınlanmamış Yüksek Lisans Tezi.
• Yurdugül, H. (2003). Ortaöğretim Kurumları Seçme ve Yerleştirme Sınavı’‘nın madde yanlılığı açısından incelenmesi. Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü Eğitim Bilimleri Anabilim Dalı. Yayınlanmamış Doktora Tezi.
• Yurdugül, H. (2010). Farklı madde puanlama yöntemlerinin ve farklı test puanlama yöntemlerinin karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1, 1-8.
• Zumbo, B. D. (1999). A Handbook on the Theory and Methods of Differential Item Functioning (DIF): Logistic Regression Modeling as a Unitary Framework for Binary and Likert-type (Ordinal) Item Scores.Ottawa ON: Directorate of Human Resources Research and Evaluation, Department of National Defense.
• Zwick, R. (2012). A Review of ETS Differential Item Functioning Assessment Procedures: Flagging Rules, Minimum Sample Size Requirements, and Criterion Refinement. Research Report. Educational Testing Service.