Karma Madde Tepki Kuramıyla Farklılaşan Madde Fonksiyonunun Belirlenmesi

Abstract

Problem Durumu: Farklılaşan madde fonksiyonu (FMF), aynı yetenek düzeyinde ya da yetenek düzeyine göre bireyler eşleştirildikten sonra farklı gruplardaki bireylerin bir maddeyi doğru yanıtlama olasılığının farklı olmasıdır. FMF’nin ortaya çıkarılmasında pek çok yöntem [Mantel-Haenszel (MH), Lojistik Regresyon vb.] önerilmektedir. Bu FMF yöntemleri, bir maddenin bilinen veya gözlenen gruplar arasındaki fonksiyonlaşma durumunu kıyaslamaktadır. Gözlenen grupların ise genellikle cinsiyet (kadın ve erkek) ya da etnik gruplar gibi homojen alt grupları temsil ettiği ve FMF’nin kaynağıyla da ilişkili olduğu varsayılmaktadır. Ancak bilinen/gözlenen gruplar, grup homojenliği varsayımını her zaman sağlayamamaktadır. Ayrıca, FMF alanında yapılan son çalışmalar, FMF'nin nedenlerinin genellikle karmaşık olduğunu ve tanımlanmış gruplarla doğrudan ilişkili olmadığını göstermiştir. Bu bağlamda, FMF’nin gizil (bilinmeyen) gruplar arasında incelenmesi gerektiği vurgulanmaktadır.

Araştırmanın Amacı: Bu çalışmanın amacı gizil grup yaklaşımına dayalı Karma Madde Tepki Kuramı (KMTK) modeline ve gözlenen grup yaklaşımına dayalı MH yöntemine göre FMF’nin belirlenmesi, sonuçların karşılaştırılması ve FMF’nin olası nedenlerini belirlemektir.

Araştırmanın Yöntemi: Bu çalışmada, KMTK modeline ve MH yöntemine göre FMF’nin belirlenmesi, sonuçların karşılaştırılması ve FMF’nin olası nedenlerinin belirlenmesi amaçlandığından, yani kuramı geliştirmeye yönelik bilgi üretimine katkıda bulunduğundan temel bir araştırmadır. Bu çalışmada, amaçlı örnekleme yöntemi kullanılmıştır. FMF testinden kullanılan asıl model (KMTK), Madde Tepki Kuramı’na (MTK) dayalı olduğundan MTK modellerine göre geliştirilen Uluslararası Matematik ve Fen Eğilimleri Araştırması (TIMSS) maddelerinin kullanılmasının uygun olduğu

204 Seher YALCIN / Eurasian Journal of Educational Research 74 (2018) 187-206

düşünülmüştür. TIMSS 2015 dördüncü sınıf matematik alt testi maddeleri incelenmiş, sadece ikili (1-0) puanlanan maddelerden oluşan altıncı kitapçık üzerinden analizler gerçekleştirilmiştir. İkili puanlanan maddelerin seçilmesinin nedeni, hem KMTK hem de MH yöntemine uygun olmasıdır. Ayrıca KMTK modelleri, verilerdeki homojen gizil sınıfları belirlediğinden heterojen bir veri seti oluşturmak için üç ülke çalışmaya dâhil edilmiştir. Ülkelerin seçiminde TIMSS 2015 dördüncü sınıf matematik başarı ortalamaları dikkate alınmıştır. TIMSS 2015 dördüncü sınıf matematik uygulamasında, en yüksek başarı puanına (618) sahip olan ülke Singapur iken en düşük başarı puanına (353) sahip olan ülke Kuveyt’tir. Türkiye ise 483 ortalama puanıyla orta düzeyde kalmaktadır. Heterojen bir veri seti yaratmak amacıyla bu üç ülkeden dördüncü sınıf düzeyinde TIMSS matematik uygulamasına katılıp altıncı kitapçığı alan 1166 öğrenci bu araştırmanın çalışma grubunu oluşturmuştur. TIMSS uygulamasında, 14 farklı kitapçık kullanılarak öğrencilerin cevapları alınmaktadır. Verilerin analiz edilmeden önce maddeler arası korelasyonlar ve verilerin tek boyutlu olma durumu incelenmiştir. Dört madde, maddeler arası korelasyonu yüksek olduğu için analizden çıkarılmıştır. Analizler 25 madde üzerinden yapılmıştır. Tek boyutluluk analizi sonucu, model uyum istatistikleri değerlendirildiğinde, maddelerin tek boyutlu bir yapı gösterdiği görülmüştür. Veriler analiz edilirken öncelikle KMTK’na göre veriye uyum sağlayan model belirlenmiştir. Oluşan sınıflarda bilinen ve alan yazında sıkça kullanılan cinsiyet, ülke gibi özelliklerin dağılımı incelenmiştir. Ardından gizil sınıflara göre oluşan gruplarda maddelerin tek boyutlu bir yapı gösterme durumu incelenmiş, beş maddenin aynı yapıyı ölçmediği görülerek analizden çıkarılmıştır. Kalan 20 maddenin KMTK’ya göre gizil sınıflar arasında FMF gösterme durumu tespit edilmiştir. Ayrıca, gözlenen grup yaklaşımlarından sıklıkla kullanılan MH yöntemine göre gizil sınıflar arasında FMF gösteren maddeler belirlenmiştir. KMTK’na dayalı uygun modelin ve FMF’nin belirlenmesinde Mplus 8 paket programı kullanılmıştır (Muthén & Muthén, 2017). FMF’nin MH yöntemine göre belirlenmesinde R yazılım dilinde “difR" paketi kullanılmıştır.

Araştırmanın Bulguları, Sonuçları ve Öneriler: KMTK’na göre iki gizil sınıflı model veriye en iyi uyum sağlamıştır. Belirlenen iki gizil sınıftaki bireyler ayrı ayrı incelendiğinde, her iki sınıfta da tüm ülkelerde cinsiyete göre dikkat çeken bir ayrım söz konusu değildir. Cohen ve Bolt (2005), bir başarı testinde yanlı maddeleri tanımlamak için Karma Rasch modelini kullandığı çalışmada, bu çalışmanın sonuçlarına benzer olarak cinsiyetin gizil sınıflarla zayıf bir ilişki içinde olduğunu tespit etmişlerdir. Bu durum, FMF çalışmalarında gözlenen grup olarak sıklıkla kullanılan cinsiyet değişkeninin tek başına ele alınmaması gerektiğini göstermektedir. Gizil sınıflar, ülkelere göre incelendiğinde, ilk gizil sınıfın büyük çoğunluğu Singapur’dan uygulamaya katılan öğrencilerken ikinci gizil sınıf daha çok Kuveyt ve Türkiye’den katılan öğrencilerden oluşmaktadır. Cohen ve Bolt (2005) da yaptıkları çalışmada, etnik köken ile gizil sınıflar arasında ilişkiler olduğunu görmüşlerdir. Öğrencilerin maddelere verdikleri tepkiler incelendiğinde, Gizil sınıf-1’deki bireyler için maddelerin oldukça kolay, gizil sınıf-2 için de maddelerin orta güçlükte olduğu görülmüştür. Bir diğer deyişle, Sınıf-1’deki bireyler, Sınıf-2’dekilerden daha yüksek başarıya sahiptir. KMTK’na göre FMF incelendiğinde, dört madde öğrencilerin gizil yeteneği kontrol edildikten sonra gizil sınıflar arasında FMF göstermektedir. FMF olarak belirlenen maddeler; konu alanı,

Seher YALCIN / Eurasian Journal of Educational Research 74 (2018) 187-206 205

bilişsel düzey veya madde türü açısından incelenmiş ve bir örüntü olduğu görülmüştür. Cohen ve Bolt (2005) yaptıkları çalışmada, bu çalışmanın bulgularına paralel olarak konu alanları (cebir, geometri vb) ile gizil sınıflar arasında ilişkiler olduğunu tespit etmiştir. MH yöntemine göre yapılan FMF analizi sonucu, 10 madde gizil sınıflar arasında FMF göstermektedir. Bu maddelerden yedisi referans grup olan gizil sınıf-1’in lehinedir. Bu maddelerden ikisi, KMTK’na dayalı çıkan sonuçlar ile tutarlıdır. MH yöntemine göre üç madde ise odak grup olan gizil sınıf-2’nin lehinedir. Maij-de Meij ve diğerleri (2010) çalışmalarında, gözlenen gruba dayalı FMF belirleme yöntemlerinden Lord’un ki-kare istatistiğinden, gizil sınıflar arasında FMF’yi belirlemek için ise Karma Rasch modelini kullanmışlardır. Çalışma sonucunda, gizil sınıflara göre belirlenen FMF’nin daha etkili olduğu, gerçek veriye dayalı sonuçlar ise gizil sınıf ve gözlenen grup yöntemlerinin birbirine yakın sonuç verdiğini göstermiştir. Bu çalışmada ise MH yöntemiyle KMTK sonuçlarının düşük düzeyde tutarlı olduğu ifade edilebilir. Yapılan analiz sonuçları genel olarak değerlendirildiğinde, bilinen gruplara göre FMF tespit edildiğinde o alt gruptaki tüm bireyler için maddenin avantajlı ya da dezavantajlı olduğunu ifade etmek zor olduğundan gizil sınıf yaklaşımının, FMF belirlemede kullanılması önerilmektedir.

Keywords

• farklılaşan madde fonksiyonu (FMF),FMF’nin nedenleri,Karma madde tepki kuramı,Mantel-Haenszel

Determining Differential Item Functioning with the Mixture Item Response Theory

Abstract

Purpose: Studies in the literature have generally demonstrated that the causes of differential item functioning (DIF) are complex and not directly related to defined groups. The purpose of this study is to determine the DIF according to the mixture item response theory (MixIRT) model, based on the latent group approach, as well as the Mantel-Haenszel method, based on the observed group approach, compare the results, and determine the possible causes of the DIF. Research Methods: As this study is contributing to the production of information to develop the theory, it is considered basic research. In accordance with the purposive sampling method, the research sample consisted of 1166 fourth-grade level students from Singapore, Kuwait, and Turkey who participated in the Trends in International Mathematics and Science Study mathematics application and took the sixth booklet. During the data analysis, the model that adapted the data according to MixIRT was determined. Then, the status of the items displaying DIF was determined according to the adaptive model. Findings: According to the MixIRT, the two latent class models fit best to the data. No significant difference by gender was observed in either class or any country. This finding suggests that the gender variable, which is frequently used as the observed group in DIF studies, should not be dealt with alone. Implications for Research and Practice: Since it is difficult to state whether an item is advantageous for a subgroup when DIF is determined in accordance with known groups, it is recommended to employ the latent class approach to determine DIF.

Keywords

• differential item functioning (DIF),causes of DIF,mixture item response theory,Mantel-Haenszel

References

1. Camilli, G., & Shepard, L. A. (1994). MMSS: Methods for identifying biased test items. Thousand Oaks, CA: Sage.
2. Cho, S. J., & Cohen, A. S. (2010). A multilevel mixture IRT model with an application to DIF. Journal of Educational and Behavioral Statistics, 35(3), 336-370. doi: 10.3102/1076998609353111.
3. Choi, Y., Alexeev, N., & Cohen, A. S. (2015). Differential item functioning analysis using a mixture 3-parameter logistic model with a covariate on the TIMSS 2007 mathematics test. International Journal of Testing, 15(3), 239-253. doi: 10.1080/15305058.2015.1007241.
4. Clark, S. L. (2010). Mixture modeling with behavioral data. Unpublished doctoral dissertation. University of California, Los Angeles.
5. Clauser, B. E., & Mazor, K. M. (1998). Using statistical procedures to identify differentially functioning test items. Educational Measurement: Issues and Practice, 17(1), 31-44. doi: 10.1111/j.1745-3992.1998.tb00619.x
6. Cohen, A. S., & Bolt, D. M. (2005). A mixture model analysis of differential item functioning. Journal of Educational Measurement, 42(2), 133–148. doi: 10.1111/j.1745-3984.2005.00007.
7. Cohen, A. S., Gregg, N., & Deng, M. (2005). The role of extended time and item content on a high-stakes mathematics test. Learning Disabilities Research & Practice, 20(4), 225–233. doi: 10.1111/j.1540-5826.2005.00138.x.
8. De Ayala, R. J. (2009). The theory and practice of item response theory. New York, NY: Guilford Press.

9. De Ayala, R. J., Kim, S. H., Stapleton, L. M., & Dayton, C. M. (2002). Differential item functioning: A mixture distribution conceptualization. International Journal of Testing, 2(3&4), 243-276. doi: 10.1080/15305058.2002.9669495.
10. De Ayala, R. J. & Santiago, S. Y. (2017). An introduction to mixture item response theory models. Journal of School Psychology, 60, 25–40. doi: 10.1016/j.jsp.2016.01.002.
11. De Mars, C. E., & Lau, A. (2011). Differential item functioning detection with latent classes: How accurately can we detect who is responding differentially? Educational and Psychological Measurement, 71(4), 597–616. doi: 10.1177/0013164411404221.
12. Dorans, N. J., & Holland, P. W. (1993). DIF detection and description: Mantel haenszel and standardization. In P. W. Holland, and H. Wainer, (Eds.), Differential item functioning (p. 35–66), New Jersey: USA.
13. Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Mahwah, NJ: Lawrence Erlbaum Associates.
14. Finch, W. H. & Finch, M. E. H. (2013). Investigation of specific learning disability and testing accommodations based differential item functioning using a multilevel multidimensional mixture item response theory model. Educational and Psychological Measurement, 73(6) 973–993. doi: 10.1177/0013164413494776.
15. Finch, W. H. & French, B. F. (2012). Parameter estimation with mixture item response theory models: A monte carlo comparison of maximum likelihood and bayesian methods. Journal of Modern Applied Statistical Methods, 11(1), 167-178. doi: 10.22237/jmasm/1335845580.
16. Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles and application. Boston, MA: Kluwer Academic Publishers Group.
17. Holland, P. W., & Thayer, D. T. (1988). Differential item performance and the mantel-haenszel procedure. In H. Wainer, and H. I. Brown (Eds.), Test validity (p. 129-145). Hillsdale, NJ: Lawrence Erlbaum Associates.
18. Holland, P. W., & Wainer, H. (1993). Differential item functioning. Hillsdale, NJ: Erlbaum.
19. Kelderman, H., & Macready, G. B. (1990). The use of loglinear models for assessing differential item functioning across manifest and latent examinee groups. Journal of Educational Measurement, 27(4), 307–327.
20. Li, F., Cohen, A. S., Kim, S., & Cho, S. (2009). Model selection methods for mixture dichotomous IRT models. Applied Psychological Measurement, 33(5), 353–373. doi: 10.1177/0146621608326422.
21. Magis, D., Béland, S., Tuerlinckx, F., & De Boeck, P. (2015). A general framework and an R package for the detection of dichotomous differential item functioning. Behavior Research Methods, 42(3), 847-862. doi:10.3758/BRM.42.3.847.
22. Maij-de Meij, A. M., Kelderman, H. & van der Flier, H. (2010). Improvement in detection of differential item functioning using a mixture item response theory model. Multivariate Behavioral Research, 45(6), 975-999. doi:10.1080/00273171.2010.533047.
23. Mellenbergh, G. J. (1989). Item bias and item response theory. International Journal of Educational Research, 13(2), 127-143. doi: 10.1016/0883-0355(89)90002-5.
24. Mullis, I. V. S., Martin, M. O., Foy, P., & Hooper, M. (2016). TIMSS 2015 international results in mathematics. Retrieved from Boston College, TIMSS & PIRLS International Study Center. Retrieved December 12, 2017, from http://timssandpirls.bc.edu/timss2015/international-results/
25. Muthén, L. K., & Muthén, B. O. (2017). Mplus user’s guide (Eighth Edition). Los Angeles, CA: Muthén & Muthén.
26. Ong, Y. M., Williams, J., & Lamprianou, I. (2013). Exploring differential bundle functioning in mathematics by gender: The effect of hierarchical modelling. International Journal of Research & Method in Education, 36(1), 82-100. doi: 10.1080/1743727X.2012.675263.
27. Osterlind, S. J., & Everson, H. T. (2009). Differential item functioning. Los Angeles: Sage.
28. Samuelsen, K. M. (2008). Examining differential item functioning from a latent mixture perspective. In G. R. Hancock & K. M. Samuelsen (Eds.), Advances in latent variable mixture models (p. 177-197). Charlotte, NC: Information Age.
29. Skrondal, A. & Rabe-Hesketh, S. (2007). Latent variable modelling: A survey. Scandinavian Journal of Statistics, 34(4), 712–745. doi: 10.1111/j.1467-9469.2007.00573.x.
30. Tay, L., Newman, D. A., & Vermunt, J. K. (2011). Using mixed-measurement item response theory with covariates (MM-IRT-C) to ascertain observed and unobserved measurement equivalence. Organizational Research Methods, 14(1), 147-176.
31. Uyar, S., Kelecioglu, H., & Dogan, N. (2017). Comparing differential item functioning based on manifest groups and latent classes. Educational Sciences: Theory & Practice, 17(6), 1977–2000. doi: 10.12738/estp.2017.6.0526.
32. Vermunt, J. K., & Magidson, J. (2002). Latent class cluster analysis. In J. A. Hagenaars, & A. L. McCutcheon, Applied latent class analysis (p. 89-107). New York: Cambridge University Press.
33. von Davier, M., & Rost, J. (2017). Logistic mixture-distribution response models. In W. J. van der Linden (Ed.), Handbook of item response theory, volume one: Models (p. 393-406). Boca Raton: Chapman and Hall/CRC.
34. von Davier, M., & Yamamoto, K. (2004). Partially observed mixtures of IRT models: An extension of the generalized partial credit model. Applied Psychological Measurement, 28(6), 389-406.
35. Yalcin, S. (2017). The effect of latent classes formed according to the affective characteristics of students on differential item functioning based on sex. Elementary Education Online, 16(4), 1917-1931. doi: 10.17051/ilkonline.2017.364505.
36. Yuksel, S. (2012). Olceklerde saptanan madde islev farklılıgının karma rasch modelleri ile incelenmesi (Analyzing differential item functioning by mixed rasch models which stated in scales). Yayımlanmamıs Doktora tezi. Ankara Universitesi Saglik Bilimleri Enstitusu, Ankara.