Zumbo'nun madde tepki sürecine yönelik eleştirel bakış açısıyla Türkçeyi Ölçme ve değerlendirmede yeni yaklaşımlar

Year 2023, Issue: 33, 224 - 245, 26.04.2023

Talha Göktentürk Mehmet Hilmi Sağlam Bruno D. Zumbo

https://doi.org/10.29000/rumelide.1285296

Cited By: 1

Abstract

Ana dili olarak Türkçenin ölçülmesi ve değerlendirilmesi maddenin kendisi ve maddeye yönelik katılımcı tepkilerine odaklı bir yaklaşımla sürmektedir. 21. yüzyılda Türkçenin ölçülmesi ise MEB ve ÖSYM öncülüğündeki testler yoluyla gerçekleşmekte ve aynı yaklaşımla paydaşlar tarafından yürütülmektedir. Bununla beraber Dünya’da maddeye tepki sürecinin ekolojik arka planının araştırılması ehemmiyetini giderek artırmaktadır. Madde tepki sürecinde madde ile karşılaşan katılımcı, tepkisinde arka plandaki kompleks bir ekolojik örüntüden etkilenmektedir. Dolayısıyla ilgili örüntünün geçerlilik araştırmalarına dâhil edilmemesi tablonun sınırlı görülebilmesine ve ölçme sonuçlarının eksik yorumlanmasına neden olmaktadır. Madde yanlılığı araştırmalarının mühim bir parçası olan diferansiyel madde fonksiyonunu belirlemeye yönelik çalışmalar bu noktada umut vermektedir. Buradan hareketle Türkçenin ana dili olarak ölçülmesindeki kısıtlı yaklaşımlara da karşılık 3 adımda bu çalışma şekillendirilmiştir. Birinci adımda ana dili olarak Türkçenin ölçülmesi ve değerlendirilmesine yönelik bir çerçeve sunulmuştur. İkinci adımda madde tepki sürecinin ekolojisi tartışılmıştır. Üçüncü adımda kompleks arka planın keşfi için diferansiyel madde fonksiyonu araştırmalarından potansiyel bir çözüm olarak Zumbo ve diğerleri (2015) tarafından geliştirilen ekolojik model tanıtılmıştır. Son aşamada ise kurum bazında MEB ve ÖSYM başta olmak üzere madde yazarları, araştırmacılar ve politika yapıcılar için tavsiye ve teklifler sıralanmıştır. Tartışmanın çıkarımından hareketle ana dili olarak Türkçenin ölçülmesi ve değerlendirilmesinde ekolojik yaklaşımın ve ekolojik modelin geçerlilik araştırmaları için büyük bir potansiyel taşıdığı söylenebilir. Dolayısıyla Türkiye’nin ölçme ihtiyaçlarına uygun olarak ekoloji tabanlı bir perspektifin Türkçenin ana dilinde ölçülmesine adapte edilmesi gerekmektedir. Böylece Türkçe dersi öğretim programının ölçmeye ve değerlendirmeye yönelik yaklaşım ihtiyacının karşılanması mümkün olacaktır.

Keywords

maddeye tepki süreci, ölçme ve değerlendirme, diferansiyel madde fonksiyonu, Türkçe, okuma, ekolojik model

References

• Ackerman, T. A. (1992). A didactic explanation of item bias, item impact, and item validity from a multidimensional perspective. Journal of Educational Measurement, 29(1), 67–91. https://doi.org/10.1111/j.1745-3984.1992.tb00368.x
• Akyol, İ., Özban, A. Y., Öçal, A. A., Kişioğlu, Y., Barış Pekmezci, F., Yılmaz Koğar, E., Kodal Sevindir, H., Ünal, C., & Sevindir, M. (2021). 2021-YKS değerlendirme raporu (Değerlendirme Raporu No. 27; Değerlendirme Raporları Serisi, p. 111). ÖSYM. https://dokuman.osym.gov.tr/pdfdokuman/2021/GENEL/yksdegrapor24122021.pdf
• Akyol, Özban, A. Y., Öçal, A. A., Kişioğlu, Y., Kodal Sevindir, H., Ünal, C., Yılmaz Koğar, E., Sevindir, M., Dinarcan, S., Okumuş, A. Ö., Yörük, Y., Bozdağ Kasap, A., Çelik, D., Pehlivanoğlu, B., & Kaplan, E. (2020a). 2020 YKS-Değerlendirme Raporu (Değerlendirme Raporu No. 17; Değerlendirme Raporları Serisi, Issue 17, p. 115). ÖSYM.
• Akyol, Özban, A. Y., Öçal, A. A., Kişioğlu, Y., Kodal Sevindir, H., Ünal, C., Yılmaz Koğar, E., Sevindir, M., Dinarcan, S., Okumuş, A. Ö., Yörük, Y., Bozdağ Kasap, A., Çelik, D., Pehlivanoğlu, B., & Kaplan, E. (2020b). 2020-YKS değerlendirme raporu (Değerlendirme Raporu No. 17; Değerlendirme Raporları Serisi, p. 115). ÖSYM.
• Alahmadi, M. T. S. (2019). Evaluating possible bias in a giftedness assessment: An emprical comparison of IRT and non-IRT (parametric and non-parametric) techniques for detecting differential item functioning [Doctoral Dissertation, Morgan State University]. https://mdsoar.org/handle/11603/17669
• Anderson, L. W., Krathwohl, D. R., Airasian, P. W., Cruikshank, K. A., Mayer, R. E., Pintrich, P. R., Raths, J., & Wittrock, M. C. (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s taxonomy of educational objectives. Longman.
• Angoff, W. H., & Ford, S. F. (1973). Item-race interaction on a test of scholastic aptitute. Journal of Educational Measurement, 10(2), 95–105. https://doi.org/10.1111/j.1745-3984.1973.tb00787.x
• Breslow, N. E., & Day, N. (1980). Statistical methods in cancer research Volume 1—The analysis of case-control studies. International Agency for Research on Cancer.
• Brettell, C. B. (2022). Theorizing migration in Anthropology: The cultural, social, phenomenological, and embodied dimensions of human mobility. In C. B. Brettell & J. F. Hollifield (Eds.), Migration theory: Talking across (4th ed., pp. 194–231). Routledge.
• Bronfenbrenner, U. (1979a). Contexts of child rearing: Problems and prospects. American Psychologist, 34(10), 844–850. https://doi.org/10.1037/0003-066X.34.10.844
• Bronfenbrenner, U. (1979b). The ecology of human development: Experiments by nature and design. Harvard University Press.
• Chalhoub-Deville, M. (2003). Second language interaction: Current perspectives and future trends. Language Testing, 20(4), 369–383. https://doi.org/10.1191/0265532203lt264oa
• Chen, M. Y., & Zumbo, B. D. (2017). Ecological framework of item responding as validity evidence: An application of multilevel DIF modeling using PISA data. In Understanding and investigating response processes in validation research (pp. 53–68). Springer.
• Crane, P. K., Belle, G. van, & Larson, E. B. (2004). Test bias in a cognitive test: Differential item functioning in the CASI. Statistics in Medicine, 23(2), 241–256. https://doi.org/10.1002/sim.1713
• Creswell, J. W. (2009). Research design: Qualitative, quantitative, and mixed methods approaches (3rd ed.). Sage Publications.
• DeVellis, R. F., & Thorpe, C. T. (2021). Scale development: Theory and applications (5th ed.). Sage Publications.
• Doğan, N., & Öğretmen, T. (2010). Değişen madde fonksiyonunu belirlemede mantel-haenszel, ki-kare ve lojistik regresyon tekniklerinin karşılaştırılması. Eğitim ve Bilim, 33(148), 100–112.
• Dorans, N. J., Schmitt, A. P., & Bleistein, C. A. (1992). The standardization approach to assessing comprehensive differential item functioning. Journal of Educational Measurement, 29(4), 309–319. https://doi.org/10.1111/j.1745-3984.1992.tb00379.x
• Elkonca, F. (2020). ABİDE özyeterlilik ölçeği DMF kaynaklarının gizil sınıf yaklaşımıyla incelenmesi [Doktora Tezi]. Gazi Üniversitesi.
• Eroğlu, E., Canıdemir, A., Suna, H. E., Tanberkan, H., & Altun, Ü. (2020). Dört beceride Türkçe dil sınavı: Pilot çalışma sonuçları (Eğitim Analiz ve Değerlendirme Raporları Serisi No. 11; p. 54). Millî Eğitim Bakanlığı. https://www.meb.gov.tr/meb_iys_dosyalar/2020_01/20094146_Dort_Beceride_Turkce_Dil_Sinavi_Ocak_2020.pdf
• Fox, J. D. (2003). From products to process: An ecological approach to bias detection. International Journal of Testing, 3(1), 21–47. https://doi.org/10.1207/S15327574IJT0301_2
• Göktentürk, T. (2021). PISA okuma testinin ekolojik modele göre yanlılık göre yanlılık analizi: Türkiye örneği [Doktora Tezi]. Yıldız Teknik Üniversitesi.
• Göktentürk, T., Demi̇R, İ., & Arici, A. F. (2021). PISA’nın ışığında geliştirilen ABİDE projesinde okuma bakımından ne hâldeyiz? Bir geçerlilik çalışması. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, 22, 657–665. https://doi.org/10.29000/rumelide.897081
• Güner, H., Çelebi, N., Kaya, G. T., & Korumaz, M. (2014). Neoliberal eğitim politikaları ve eğitimde fırsat eşitliği bağlamında uluslararası sınavların (PISA, TIMSS ve PIRLS) analizi. Journal of History Culture and Art Research, 3(3), 33–75.
• Holland, P. W., & Thayer, D. T. (1986). Differential item functioning and the Mantel-Haenszel procedure. ETS Research Report Series, 1986(2), i–24. https://doi.org/10.1002/j.2330-8516.1986.tb00186.x
• Köroğlu, M. (2021). The validity study of central exam scores used for placement in secondary education institutions [Doctoral Dissertation, Hacettepe University]. http://www.openaccess.hacettepe.edu.tr:8080/xmlui/bitstream/handle/11655/24919/%c4%b0MZASIZ-MUSTAFA%20K%c3%96RO%c4%9eLU%20DR.%20TEZ%20-%20Kopya.pdf?sequence=1&isAllowed=y
• Launeanu, M., & Hubley, A. M. (2017). Some observations on response processes research and its future theoretical and methodological directions. In B. D. Zumbo & A. Hubley (Eds.), Understanding and investigating response processes in validation research (p. XIII+370). Springer.
• Leighton, J. P., Tang, W., & Guo, Q. (2017). Response processes and validity evidence: Controlling for emotions in think aloud interviews. In B. D. Zumbo & A. Hubley (Eds.), Understanding and investigating response processes in validation research (p. XIII+370). Springer.
• Li, H., Hunter, C. V., & Bialo, J. A. (2022). A revisit of Zumbo’s third generation DIF: How are we doing in language testing? Language Assessment Quarterly, 19(1), 27–53. https://doi.org/10.1080/15434303.2021.1963253
• Lord, F. M. (1980). Applications of item response theory to practical testing problems. Routledge.
• Maddox, B., & Zumbo, B. D. (2017). Observing testing situations: Validation as Jazz. In B. D. Zumbo & A. M. Hubley (Eds.), Understanding and investigating response processes in validation research. Springer.
• Maddox, B., Zumbo, B. D., Tay-Lim, B., & Qu, D. (Iris). (2015). An anthropologist among the psychometricians: Assessment events, ethnography, and differential item functioning in the Mongolian Gobi. International Journal of Testing, 15(4), 291–309. https://doi.org/10.1080/15305058.2015.1017103
• McAuliffe, M., & Khadria, B. (Eds.). (2019). World Migration Report 2020. International Organization for Migration (IOM).
• McNamara, T. (2007). Language testing: A question of context. In J. Fox, M. Wesche, D. Bayliss, L. Cheng, C. E. Turner, & C. Doe (Eds.), Language Testing Reconsidered (pp. 131–138). University of Ottawa Press. https://doi.org/10.2307/j.ctt1ckpccf
• MEB. (2006). İlköğretim Türkçe dersi (6, 7, 8. Sınıflar) öğretim programı. Millî Eğitim Bakanlığı.
• MEB. (2018). Ortaöğretim Türk dili ve edebiyatı dersi (9, 10, 11 ve 12. Sınıflar) öğretim programı. Millî Eğitim Bakanlığı Yayınları. http://mufredat.meb.gov.tr/Dosyalar/201812103715395-T%C3%9CRKD%C4%B0L%C4%B0EDEB%C4%B0YAT%20PROGRAM.pdf
• MEB. (2019). Türkçe dersi öğretim programı (ilkokul ve ortaokul 1, 2, 3, 4, 5, 6, 7 ve 8. Sınıflar). Milli Eğitim Bakanlığı.
• MEB. (2022, November 27). MEB’den dört temel beceride Türkçe dil sınavı. T.C. Millî Eğitim Bakanlığı Haberler. https://www.meb.gov.tr/mebden-dort-temel-beceride-turkce-dil-sinavi/haber/26629/tr
• Mellenbergh, G. J. (1989). Item Bias and Item Response Theory. International Journal of Educational Research, 13(2), 127–143. https://doi.org/10.1016/0883-0355(89)90002-5
• Raju, N. S. (1988). The area between two item characteristic curves. Psychometrika, 53(4), 495–502. https://doi.org/10.1007/BF02294403
• Reyhanlıoğlu, Ç., & Tiryaki, İ. (2021). Ülkemizde gerçekleştirilen ölçme ve değerlendirme faaliyetlerine genel bir bakış. Uluslararası Türk Eğitim Bilimleri Dergisi, 9(16), 70–93. https://doi.org/10.46778/goputeb.766689
• Roberson, N. D., & Zumbo, B. D. (2019). Migration background in PISA’s measure of social belonging: Using a diffractive lens to interpret multi-method DIF studies. International Journal of Testing, 19(4), 363–389.
• Scheuneman, J. (1979). A method of assessing bias in test items. Journal of Educational Measurement, 16(3), 143–152.
• Shealy, R., & Stout, W. (1993). A model-based standardization approach that separates true bias/DIF from group ability differences and detects test bias/DTF as well as item bias/DIF. Psychometrika, 58(2), 159–194. https://doi.org/10.1007/BF02294572
• Stark, S., Chernyshenko, O. S., & Drasgow, F. (2006). Detecting differential item functioning with confirmatory factor analysis and item response theory: Toward a unified strategy. Journal of Applied Psychology, 91(6), 1292–1306. https://doi.org/10.1037/0021-9010.91.6.1292
• Suna, H. E., & Özçelik, H. (2022). 2022 ortaöğretim kurumlarına ilişkin merkezi sınav. Millî Eğitim Bakanlığı.
• Swaminathan, H., & Rogers, H. J. (1990). Detecting Differential Item Functioning Using Logistic Regression Procedures. Journal of Educational Measurement, 27(4), 361–370. https://doi.org/10.1111/j.1745-3984.1990.tb00754.x
• Tanberkan, H., Suna, H. E., & Eroğlu, E. (2018). 2018 YKS değerlendirme raporu (Değerlendirme Raporu No. 9; Değerlendirme Raporları Serisi, p. 82). ÖSYM. https://dokuman.osym.gov.tr/pdfdokuman/2018/GENEL/YKSDegrapor06082018.pdf
• Thissen, D., Steinberg, L., & Wainer, H. (1993). Detection of differential item functioning using the parameters of item response models. In P. W. Holland & H. Wainer (Eds.), Differential item functioning (pp. 67–114). Routledge.
• Türkiye Maarif Vakfı. (2019). Yabancı dil olarak Türkçe öğretimi programı. Türkiye Maarif Vakfı.
• Unsworth, N., Heitz, R. P., & Engle, R. W. (2005). Working Memory Capacity in Hot and Cold Cognition. In R. W. Engle, G. Sedek, U. von Hecker, & D. N. McIntosh (Eds.), Cognitive Limitations in Aging and Psychopathology (1st ed., pp. 19–43). Cambridge University Press. https://doi.org/10.1017/CBO9780511720413.003
• Yang, C. (2009). Development and application of the logistic regression with factor scores (LRFS) method in differential item functioning (DIF) detection for dichotomized variables [Doctoral Dissertation]. Medical University of South Carolina.
• Yıldırım, S., Okumuş, A. Ö., & Yörük, Y. (2019). 2019 YKS değerlendirme raporu (Değerlendirme Raporu No. 15; Değerlendirme Raporları Serisi, p. 129). ÖSYM. https://dokuman.osym.gov.tr/pdfdokuman/2019/GENEL/yksDegRaporweb03092019.pdf
• Zuckerman, G. A., Kovaleva, G. S., & Kuznetsova, M. I. (2013). Between PIRLS and PISA: The advancement of reading literacy in a 10–15-year-old cohort. Learning and Individual Differences, 26, 64–73. https://doi.org/10.1016/j.lindif.2013.05.001
• Zumbo, B. D. (1999a). A Handbook on the Theory and Methods of Differential Item Functioning (DIF). Ottawa: National Defense Headquarters, 1–57.
• Zumbo, B. D. (1999b). A handbook on the theory and methods of differential item functioning (DIF). Ottawa: National Defense Headquarters, 1–57.
• Zumbo, B. D. (2007). Three generations of DIF analyses: Considering where it has been, where it is now, and where it is going. Language Assessment Quarterly, 4(2), 223–233. https://doi.org/10.1080/15434300701375832
• Zumbo, B. D. (2009). Validity as contextualized and pragmatic explanation, and its implications for validation practice. In R. W. Lissitz (Ed.), The Concept of Validity: Revisions, New Directions and Applications (pp. 65–82). IAP Information Age Publishing.
• Zumbo, B. D. (2015). Consequences, side effects and the ecology of testing: Keys to considering assessment “In Vivo.” Keynote address, the annual meeting of the Association for Educational Assessment - Europe (AEA-Europe), Glasgow, Scotland. https://www.youtube.com/watch?v=0L6Lr2BzuSQ&ab_channel=BrunoD.Zumbo
• Zumbo, B. D. (2017). Trending away from routine procedures, toward an ecologically informed In Vivo view of validation practices. Measurement: Interdisciplinary Research and Perspectives, 15(3–4), 137–139.
• Zumbo, B. D., & Gelin, M. N. (2005). A matter of test bias in educational policy research: Bringing the context into picture by investigating sociological/community moderated (or mediated) test and item bias. Journal of Educational Research & Policy Studies, 5(1), 1–23.
• Zumbo, B. D., & Hubley, A. M. (2017). Understanding and investigating response processes in validation research (Vol. 26). Springer.
• Zumbo, B. D., Liu, Y., Wu, A. D., Shear, B. R., Olvera Astivia, O. L., & Ark, T. K. (2015). A methodology for Zumbo’s third generation DIF analyses and the ecology of item responding. Language Assessment Quarterly, 12(1), 136–151.