Zumbo'nun madde tepki sürecine yönelik eleştirel bakış açısıyla Türkçeyi Ölçme ve değerlendirmede yeni yaklaşımlar

Talha Göktentürk; Mehmet Hilmi Sağlam; Bruno D. Zumbo

doi:10.29000/rumelide.1285296

Zumbo'nun madde tepki sürecine yönelik eleştirel bakış açısıyla Türkçeyi Ölçme ve değerlendirmede yeni yaklaşımlar

Öz

Ana dili olarak Türkçenin ölçülmesi ve değerlendirilmesi maddenin kendisi ve maddeye yönelik katılımcı tepkilerine odaklı bir yaklaşımla sürmektedir. 21. yüzyılda Türkçenin ölçülmesi ise MEB ve ÖSYM öncülüğündeki testler yoluyla gerçekleşmekte ve aynı yaklaşımla paydaşlar tarafından yürütülmektedir. Bununla beraber Dünya’da maddeye tepki sürecinin ekolojik arka planının araştırılması ehemmiyetini giderek artırmaktadır. Madde tepki sürecinde madde ile karşılaşan katılımcı, tepkisinde arka plandaki kompleks bir ekolojik örüntüden etkilenmektedir. Dolayısıyla ilgili örüntünün geçerlilik araştırmalarına dâhil edilmemesi tablonun sınırlı görülebilmesine ve ölçme sonuçlarının eksik yorumlanmasına neden olmaktadır. Madde yanlılığı araştırmalarının mühim bir parçası olan diferansiyel madde fonksiyonunu belirlemeye yönelik çalışmalar bu noktada umut vermektedir. Buradan hareketle Türkçenin ana dili olarak ölçülmesindeki kısıtlı yaklaşımlara da karşılık 3 adımda bu çalışma şekillendirilmiştir. Birinci adımda ana dili olarak Türkçenin ölçülmesi ve değerlendirilmesine yönelik bir çerçeve sunulmuştur. İkinci adımda madde tepki sürecinin ekolojisi tartışılmıştır. Üçüncü adımda kompleks arka planın keşfi için diferansiyel madde fonksiyonu araştırmalarından potansiyel bir çözüm olarak Zumbo ve diğerleri (2015) tarafından geliştirilen ekolojik model tanıtılmıştır. Son aşamada ise kurum bazında MEB ve ÖSYM başta olmak üzere madde yazarları, araştırmacılar ve politika yapıcılar için tavsiye ve teklifler sıralanmıştır. Tartışmanın çıkarımından hareketle ana dili olarak Türkçenin ölçülmesi ve değerlendirilmesinde ekolojik yaklaşımın ve ekolojik modelin geçerlilik araştırmaları için büyük bir potansiyel taşıdığı söylenebilir. Dolayısıyla Türkiye’nin ölçme ihtiyaçlarına uygun olarak ekoloji tabanlı bir perspektifin Türkçenin ana dilinde ölçülmesine adapte edilmesi gerekmektedir. Böylece Türkçe dersi öğretim programının ölçmeye ve değerlendirmeye yönelik yaklaşım ihtiyacının karşılanması mümkün olacaktır.

Anahtar Kelimeler

References

Ackerman, T. A. (1992). A didactic explanation of item bias, item impact, and item validity from a multidimensional perspective. Journal of Educational Measurement, 29(1), 67–91. https://doi.org/10.1111/j.1745-3984.1992.tb00368.x
Akyol, İ., Özban, A. Y., Öçal, A. A., Kişioğlu, Y., Barış Pekmezci, F., Yılmaz Koğar, E., Kodal Sevindir, H., Ünal, C., & Sevindir, M. (2021). 2021-YKS değerlendirme raporu (Değerlendirme Raporu No. 27; Değerlendirme Raporları Serisi, p. 111). ÖSYM. https://dokuman.osym.gov.tr/pdfdokuman/2021/GENEL/yksdegrapor24122021.pdf
Akyol, Özban, A. Y., Öçal, A. A., Kişioğlu, Y., Kodal Sevindir, H., Ünal, C., Yılmaz Koğar, E., Sevindir, M., Dinarcan, S., Okumuş, A. Ö., Yörük, Y., Bozdağ Kasap, A., Çelik, D., Pehlivanoğlu, B., & Kaplan, E. (2020a). 2020 YKS-Değerlendirme Raporu (Değerlendirme Raporu No. 17; Değerlendirme Raporları Serisi, Issue 17, p. 115). ÖSYM.
Akyol, Özban, A. Y., Öçal, A. A., Kişioğlu, Y., Kodal Sevindir, H., Ünal, C., Yılmaz Koğar, E., Sevindir, M., Dinarcan, S., Okumuş, A. Ö., Yörük, Y., Bozdağ Kasap, A., Çelik, D., Pehlivanoğlu, B., & Kaplan, E. (2020b). 2020-YKS değerlendirme raporu (Değerlendirme Raporu No. 17; Değerlendirme Raporları Serisi, p. 115). ÖSYM.
Alahmadi, M. T. S. (2019). Evaluating possible bias in a giftedness assessment: An emprical comparison of IRT and non-IRT (parametric and non-parametric) techniques for detecting differential item functioning [Doctoral Dissertation, Morgan State University]. https://mdsoar.org/handle/11603/17669
Anderson, L. W., Krathwohl, D. R., Airasian, P. W., Cruikshank, K. A., Mayer, R. E., Pintrich, P. R., Raths, J., & Wittrock, M. C. (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s taxonomy of educational objectives. Longman.
Angoff, W. H., & Ford, S. F. (1973). Item-race interaction on a test of scholastic aptitute. Journal of Educational Measurement, 10(2), 95–105. https://doi.org/10.1111/j.1745-3984.1973.tb00787.x
Breslow, N. E., & Day, N. (1980). Statistical methods in cancer research Volume 1—The analysis of case-control studies. International Agency for Research on Cancer.

Brettell, C. B. (2022). Theorizing migration in Anthropology: The cultural, social, phenomenological, and embodied dimensions of human mobility. In C. B. Brettell & J. F. Hollifield (Eds.), Migration theory: Talking across (4th ed., pp. 194–231). Routledge.
Bronfenbrenner, U. (1979a). Contexts of child rearing: Problems and prospects. American Psychologist, 34(10), 844–850. https://doi.org/10.1037/0003-066X.34.10.844
Bronfenbrenner, U. (1979b). The ecology of human development: Experiments by nature and design. Harvard University Press.
Chalhoub-Deville, M. (2003). Second language interaction: Current perspectives and future trends. Language Testing, 20(4), 369–383. https://doi.org/10.1191/0265532203lt264oa
Chen, M. Y., & Zumbo, B. D. (2017). Ecological framework of item responding as validity evidence: An application of multilevel DIF modeling using PISA data. In Understanding and investigating response processes in validation research (pp. 53–68). Springer.
Crane, P. K., Belle, G. van, & Larson, E. B. (2004). Test bias in a cognitive test: Differential item functioning in the CASI. Statistics in Medicine, 23(2), 241–256. https://doi.org/10.1002/sim.1713
Creswell, J. W. (2009). Research design: Qualitative, quantitative, and mixed methods approaches (3rd ed.). Sage Publications.
DeVellis, R. F., & Thorpe, C. T. (2021). Scale development: Theory and applications (5th ed.). Sage Publications.
Doğan, N., & Öğretmen, T. (2010). Değişen madde fonksiyonunu belirlemede mantel-haenszel, ki-kare ve lojistik regresyon tekniklerinin karşılaştırılması. Eğitim ve Bilim, 33(148), 100–112.
Dorans, N. J., Schmitt, A. P., & Bleistein, C. A. (1992). The standardization approach to assessing comprehensive differential item functioning. Journal of Educational Measurement, 29(4), 309–319. https://doi.org/10.1111/j.1745-3984.1992.tb00379.x
Elkonca, F. (2020). ABİDE özyeterlilik ölçeği DMF kaynaklarının gizil sınıf yaklaşımıyla incelenmesi [Doktora Tezi]. Gazi Üniversitesi.
Eroğlu, E., Canıdemir, A., Suna, H. E., Tanberkan, H., & Altun, Ü. (2020). Dört beceride Türkçe dil sınavı: Pilot çalışma sonuçları (Eğitim Analiz ve Değerlendirme Raporları Serisi No. 11; p. 54). Millî Eğitim Bakanlığı. https://www.meb.gov.tr/meb_iys_dosyalar/2020_01/20094146_Dort_Beceride_Turkce_Dil_Sinavi_Ocak_2020.pdf
Fox, J. D. (2003). From products to process: An ecological approach to bias detection. International Journal of Testing, 3(1), 21–47. https://doi.org/10.1207/S15327574IJT0301_2
Göktentürk, T. (2021). PISA okuma testinin ekolojik modele göre yanlılık göre yanlılık analizi: Türkiye örneği [Doktora Tezi]. Yıldız Teknik Üniversitesi.
Göktentürk, T., Demi̇R, İ., & Arici, A. F. (2021). PISA’nın ışığında geliştirilen ABİDE projesinde okuma bakımından ne hâldeyiz? Bir geçerlilik çalışması. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, 22, 657–665. https://doi.org/10.29000/rumelide.897081
Güner, H., Çelebi, N., Kaya, G. T., & Korumaz, M. (2014). Neoliberal eğitim politikaları ve eğitimde fırsat eşitliği bağlamında uluslararası sınavların (PISA, TIMSS ve PIRLS) analizi. Journal of History Culture and Art Research, 3(3), 33–75.
Holland, P. W., & Thayer, D. T. (1986). Differential item functioning and the Mantel-Haenszel procedure. ETS Research Report Series, 1986(2), i–24. https://doi.org/10.1002/j.2330-8516.1986.tb00186.x
Köroğlu, M. (2021). The validity study of central exam scores used for placement in secondary education institutions [Doctoral Dissertation, Hacettepe University]. http://www.openaccess.hacettepe.edu.tr:8080/xmlui/bitstream/handle/11655/24919/%c4%b0MZASIZ-MUSTAFA%20K%c3%96RO%c4%9eLU%20DR.%20TEZ%20-%20Kopya.pdf?sequence=1&isAllowed=y
Launeanu, M., & Hubley, A. M. (2017). Some observations on response processes research and its future theoretical and methodological directions. In B. D. Zumbo & A. Hubley (Eds.), Understanding and investigating response processes in validation research (p. XIII+370). Springer.
Leighton, J. P., Tang, W., & Guo, Q. (2017). Response processes and validity evidence: Controlling for emotions in think aloud interviews. In B. D. Zumbo & A. Hubley (Eds.), Understanding and investigating response processes in validation research (p. XIII+370). Springer.
Li, H., Hunter, C. V., & Bialo, J. A. (2022). A revisit of Zumbo’s third generation DIF: How are we doing in language testing? Language Assessment Quarterly, 19(1), 27–53. https://doi.org/10.1080/15434303.2021.1963253
Lord, F. M. (1980). Applications of item response theory to practical testing problems. Routledge.
Maddox, B., & Zumbo, B. D. (2017). Observing testing situations: Validation as Jazz. In B. D. Zumbo & A. M. Hubley (Eds.), Understanding and investigating response processes in validation research. Springer.
Maddox, B., Zumbo, B. D., Tay-Lim, B., & Qu, D. (Iris). (2015). An anthropologist among the psychometricians: Assessment events, ethnography, and differential item functioning in the Mongolian Gobi. International Journal of Testing, 15(4), 291–309. https://doi.org/10.1080/15305058.2015.1017103
McAuliffe, M., & Khadria, B. (Eds.). (2019). World Migration Report 2020. International Organization for Migration (IOM).
McNamara, T. (2007). Language testing: A question of context. In J. Fox, M. Wesche, D. Bayliss, L. Cheng, C. E. Turner, & C. Doe (Eds.), Language Testing Reconsidered (pp. 131–138). University of Ottawa Press. https://doi.org/10.2307/j.ctt1ckpccf
MEB. (2006). İlköğretim Türkçe dersi (6, 7, 8. Sınıflar) öğretim programı. Millî Eğitim Bakanlığı.
MEB. (2018). Ortaöğretim Türk dili ve edebiyatı dersi (9, 10, 11 ve 12. Sınıflar) öğretim programı. Millî Eğitim Bakanlığı Yayınları. http://mufredat.meb.gov.tr/Dosyalar/201812103715395-T%C3%9CRKD%C4%B0L%C4%B0EDEB%C4%B0YAT%20PROGRAM.pdf
MEB. (2019). Türkçe dersi öğretim programı (ilkokul ve ortaokul 1, 2, 3, 4, 5, 6, 7 ve 8. Sınıflar). Milli Eğitim Bakanlığı.
MEB. (2022, November 27). MEB’den dört temel beceride Türkçe dil sınavı. T.C. Millî Eğitim Bakanlığı Haberler. https://www.meb.gov.tr/mebden-dort-temel-beceride-turkce-dil-sinavi/haber/26629/tr
Mellenbergh, G. J. (1989). Item Bias and Item Response Theory. International Journal of Educational Research, 13(2), 127–143. https://doi.org/10.1016/0883-0355(89)90002-5
Raju, N. S. (1988). The area between two item characteristic curves. Psychometrika, 53(4), 495–502. https://doi.org/10.1007/BF02294403
Reyhanlıoğlu, Ç., & Tiryaki, İ. (2021). Ülkemizde gerçekleştirilen ölçme ve değerlendirme faaliyetlerine genel bir bakış. Uluslararası Türk Eğitim Bilimleri Dergisi, 9(16), 70–93. https://doi.org/10.46778/goputeb.766689
Roberson, N. D., & Zumbo, B. D. (2019). Migration background in PISA’s measure of social belonging: Using a diffractive lens to interpret multi-method DIF studies. International Journal of Testing, 19(4), 363–389.
Scheuneman, J. (1979). A method of assessing bias in test items. Journal of Educational Measurement, 16(3), 143–152.
Shealy, R., & Stout, W. (1993). A model-based standardization approach that separates true bias/DIF from group ability differences and detects test bias/DTF as well as item bias/DIF. Psychometrika, 58(2), 159–194. https://doi.org/10.1007/BF02294572
Stark, S., Chernyshenko, O. S., & Drasgow, F. (2006). Detecting differential item functioning with confirmatory factor analysis and item response theory: Toward a unified strategy. Journal of Applied Psychology, 91(6), 1292–1306. https://doi.org/10.1037/0021-9010.91.6.1292
Suna, H. E., & Özçelik, H. (2022). 2022 ortaöğretim kurumlarına ilişkin merkezi sınav. Millî Eğitim Bakanlığı.
Swaminathan, H., & Rogers, H. J. (1990). Detecting Differential Item Functioning Using Logistic Regression Procedures. Journal of Educational Measurement, 27(4), 361–370. https://doi.org/10.1111/j.1745-3984.1990.tb00754.x
Tanberkan, H., Suna, H. E., & Eroğlu, E. (2018). 2018 YKS değerlendirme raporu (Değerlendirme Raporu No. 9; Değerlendirme Raporları Serisi, p. 82). ÖSYM. https://dokuman.osym.gov.tr/pdfdokuman/2018/GENEL/YKSDegrapor06082018.pdf
Thissen, D., Steinberg, L., & Wainer, H. (1993). Detection of differential item functioning using the parameters of item response models. In P. W. Holland & H. Wainer (Eds.), Differential item functioning (pp. 67–114). Routledge.
Türkiye Maarif Vakfı. (2019). Yabancı dil olarak Türkçe öğretimi programı. Türkiye Maarif Vakfı.
Unsworth, N., Heitz, R. P., & Engle, R. W. (2005). Working Memory Capacity in Hot and Cold Cognition. In R. W. Engle, G. Sedek, U. von Hecker, & D. N. McIntosh (Eds.), Cognitive Limitations in Aging and Psychopathology (1st ed., pp. 19–43). Cambridge University Press. https://doi.org/10.1017/CBO9780511720413.003
Yang, C. (2009). Development and application of the logistic regression with factor scores (LRFS) method in differential item functioning (DIF) detection for dichotomized variables [Doctoral Dissertation]. Medical University of South Carolina.
Yıldırım, S., Okumuş, A. Ö., & Yörük, Y. (2019). 2019 YKS değerlendirme raporu (Değerlendirme Raporu No. 15; Değerlendirme Raporları Serisi, p. 129). ÖSYM. https://dokuman.osym.gov.tr/pdfdokuman/2019/GENEL/yksDegRaporweb03092019.pdf
Zuckerman, G. A., Kovaleva, G. S., & Kuznetsova, M. I. (2013). Between PIRLS and PISA: The advancement of reading literacy in a 10–15-year-old cohort. Learning and Individual Differences, 26, 64–73. https://doi.org/10.1016/j.lindif.2013.05.001
Zumbo, B. D. (1999a). A Handbook on the Theory and Methods of Differential Item Functioning (DIF). Ottawa: National Defense Headquarters, 1–57.
Zumbo, B. D. (1999b). A handbook on the theory and methods of differential item functioning (DIF). Ottawa: National Defense Headquarters, 1–57.
Zumbo, B. D. (2007). Three generations of DIF analyses: Considering where it has been, where it is now, and where it is going. Language Assessment Quarterly, 4(2), 223–233. https://doi.org/10.1080/15434300701375832
Zumbo, B. D. (2009). Validity as contextualized and pragmatic explanation, and its implications for validation practice. In R. W. Lissitz (Ed.), The Concept of Validity: Revisions, New Directions and Applications (pp. 65–82). IAP Information Age Publishing.
Zumbo, B. D. (2015). Consequences, side effects and the ecology of testing: Keys to considering assessment “In Vivo.” Keynote address, the annual meeting of the Association for Educational Assessment - Europe (AEA-Europe), Glasgow, Scotland. https://www.youtube.com/watch?v=0L6Lr2BzuSQ&ab_channel=BrunoD.Zumbo
Zumbo, B. D. (2017). Trending away from routine procedures, toward an ecologically informed In Vivo view of validation practices. Measurement: Interdisciplinary Research and Perspectives, 15(3–4), 137–139.
Zumbo, B. D., & Gelin, M. N. (2005). A matter of test bias in educational policy research: Bringing the context into picture by investigating sociological/community moderated (or mediated) test and item bias. Journal of Educational Research & Policy Studies, 5(1), 1–23.
Zumbo, B. D., & Hubley, A. M. (2017). Understanding and investigating response processes in validation research (Vol. 26). Springer.
Zumbo, B. D., Liu, Y., Wu, A. D., Shear, B. R., Olvera Astivia, O. L., & Ark, T. K. (2015). A methodology for Zumbo’s third generation DIF analyses and the ecology of item responding. Language Assessment Quarterly, 12(1), 136–151.

Details

Primary Language

Turkish

Subjects

Linguistics

Journal Section

Research Article

Authors

Talha Göktentürk ^*
0000-0002-8619-0698
Türkiye

Mehmet Hilmi Sağlam
0000-0001-5746-738X
Canada

Bruno D. Zumbo
0000-0003-2885-5724
Canada

Publication Date

April 26, 2023

Submission Date

March 18, 2023

Acceptance Date

April 20, 2023

Published in Issue

Year 2023 Number: 33

DOI

https://doi.org/10.29000/rumelide.1285296

IZ

https://izlik.org/JA88FN45ZE

Cite

RIS / Bibtex

APA

Göktentürk, T., Sağlam, M. H., & Zumbo, B. D. (2023). Zumbo’nun madde tepki sürecine yönelik eleştirel bakış açısıyla Türkçeyi Ölçme ve değerlendirmede yeni yaklaşımlar. RumeliDE Dil Ve Edebiyat Araştırmaları Dergisi, 33, 224-245. https://doi.org/10.29000/rumelide.1285296

Cited By

Ortaöğretimdeki Öğrencilerin Hayatındaki Dillerin Okuma Başarısına Etkisi: PISA Temelli Bir Araştırma

Milli Eğitim Dergisi

https://doi.org/10.37669/milliegitim.1309248

Exploring the Ecological Background of Learning Turkish as a Second Language: Insights from Zumbo’s Framework

OPUS Toplum Araştırmaları Dergisi

https://doi.org/10.26466/opusjsr.1751709