Bağımsız ve Ortak Köklü Maddelerle Oluşturulan Yabancı Dil Olarak Türkçe Dinleme Testlerinin Psikometrik Özelliklerinin Karşılaştırılması

Yıl 2025, Cilt: 22 Sayı: 2, 265 - 279

Ceren Tunaboylu Demir , Havva Gökçe Çavdar Paksoy , Duygu Anıl

https://doi.org/10.26466/opusjsr.1651342

Öz

Bu araştırmada, yabancı dil olarak Türkçe öğretiminde, aynı özelliği ölçen, çoktan seçmeli madde türünde bağımsız ve ortak köklü maddelerden oluşan Türkçe dinleme testlerinin psikometrik özellikleri karşılaştırmalı olarak incelenmiştir. Ayrıca, öğrencilerin bu iki farklı madde yapısına yönelik algıları da değerlendirilmiştir. Araştırma, betimsel araştırma türünde, ilişkisel tarama modelinde tasarlanmıştır. Araştırmanın çalışma grubunu, 2024-2025 eğitim-öğretim yılında Türkçe Öğretim Merkezlerinde B1 düzeyinde öğrenim gören 201 yabancı uyruklu öğrenci oluşturmaktadır. Ölçme araçları, Concerto platformu üzerine inşa edilmiş ve test uygulaması çevrimiçi ortamda, tek oturumda ve üç aşamalı olarak gerçekleştirilmiştir. Araştırma bulgularına göre, madde güçlük indeksleri karşılaştırıldığında, bazı madde çiftlerinde madde formatına bağlı anlamlı farklılıklar ve orta ile büyük düzeyde etki büyüklükleri saptanmış, bu durum madde formatının öğrenci başarısını etkileyebileceğini ortaya koymuştur. Madde ayırt edicilik indeksleri incelendiğinde de benzer şekilde bazı soru çiftlerinde anlamlı farklar görülmüş; her iki testin genel olarak yüksek ayırt ediciliğe sahip maddelerden oluştuğu belirlenmiştir. Test puan ortalamaları incelendiğinde, bağımsız madde testi, öğrenciler tarafından 0,05 hata düzeyinde anlamlı olarak daha yüksek başarı ile tamamlandığı görülmüştür. Her iki test puanlarının güvenirlik katsayıları yüksek bulunmuş ve aralarında istatistiksel olarak anlamlı bir fark tespit edilmemiştir. Madde yapısına yönelik öğrenci algılarına göre, bağımsız madde testi süre yönetimi ve çevrimiçi uygulama açısından daha avantajlı bulunmuştur. Buna karşılık, ortak köklü madde testi madde formatının zorlayıcılığı daha fazla algılanmıştır. Her iki madde formatı da soru anlaşılırlığı ve dinleme sorularını yanıtlama kolaylığı açısından benzer düzeyde olumlu geri bildirim almıştır. Bu sonuçlar, yabancı dil olarak Türkçe öğretiminde dinleme becerilerini ölçmeye yönelik testlerde bağımsız madde yapısının, öğrencilerin daha yüksek başarı elde etmesine ve madde ayırt ediciliğinin artmasına katkı sağlayabileceğini göstermektedir.

Anahtar Kelimeler

yabancı dil olarak Türkçe, dinleme becerisi testi, bağımsız madde, ortak köklü madde, psikometrik özellikler

Etik Beyan

Yapılan bu çalışmada “Yükseköğretim Kurumları Bilimsel Araştırma ve Yayın Etiği Yönergesi” kapsamında uyulması belirtilen tüm kurallara uyulmuştur. Etik Değerlendirmeyi Yapan Kurul Adı: Hacettepe Üniversitesi Bilimsel Araştırma ve Yayın Etik Kurulu Etik Değerlendirme Kararının Tarihi: 22.03.2023 Etik Değerlendirme Belgesi Sayı Numarası: E-35853172-300-00002758451

Comparison of Psychometric Properties of Turkish as a Foreign Language Listening Tests Composed of Independent and Common-Stem Items

Öz

This study comparatively examined the psychometric properties of Turkish listening tests composed of independent and common-stem multiple-choice items that measure the same construct in the context of teaching Turkish as a foreign language. Additionally, students’ perceptions of these two different item formats were evaluated. The research was designed as a descriptive study using a relational survey model. The study group consisted of 201 international students enrolled at the B1 level in Turkish Language Teaching Centers during the 2024–2025 academic year. The assessment tools were developed on the Concerto platform, and the tests were administered online in a single session across three stages. According to the findings, comparisons of item difficulty indices revealed statistically significant differences and moderate to large effect sizes in some item pairs, indicating that item format may influence student performance. Similarly, item discrimination indices showed significant differences in several item pairs, although both tests overall consisted of highly discriminative items. Analysis of test mean scores showed that the independent item test yielded significantly higher performance at the 0.05 level. The reliability coefficients of both tests were high, with no statistically significant difference between them. Based on students’ perceptions, the independent item test was found to be more advantageous in terms of time management and online usability. In contrast, the common-stem item format was perceived as more cognitively demanding. Both item types received similarly positive feedback regarding item clarity and ease of answering listening questions. These results suggest that in teaching Turkish as a foreign language, independent items may contribute to higher student achievement and improved item discrimination in listening assessments.

Anahtar Kelimeler

Turkish as a foreign language, listening skills test, independent item, common-root item, psychometric properties

Kaynakça

• Akyıldız, M., & Karadağ, N. (2018). Farklı soru türlerinin güçlük ve ayırt edicilik düzeylerinin incelenmesi. Açıköğretim Uygulamaları ve Araştırmaları Dergisi, 4(1), 112-122.
• Boone, W. J. (2022). Rasch analysis for instrument development: Why, when, and how? Routledge. https://doi.org/10.4324/9780429295954
• Bridgeman, B. (1992). A comparison of quantitative questions in different formats. Educational and Psychological Measurement, 52(4), 913-918.
• Buck, G. (2001). Assessing listening. Cambridge University Press.
• Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Erlbaum.
• Cohen, R. J., Swerdlik, M. E., & Sturman, E. D. (2013). Psychological testing and assessment: An introduction to tests and measurement (8th ed.). McGraw-Hill Education
• Creswell, J. W., & Poth, C. N. (2018). Qualitative inquiry and research design: Choosing among five approaches (4th ed.). Thousand Oaks, CA: Sage Publications.
• Crocker, L. M., & Algina, J. (1986). Introduction to classical and modern test theory. New York: Holt, Rinehart, and Winston.
• Demirkol, S., & Karagöz, M. A. (2023). PISA 2015 Okuma Becerisi Maddelerinin Güçlük İndeksini Etkileyen Madde Özelliklerinin İncelenmesi. Ana Dili Eğitimi Dergisi, 11(3), 567-579. Doi: 10.16916-aded.1212049-2802742
• Ebel, R. L. (1972). Essentials of educational measurement. Englewood Cliffs, NJ: Prentice-Hall.
• Ege, H. G., & Demır, E. (2020). Examining of Internal Consistency Coefficients in Mixed-Format Tests in Different Simulation Conditions. Eurasian Journal of Educational Research, 20(87), 101-118. DOI: 10.14689/-ejer.2020.87.5
• Eren, B. (2015). Çoktan seçmeli ve karma test uygulamalarına ilişkin öğrenci başarıları ile öğrenci ve öğretmen görüşlerinin karşılaştırılması (Unpublished master’s thesis). Ankara Üniversitesi, Ankara.
• Field, J. (2008). Listening in the Language Classroom. Cambridge: Cambridge University Press.
• Fraenkel, R. J. & Wallen, E. N. (1993). How to design and evaluate research in education. McGraw-Hill Inc.
• Fulcher, G. (2010). Practical language testing. Hodder Education.
• Ghonsooly, B., & Fatemi, A. H. (2013). The effect of item format on listening comprehension: Multiple-choice versus open-ended formats. Journal of Language Teaching and Research, 4(3), 563–569. https://doi.org/10.4304/jltr.4.3.563-569
• Gültekin, S. (2011). Çoktan seçmeli, açık uçlu ve karma testlerin psikometrik özelliklerinin madde tepki kuramına dayalı olarak değerlendirilmesi (Unpublished master’s thesis). Ankara Üniversitesi, Ankara.
• Haladyna, T. M. (2004). Developing and validating multiple-choice test items. Lawrence Erlbaum Associates, Publishers.
• Haladyna, T. M., & Downing, S. M. (1989). Validity of a taxonomy of multiple-choice item-writing rules. Applied Measurement in Education, 2(1), 51-78.
• Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment. Applied Measurement in Education, 15(3), 309-334.
• In’nami, Y., & Koizumi, R. (2009). A meta-analysis of test format effects on reading and listening test performance: Focus on multiple-choice and open-ended formats. Language Testing, 26(2), 219–244. https://doi.org/10.1177-/0265532208101006
• Kan, A., & Kayapınar, U. (2006). Yabancı dil eğitiminde aynı davranışları yoklayan çoktan seçmeli ve kısa cevaplı iki testin madde ve test özelliklerinin karşılaştırılması. Eğitim ve Bilim, 31(142).
• Karasar, N. (2011). Bilimsel Araştırma Yöntemi. Nobel Yayıncılık.
• Kline, P. (2000). The handbook of psychological testing (2nd ed.). Routledge. https://doi.org/10.43-24/9780203224342
• Kobayashi, M. (2002). Method effects on reading comprehension test performance: Text organization and response format. Language Testing,19(2),193–220. https://doi.org/10.-1191/0265532202lt227oa
• Koçdar, S., Karadağ, N., Şahin, M. D., & Karadeniz, A. (2017). Uzaktan eğitimde çoktan seçmeli soruların güçlük ve ayırt edicilik değerlerinin soru türlerine göre incelenmesi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 32(1), 168-184.
• Millî Eğitim Bakanlığı (2013). Diller için Avrupa Ortak Başvuru Metni: Öğrenme, öğretme ve değerlendirme. MEB Yayınları.
• Millî Eğitim Bakanlığı. (2020). Türkçenin Yabancı Dil Olarak Öğretimi Programı. MEB Yayınları.
• Öksüz, Y., & Demir, E. G. (2019). Açık uçlu ve çoktan seçmeli başarı testlerinin psikometrik özellikleri ve öğrenci performansı açısından karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 34(1), 259-282.
• Öney, S.S. (2023). Aynı özelliği ölçmeye yönelik olarak hazırlanan çoktan seçmeli ve karma testlerin psikometrik özelliklerinin karşılaştırılması. (Unpublished master’s thesis) Hacettepe Üniversitesi, Ankara.
• Özçelik, D. A. (2013). Test hazırlama kılavuzu (5. Baskı). Pegem Akademi Yayınları.
• Özdemir, D. (2004). Çoktan seçmeli testlerin klasik test teorisi ve örtük özellikler teorisine göre hesaplanan psikometrik özelliklerinin iki kategorili ve ağırlıklandırılmış puanlanması yönünden karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 26(26).
• Özsu, M., & Can, N. (2020). İngilizce Dersi Test Maddelerinde Resim Kullanımının Test ve Madde Psikometrik Özelliklerine Etkisi. Kahramanmaraş Sütçü İmam Üniversitesi Sosyal Bilimler Dergisi, 17(1), 85-103. doi: 10.33437-ksusbd.693800-1079141
• Rodriguez, M. C. (2005). Three options are optimal for multiple-choice items: A meta-analysis of 80 years of research. Educational Measurement: Issues and Practice, 24(2), 3-13.
• Sayın, V. & Orbay, K. (2024). Geometride Ölçme Değerlendirme: Çoktan Seçmeli ve Açık Uçlu Sınavların Karşılaştırılması, Üçüncü Sektör Sosyal Ekonomi Dergisi, 59(4), 2918-2931. doi: 10.15659/3.sektor-sosyal-ekonomi.24.12.2564
• Tabachnick, B.G., Fidell, L.S. (2013) Using Multivariate Statistics (sixth ed.) Pearson, Boston (2013)
• Taşkıran, E. (2022). Üniversite öğrencilerinin okuduğunu anlama düzeylerinin belirlenmesinde farklı madde formatlarının karşılaştırılması (Master's thesis) Hasan Kalyoncu Üniversitesi, Gaziantep.
• Temizkan, M., & Sallabaş, M. E. (2011). Okuduğunu anlama becerisinin değerlendirilmesinde çoktan seçmeli testlerle açık uçlu yazılı yoklamaların karşılaştırılması. Dumlupınar Üniversitesi Sosyal Bilimler Dergisi, 30, 207-220.
• Tezel, V.K. (2020) Türkçenin Yabancı Dil Olarak Öğretiminde Dinleme Eğitimi, Türkçenin Yabancı Dil Olarak Öğretimi El Kitabı, Pegem Akademi, 9.Bölüm, 271-310.
• Tozlu, E. (2017). The development of a listening test for learners of turkish as a foreign language. (Master Thesis). Boğaziçi Üniversitesi, İstanbul.
• Turgut, M. F., & Baykul, Y. (2012). Eğitimde ölçme ve değerlendirme. Pegem Akademi.
• Wainer, H., & Thissen, D. (1993). Combining multiple-choice and constructed response test scores: Toward a Marxist theory of test construction. Applied Measurement in Education, 6(2), 103-118.
• Wilson, M. (2005). Constructing measures: An item response modeling approach. Lawrence Erlbaum Associates.
• Yıldırım, A., & Şimşek, H. (2006). Sosyal bilimlerde nitel araştırma yöntemleri (6. baskı). Ankara: Seçkin Yayıncılık.