Comparison of Psychometric Properties of Turkish as a Foreign Language Listening Tests Composed of Independent and Common-Stem Items

Bu araştırmada, yabancı dil olarak Türkçe öğretiminde, aynı özelliği ölçen, çoktan seçmeli madde türünde bağımsız ve ortak köklü maddelerden oluşan Türkçe dinleme testlerinin psikometrik özellikleri karşılaştırmalı olarak incelenmiştir. Ayrıca, öğrencilerin bu iki farklı madde yapısına yönelik algıları da değerlendirilmiştir. Araştırma, betimsel araştırma türünde, ilişkisel tarama modelinde tasarlanmıştır. Araştırmanın çalışma grubunu, 2024-2025 eğitim-öğretim yılında Türkçe Öğretim Merkezlerinde B1 düzeyinde öğrenim gören 201 yabancı uyruklu öğrenci oluşturmaktadır. Ölçme araçları, Concerto platformu üzerine inşa edilmiş ve test uygulaması çevrimiçi ortamda, tek oturumda ve üç aşamalı olarak gerçekleştirilmiştir. Araştırma bulgularına göre, madde güçlük indeksleri karşılaştırıldığında, bazı madde çiftlerinde madde formatına bağlı anlamlı farklılıklar ve orta ile büyük düzeyde etki büyüklükleri saptanmış, bu durum madde formatının öğrenci başarısını etkileyebileceğini ortaya koymuştur. Madde ayırt edicilik indeksleri incelendiğinde de benzer şekilde bazı madde çiftlerinde anlamlı farklar görülmüş; her iki testin genel olarak yüksek ayırt ediciliğe sahip maddelerden oluştuğu belirlenmiştir. Test puan ortalamaları incelendiğinde, bağımsız madde testi, öğrenciler tarafından 0,05 hata düzeyinde anlamlı olarak daha yüksek başarı ile tamamlandığı görülmüştür. Her iki test puanlarının güvenirlik katsayıları yüksek bulunmuş ve aralarında istatistiksel olarak anlamlı bir fark tespit edilmemiştir. Madde yapısına yönelik öğrenci algılarına göre, bağımsız madde testi süre yönetimi ve çevrimiçi uygulama açısından daha avantajlı bulunmuştur. Buna karşılık, ortak köklü madde testi madde formatının zorlayıcılığı daha fazla algılanmıştır. Her iki madde formatı da soru anlaşılırlığı ve dinleme sorularını yanıtlama kolaylığı açısından benzer düzeyde olumlu geri bildirim almıştır. Bu sonuçlar, yabancı dil olarak Türkçe öğretiminde dinleme becerilerini ölçmeye yönelik testlerde bağımsız madde yapısının, öğrencilerin daha yüksek başarı elde etmesine ve madde ayırt ediciliğinin artmasına katkı sağlayabileceğini göstermektedir.

This study comparatively examined the psychometric properties of Turkish listening tests composed of independent and common-stem multiple-choice items that measure the same construct in the context of teaching Turkish as a foreign language. Additionally, students’ perceptions of these two different item formats were evaluated. The research was designed as a descriptive study using a relational survey model. The study group consisted of 201 international students enrolled at the B1 level in Turkish Language Teaching Centers during the 2024–2025 academic year. The assessment tools were developed on the Concerto platform, and the tests were administered online in a single session across three stages. According to the findings, comparisons of item difficulty indices revealed statistically significant differences and moderate to large effect sizes in some item pairs, indicating that item format may influence student performance. Similarly, item discrimination indices showed significant differences in several item pairs, although both tests overall consisted of highly discriminative items. Analysis of test mean scores showed that the independent item test yielded significantly higher performance at the 0.05 level. The reliability coefficients of both tests were high, with no statistically significant difference between them. Based on students’ perceptions, the independent item test was found to be more advantageous in terms of time management and online usability. In contrast, the common-stem item format was perceived as more cognitively demanding. Both item types received similarly positive feedback regarding item clarity and ease of answering listening questions. These results suggest that in teaching Turkish as a foreign language, independent items may contribute to higher student achievement and improved item discrimination in listening assessments.