Test Development For Comprehension Skills In Teaching Turkish As A Foregin Language: The Case of Gazi University TÖMER

Year 2024, Volume: 8 Issue: 1, 246 - 263, 30.06.2024

Nezir Temür Haluk Güngör

https://doi.org/10.48066/kusob.1478059

Abstract

In this research, the validity and reliability of the C1 certification exam prepared by Gazi University TÖMER used in teaching Turkish as a foreign language was examined. The sample of the research consists of reading and listening test data of 250 participants who came to TÖMER between January and October 2023 and took the face-to-face exam. The content validity of the tests was ensured by the table of specifications created by the researchers. The test items were prepared based on CEFR (2020) qualifications and achievements in the MEB Teaching Turkish as a Foreign Language Program (2020). The prepared test forms were presented to expert opinion and necessary arrangements were made in line with the suggestions. After the test preparation phase was completed, the administration of the exams started. After the sample size reached a sufficient number, data analysis began. In addition to descriptive analyzes such as percentage and frequency, factor analysis, item difficulty indices, item discrimination indices, reliability coefficient, average difficulty and average discrimination indices were calculated on the data. Factor analyzes of the tests were performed in the R-based Shiny application. One-dimensional tests were obtained by deleting 6 items from the reading test and 8 items from the listening test with factor load values below .40. In terms of reliability and discrimination, the reading test generally has high reliability and discrimination; It was determined that the listening test had good reliability and discrimination and it was an easy test. When the item analyzes of the reading test were examined, it was understood that 14 items were good, and when the item analyzes of the listening test were examined, 9 items were good and 3 items could be corrected and included in the test. Based on the findings, it was concluded that the items of the reading exam gave better response than the items of the listening exam and that a significant part of the reading exam could be preserved and used.

Keywords

Turkish Teaching to Foreigners, Measurement and Evaluation, Measurement and Evaluation in Teaching Turkish to Foreigners, Test Development

TÜRKÇENİN YABANCI DİL OLARAK ÖĞRETİMİNDE ANLAMA BECERİLERİNE YÖNELİK TEST GELİŞTİRME: GAZİ ÜNİVERSİTESİ TÖMER ÖRNEĞİ

Abstract

Bu araştırmada, Türkçenin yabancı dil olarak öğretiminde kullanılmak üzere Gazi Üniversitesi TÖMER tarafından hazırlanan C1 sertifika sınavının geçerliği ve güvenirliği incelenmiştir. Araştırmanın örneklemi, 2023 yılının Ocak-Ekim ayları arasında TÖMER’e gelerek yüz yüze sınava giren 250 katılımcının okuma ve dinleme sınav verilerinden oluşmaktadır. Testlerin kapsam geçerliği araştırmacılar tarafından oluşturulan belirtke tablosu ile sağlanmıştır. Test maddeleri, CEFR (2020) yeterlikleri ve Türkçenin MEB Yabancı Dil Olarak Öğretimi Programı’ndaki (2020) kazanımlar esas alınarak hazırlanmıştır. Hazırlanan test formları uzman görüşüne sunulmuş ve gelen öneriler doğrultusunda gerekli düzenlemeler yapılmıştır. Test hazırlama aşaması tamamlandıktan sonra sınavların uygulamasına başlanmıştır. Örneklem büyüklüğü, yeterli sayıya ulaştıktan sonra verilerin analizine geçilmiştir. Veriler üzerinde yüzde, frekans gibi betimleyici analizlerin yanı sıra faktör analizi, madde güçlük indeksleri, madde ayırt edicilik indeksleri, güvenirlik katsayısı ve ortalama güçlük ile ortalama ayırt edicilik indeksleri hesaplanmıştır. Testlerin faktör analizleri R tabanlı Shiny uygulamasında yapılmıştır. Faktör yük değerleri .40’ın altında olan 6 madde okuma testinden, 8 madde dinleme testinden silinerek tek boyutlu testler elde edilmiştir. Güvenirlik ve ayırtedicilik açısından ise, okuma testinin genel olarak güvenirliği ve ayırt ediciliği yüksek, kolay; dinleme testinin ise güvenirlik ve ayırt ediciliğinin iyi düzeyde ve kolay bir sınav olduğu belirlenmiştir. Okuma testinin madde analizleri incelendiğinde 14 maddenin iyi, dinleme testinin madde analizleri incelendiğinde ise 9 maddenin iyi, 3 maddenin ise düzeltilerek teste alınabileceği anlaşılmıştır. Ulaşılan bulgulardan hareketle, okuma sınavını oluşturan maddelerin dinleme sınavının maddelerine göre daha iyi tepki verdiği, okuma sınavının önemli bir kısmının korunarak kullanılabileceği sonucuna ulaşılmıştır.

Keywords

Yabancılara Türkçe öğretimi, ölçme ve değerlendirme, yabancılara Türkçe öğretiminde ölçme ve değerlendirme, Test geliştirme

References

• Afflerbach, P. (2005). National reading conference policy brief: High stakes testing and reading assessment. Journal of Literacy Research, 37/2, 151-162.
• American Educational Research Association & American Psychological Association & National Council On Measurement in Education (2014). Standarts for Educational and Psychological Testing. Washington: Americak Educational Research Association.
• Başol, G. (2019). Eğitimde ölçme ve değerlendirme. [Measurement and evaluation in education]. Ankara: Pegem Academy.
• Bilican Demir, S. (2023). Ölçmede geçerlilik. [Validity in measurement] Eğitimde ölçme ve değerlendirme. (p. 53-68) içinde. Ankara: Anı Publication.
• Büyüköztürk, Ş., Çakmak Kılıç, E., Akgün, Ö. E., Karadeniz, Ş. & Demirel, F. (2016). Bilimsel araştırma yöntemleri. [Scientific research methods]. Ankara: Pegem Academy.
• Caldwell, J. S. (2008). Reading assessment: A primer for teachers and coaches (2nd edition). New York: The Guilford Press.
• Council of Europe (2020). Common European framework of reference for languages: Learning, teaching, assessment-Companion volume. Council of Europe Publishing, Strasbourg.
• Çıkrıkçı, N. (2022). Ölçmede güvenilirlik. [Measurement and evaluation in education] In (69-90). Ankara: Anı Publication.
• De Gruijter de, D. N. M. & van der Kamp, Leo, J. Th. (2008). Statistical test theory for he behavioral sciences. Cahpman & Hall/CRC, Taylor & Francis Group.
• DeMars, C. (2010). Item response theory: Understanding statistics measurement. New York: Oxford University Press.
• DeVellis, R. F. (2003). Scale development: Theory and applications. CA: Sage.
• Eke, H. (2023). Developing a reading exam for the A2 level of teaching Turkish as a foreign language. (Unpublished MA Thesis). Bartın University Graduate School.
• Field, A. (2005). Discovering statistics using SPSS (2nd edition). London: Sage Publications.
• Field, A. (2009). Discovering statistics using SPSS (3rd. Edition). London: Sage Publications.
• Flippo, Rona F., Armstrong, Sonya L. & Schumm, Jeanne S. (2018). Reading Tests. Handbook of College Reading And Study Strategy Research (3th edition), Eds. (Rona F. Flippo & Thomas W. Bean) p.340-366. Routledge: New York.