An Examination Turkish Proficiency Exams in Terms of CEFR (2020) Illustrative Descriptors

Abstract

This study aims to investigate the Turkish proficiency exams (TPEs) administered in Turkey from the perspective the language proficiency pre-sented within the Common Framework for Foreign Languages Teaching (CEFR). Within this perspective, the TPEs (2020) conducted by some Turkish and Foreign Languages Application and Research Centers (TÖMERs), na-mely İstanbul University DİLMER, Gazi University TÖMER, Hacettepe University TÖMER, Dokuz Eylül University DEDAM and Sakarya Univer-sity TÖMER were chosen as the sample and were examined regarding the illustrative descriptors emphasized in the CEFR. The qualitative research method was utilized due to its scope and content. In this respect, the cross-sectional screening model was utilized in the study in agreement with the nature of qualitative research. It was attempted to present a situational description of the contextual correlations of Turkish Proficiency Exams (2020) applied nationally in the country with the European Common Re-commendations Framework (2020). In the related context, the test items first presented within the range of the TPEs in question were examined through content analysis in terms of the language proficiency they aimed to measure within the CEFR framework,, and they were divided into various categories in terms of illustrative descriptor scales, illustrative descriptors and common recommendation levels. As far the results are concerned, it was concluded that the test items utilized within the scope of the mentioned measurement tools exhibited an agglomeration towards certain illustrative descriptors presented in relation to certain illustrative descriptor scales related to the CEFR, and this situation negatively affected the content validity of the rele-vant TPEs. Based on the relevant context, increasing the number of illustra-tive descriptor scales and the diversity of illustrative descriptors that show alignment within the scope of testing instruments may be considered as a proposed solution.

Keywords

• CEFR based testing and assessment
• illustrative descriptor
• illustrative desc-riptor scale
• teaching Turkish as a foreign language
• Turkish proficiency test

Türkçe Yeterlik Sınavlarının D-AOBM (2020) Örnek Tanımlayıcıları Açısından İncelenmesi

Öz

Bu çalışma, Türkiye’de uygulanan Türkçe Yeterlik Sınavları’nı (TYS), Diller için Ortak Başvuru Metni (D-AOBM) kapsamında sunulan dil yeter-likleri açısından incelemeyi amaçlamaktadır. İlgili bağlamda, İstanbul Üni-versitesi DİLMER, Gazi Üniversitesi TÖMER, Hacettepe Üniversitesi TÖMER, Dokuz Eylül Üniversitesi DEDAM ve Sakarya Üniversitesi TÖMER tarafından 2020 yılında gerçekleştirilen TYS’ler örneklem olarak seçilmiş ve D-AOBM’de vurgulanan örnek tanımlayıcılar açısından ince-lenmiştir. Araştırmanın kapsamı ve içeriği gereği nitel araştırma yöntemi kullanılmıştır. Bu doğrultuda, nitel araştırmanın doğasına uygun olarak ça-lışmada kesitsel tarama modeli uygulanmıştır. Ulusal olarak uygulanan Türkçe Yeterlik Sınavları’nın (2020), D-AOBM (2020) ile bağlamsal ilişkileri-ne ilişkin durumsal bir betimleme sunulmaya çalışılmıştır. İlgili bağlamda, söz konusu TYS’ler kapsamında sunulan test maddeleri öncelikle CEFR çer-çevesinde ölçmeyi amaçladıkları dil yeterlikleri açısından içerik analizi yo-luyla incelenmiş ve örnek tanımlayıcı ölçekler, örnek tanımlayıcılar ve ortak öneri seviyeleri açısından çeşitli kategorilere ayrılmıştır. Sonuçlar incelendi-ğinde, söz konusu ölçme araçları kapsamında kullanılan test maddelerinin, D-AOBM ile ilişkili belirli örnek tanımlayıcı ölçekler doğrultusunda belirli örnek tanımlayıcılara doğru bir kümelenme sergilediği ve bu durumun ilgili TYS’lerin kapsam geçerliliğini olumsuz etkilediği sonucuna varılmıştır. İlgili bağlamdan hareketle ölçme araçları kapsamında eşleşme gösteren örnek tanımlayıcı ölçek ve örnek tanımlayıcı çeşitliğinin arttırılması, bir çözüm önerisi olarak ele alınabilir.

Anahtar Kelimeler

• D-AOBM tabanlı ölçme ve değerlendirme
• örnek tanımlayıcı
• örnek tanım-layıcı ölçek
• Türkçe yeterlik testi
• yabancı dil olarak Türkçe öğretimi.

Kaynakça

1. Bachman, L.F. Fundamental considerations in language testing. Oxford: Oxford University Press, 1995.
2. Bakır, Sıddık. “Turkish teaching centres to the foreigners in Turkey and Ataturk University Language Teaching Application and Research Centre (DILMER)].” TAED, 51 (23 April 2014), 435-456.
3. Birol, Cem – Özbay, Murat. Yabancılara Türkçe öğretimi için ölçme ve değerlendirme soruları. [Measurement and evaluation questions for teaching Turkish to foreigners]. Ankara: Pegem Academy, 2013.
4. Boylu, Emrah- Başar, Umut. “On the current situatıon of Turkish teaching centers and their standardization” The Journal of Academic Social Science, 4724 (01 January 2016), 309-324. https://asosjournal.com/? mod=tammetin&makaleadi=&makaleurl=875945058_1042%20Em ah%20BOYLU.pdf&key=33557
5. Boylu, Emrah. Yabancılara Türkçe öğretiminde ölçme değerlendirme uygulamaları standart oluşturma [Measurement assessment practices and standardization i̇n teaching Turkish to foreigners]. Çanakkale: Çanakkale Onsekiz Mart University, Institute of Educational Sciences, Doktora Tezi, 2016.
6. Canale, Michael – Swain, Merrill. “Theoretical bases of communicative approaches to second language teaching and testing” Applied Linguistics, 1(1) (01 March 1980), 1-47. https://academic.oup.com/applij/article-abstract/I/1/1/181953
7. Cronbach, L. J. “Validity on parole: how can we go straight?” New directions for testing and measurement: measuring progress over a decade in, W. B. Schrader (Ed.) 99-108. Jassey-Bass, 1980.
8. Demirel, Serkan. Türkçe Yeterlik Sınavı’nın uluslararası geçerliğe sahip bazı yeterlik sınavlarıyla karşılaştırılması. [Comparison of Turkish Proficiency Exam (TPE) with international language proficiency exams]. Nevşehir: Nevşehir Hacı Bektaş Veli University, Institute of Social Sciences, Yüksek Lisans Tezi, 2019.

9. Durmuş, Mustafa. “Teaching Turkısh to foreıgners: Problems, solutıons and ıdeas on the future of teachıng turkısh to foreıgners” Adıyaman University Journal of Social Sciences, 6(11) (31 January 2013), 207-228. https://dergipark.org.tr/tr/pub/adyusbd/issue/1392/16419
10. Epçaçan, Cahit. “Functional Linguistics as for Linguistic Applications in Turkish Language Teaching” Procedia - Social and Behavioral Sciences 116 (February 2014), 5063-5069. https://www.sciencedirect.com/science/article/pii/S187704281401091X
11. Erdem, İlhan. “Speech disorders encountered during speech therapy and therapy techniques” Adıyaman University Journal of Social Sciences 11 (01 January 2013), 415-415. https://dergipark.org.tr/tr/download/article-file/15158
12. Europe, Council of. Common European Framework of Reference for Languages: Companion Volume. Namur: Council of Europe, 2020.
13. Gedik, Enver. Yabancı dil olarak Türkçe öğretiminde ölçme ve değerlendirme [An assessment and evaluation in teaching Turkish as a foreign language]. İstanbul: İstanbul Arel University, Institute of Social Sciences, Yüksek Lisans Tezi, 2017.
14. Hancock, Andy. “Attitudes and approaches to literacy in Scottish Chinese families” Language and Education, 20 (5) (22 December 2006), 355-373. DOI: 10.2167/le641.0
15. Harrison, Andrew. A language testing handbook. London: Macmillian, 1983.
16. Heaton, J.B. Classroom testing. London: Longman, 1990.
17. Işıkoğlu, Metin. Yabancı dil olarak Türkçe öğretiminde kullanılan yeterlik sınavlarının madde yazımı bakımından incelenmesi: Mersin ve Sakarya üniversiteleri örneği. [Analysis of proficiency exams developed for teaching Turkish as a foreign language in terms of item writing samples of Mersin and Sakarya universities]. Erzurum: Atatürk University, Institute of Educational Sciences, Yüksek Lisans Tezi, 2015.
18. Karagöl, Efecan. “Proficiency Exams in Teaching Turkish as a Foreign Language in TÖMER (Turkish and Foreign Languages Research and Application Centers)”. Dil ve Dilbilimi Çalışmaları Dergisi 16/2 (28 Haziran 2020), 930-947. https://doi.org/10.17263/jlls.759347
19. Kocayanak, Dilek. Yabancı dil olarak Türkçe öğretenlerin konuşma becerisini ölçme becerisini ölçme sürecine yönelik uygulamaları [Implementation of Turkish teachers as a foreign language in the process of testing speaking skill]. Ankara: Hacettepe University, Institute of Turkish Studies, Doktora Tezi, 2021.
20. Llurda, Enric. “On Competence, Proficiency, and Communicative Language Ability”. International Journal of Applied Linguistics 10/1 (June 2000), 85-96. https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1473- 4192.2000.tb00141.x
21. Maslow, Abraham. “A Theory of human motivation” Psychological Review, 50 (1943), 370-396. https://psycnet.apa.org/record/1943-03751-001
22. Nunnally, Jum- Bernstein, Ira. Psychometric theory. McGaw Hill, 1994.
23. North, B. The development of a common framework scale of language proficiency. New York: Peter Lang Publishing, 2012.
24. Piedmont, Ralp. “Criterion validity”. Encyclopedia of quality of life and well-being research, Michalos, A.C. (Eds). Springer, 2014.
25. Sertdemir, Ercan. Yabancı dil olarak Türkçe öğretiminde kullanılan yeterlik sınavlarının yenilenmiş Bloom taksonomisine göre incelenmesi. [An analysis of Turkish proficiency exams used in teaching Turkish as a foreign language according to the Revised Bloom's Taxonomy]. Çanakkale: Çanakkale Onsekiz Mart University, Institute of Educational Sciences, Yüksek Lisans Tezi, 2021.