A Learning Analytics-Based Automated Evaluation of Turkish Written Texts by Foreign Learners

Abstract

This study aims to analyse international students' written Turkish texts using automatic linguistic metrics and to reveal the potential of these metrics in evaluating student performance. The research is designed as a descriptive preliminary study that could provide data for learning analytics applications. The study group consists of 12 international students learning Turkish as a foreign language at a university and possessing writing skills at the A2–B1 levels. Participants produced texts based on three writing tasks titled “My Day”, “What I Did on Holiday”, and “My Dream Job”; data were collected through document review over six weeks during the spring term of the 2024–2025 academic year. The collected texts were processed using the Python programming language and the Zemberek NLP library, and basic linguistic criteria such as word count, word variety ratio, average sentence length, average number of sentences, and spelling errors were analysed. The findings revealed significant individual differences among the students. The average word count was determined to be 654, the word variety ratio 0.239, the average sentence length 4.92 words, the average number of sentences 136, and the average number of spelling errors 9.17. These values provide objective data on students' productivity level, vocabulary diversity, syntactic preferences, and spelling accuracy. Considering the agglutinative and morphologically complex structure of Turkish, the study demonstrates that automatic written assessment systems can make significant contributions to the educational process. However, it emphasises the need to develop more advanced deep learning models, for teachers to use data-based feedback mechanisms, and for ethical data management principles to be applied. In conclusion, automatic text analysis offers opportunities for objective assessment in Turkish language teaching; however, additional data sources and more comprehensive research are needed to create a holistic learning analytics model.

Keywords

• Automated writing evaluation
• Learning analytics
• Turkish language teaching
• Natural language processing

Öğrenme Analitiği Yaklaşımıyla Yabancı Öğrencilerin Türkçe Yazılı Metinlerinin Otomatik İncelemesi

Abstract

Bu çalışma, yabancı öğrencilerin Türkçe yazılı metinlerini otomatik dilsel metrikler aracılığıyla analiz etmeyi ve bu metriklerin öğrenci performansını değerlendirmedeki potansiyelini ortaya koymayı amaçlamaktadır. Araştırma, öğrenme analitiği uygulamalarına veri sağlayabilecek betimleyici nitelikte bir ön çalışma olarak tasarlanmıştır. Çalışma grubunu bir üniversitede Türkçeyi yabancı dil olarak öğrenen ve A2–B1 düzeylerinde yazma becerisine sahip 12 uluslararası öğrenci oluşturmaktadır. Katılımcılar, “Benim Bir Günüm”, “Tatilde Ne Yaptım?” ve “Hayalimdeki Meslek” başlıklı üç yazma görevi doğrultusunda metin üretmiş; veriler 2024–2025 öğretim yılı bahar döneminde altı haftalık süreçte doküman incelemesi yoluyla toplanmıştır. Toplanan metinler Python programlama dili ve Zemberek NLP kütüphanesi kullanılarak işlenmiş ve kelime sayısı, sözcük çeşitliliği oranı, ortalama cümle uzunluğu, ortalama cümle sayısı ve yazım hatası gibi temel dilsel ölçütler analiz edilmiştir. Bulgular öğrenciler arasında belirgin bireysel farklılıklar bulunduğunu göstermiştir. Ortalama kelime sayısı 654, sözcük çeşitliliği oranı 0,239, ortalama cümle uzunluğu 4,92 kelime, ortalama cümle sayısı 136 ve ortalama yazım hatası 9,17 olarak belirlenmiştir. Bu değerler, öğrencilerin üretkenlik düzeyi, söz varlığının çeşitliliği, sözdizimsel tercihleri ve yazım doğruluğu hakkında nesnel veriler sunmaktadır. Çalışma, Türkçenin eklemeli ve morfolojik açıdan karmaşık yapısı göz önüne alındığında otomatik yazılı değerlendirme sistemlerinin eğitim sürecine önemli katkılar sağlayabileceğini göstermektedir. Bununla birlikte daha gelişmiş derin öğrenme modellerinin geliştirilmesi, öğretmenlerin veri temelli geri bildirim mekanizmalarını kullanması ve etik veri yönetimi ilkelerinin uygulanması gerektiği vurgulanmaktadır. Sonuç olarak otomatik metin analizi Türkçe öğretiminde nesnel değerlendirme fırsatları sunmaktadır ancak bütüncül bir öğrenme analitiği modeli oluşturmak için ek veri kaynaklarına ve daha kapsamlı araştırmalara ihtiyaç duyulmaktadır.

Keywords

• Otomatik değerlendirme
• Öğrenme analitiği
• Türkçe öğretimi
• Doğal dil işleme

References

1. Adalı, E. (2020). Türkçe doğal dil işleme. Akçağ.
2. Aram, K., Erdemir, G., & Can, B. (2021). Açık kaynak kod Türkçe doğal dil işleme kütüphanelerinin robotik uygulamalarda kullanımı. İstanbul Sabahattin Zaim Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 3(2), 133-137. https://doi.org/10.47769/izufbed.880143
3. Attali, Y. & Burstein, J. (2006). Automated essay scoring with e-rater® V. 2. The Journal of Technology, Learning and Assessment, 4(3), 1-31. https://doi.org/10.1002/j.2333-8504.2004.tb01972.x
4. Babayigit, B., Rahmani, H., & Abubaker, M. (2025). TRBot: A Turkish Deep Learning Chatbot Utilizing Seq2Seq Model. IEEE Access. https://doi.org/10.1109/ACCESS.2025.3550852
5. Baker, R. S., Hutt, S., Brooks, C. A., Srivastava, N., & Mills, C. (2024). Open science and educational data mining: Which practices matter most? Proceedings of the 17th International Conference on Educational Data Mining içinde (s. 279-287). International Educational Data Mining Society (EDM).
6. Banerjee, S. N. (2020). Conceptualizing gestural representations in ESL classrooms: Alternative theoretical approaches. University.
7. Bektik, D. (2017). Learning analytics for academic writing through automatic identification of meta-discourse. Open University.
8. Bird, S., Klein, E., & Loper, E. (2009). Natural language processing with Python: analyzing text with the natural language toolkit. O'Reilly Media.

9. Council of Europe. (2001). Common European framework of reference for languages: Learning, teaching, assessment. Council for Cultural Co-operation. Education Committee. Modern Languages Division, Cambridge University.
10. Crossley, S. A., Kyle, K., & McNamara, D. S. (2016). The tool for the automatic analysis of text cohesion (TAACO): Automatic assessment of local, global, and text cohesion. Behavior Research Methods, 48, 1227-1237. https://doi.org/10.3758/s13428-015-0651-7
11. Dikili, S. (2006). An overview of automated scoring of essays. The Journal of Technology, Learning and Assessment, 5(1), 1-36.
12. Ferguson, R. (2012). Learning analytics: drivers, developments and challenges. International Journal of Technology Enhanced Learning, 4(5-6), 304-317. https://doi.org/10.1504/IJTEL.2012.051816
13. Ifenthaler, D. & Widanapathirana, C. (2014). Development and validation of a learning analytics framework: Two case studies using support vector machines. Technology, Knowledge and Learning, 19, 221-240.
14. Kahveci, N. (2022). Yabancı dil olarak Türkçe eğitiminde yazma becerisini değerlendirmeye yönelik dereceli puanlama anahtarı geliştirme çalışması. (Yüksek Lisans Tezi). https://tez.yok.gov.tr/ sayfasından erişilmiştir.
15. Karasar, N. (2005). Bilimsel araştırma yöntemi (17. b.). Nobel.
16. Kandel, S., Parikh, R., Paepcke, A., Hellerstein, J. M., & Heer, J. (2012). Profiler: Integrated statistical analysis and visualization for data quality assessment. Proceedings of the International Working Conference on Advanced Visual Interfaces içinde (s. 547-554).
17. Knight, S., Buckingham Shum, S., & Littleton, K. (2013). Epistemology, pedagogy, assessment and learning analytics. Proceedings of the Third International Conference on Learning Analytics and Knowledge içinde (s. 75-84). Association for Computing Machinery (ACM). https://doi.org/10.1145/2460296.2460312
18. Landis, J. R. & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174. https://doi.org/10.2307/2529310
19. Lu, X. (2012). The relationship of lexical richness to the quality of ESL learners' oral narratives. The Modern Language Journal, 96(2), 190-208. https://doi.org/10.1111/j.1540-4781.2011.01232-1.x
20. McCarthy, P. M., & Jarvis, S. (2010). MTLD, vocd-D, and HD-D: A validation study of sophisticated approaches to lexical diversity assessment. Behavior Research Methods, 42(2), 381-392.
21. Onan, B. (2009). Eklemeli dil yapısının Türkçe öğretiminde oluşturduğu bilişsel (kognitif) zeminler. Mustafa Kemal Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 6(11), 236-263.
22. Prinsloo, P. & Slade, S. (2015). Student privacy self-management: Implications for learning analytics. Proceedings of the Fifth International Conference on Learning Analytics and Knowledge içinde (s. 83-92). Association for Computing Machinery. https://doi.org/10.1145/2723576.2723585
23. Ramage, D., Manning, C. D., & Dumais, S. (2011). Partially labeled topic models for interpretable text mining. Proceedings of the 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining içinde (s. 457-465). Association for Computing Machinery. https://doi.org/10.1145/2020408.2020481
24. Shermis, M. D. & Burstein, J. (2013). Handbook of automated essay evaluation. Routledge.
25. Siemens, G. (2013). Learning analytics: The emergence of a discipline. American Behavioral Scientist, 57(10), 1380-1400. https://doi.org/10.1177/0002764213498851
26. Siemens, G. & Long, P. (2011). Penetrating the fog: Analytics in learning and education. EDUCAUSE Review, 46(5), 1-6.
27. Toscu, S. (2025). ChatGPT: Is it reliable as an automated writing evaluation tool? Anadolu Journal of Educational Sciences International, 15(1), 329-349. https://doi.org/10.18039/ajesi.1463503
28. Warschauer, M. & Ware, P. (2006). Automated writing evaluation: Defining the classroom research agenda. Language Teaching Research, 10(2), 157-180. https://doi.org/10.1191/1362168806lr190oa
29. Weigle, S. C. (2002). Assessing writing. Cambridge University.
30. Yıldırım, A. & Şimşek, H. (2005). Sosyal bilimlerde nitel araştırma yöntemleri (5. b.). Seçkin.