TOMA: Türkçe Okunabilirlik ve Metin Analizi Programı’nın Geliştirilmesi

Öz

Bu çalışmada Türkçe metinlerin okunabilirliğinin ve bağdaşıklık/tutarlılık durumlarının otomatik olarak analiz edilebilmesi için bir program tasarlanması ve bu programın hesaplama doğruluğunun sınanması amaçlanmıştır. Bu amaç kapsamında Python ve çeşitli NLP araçları kullanılarak Türkçe için geliştirilmiş okunabilirlik formüllerini ve bağdaşıklık/tutarlılık formülünü otomatik olarak hesaplayan program geliştirilmiştir. 15’ten fazla parametreyi ve 8 formülü hesaplayan programın hesaplama doğruluğu 57 metinden oluşan derlem ile değerlendirilmiş ve programın, formülleri yüksek doğrulukla hesaplayabildiği saptanmıştır. Formülleri yüksek doğrulukla hesapladığı teyit edilen program, bu çalışmada verilen bağlantı ile açık erişimli olarak araştırmacıların kullanımına sunulmuştur. Geliştirilen programdan elde edilen yüksek doğruluktaki sonuçlar doğrultusunda TOMA aracının büyük derlem analizlerinde ve okunabilirlik araştırmalarında kullanılmasına ve programın sağladığı zaman tasarrufundan hareketle gerçekleştirilen metin analizi/okunabilirlik çalışmalarının kapsamının genişletilmesine yönelik önerilerde bulunulmuştur.

Anahtar Kelimeler

• Metin analizi
• okunabilirlik
• bağdaşıklık
• tutarlılık

TOMA: Development of Turkish Readability and Text Analysis Software

Öz

This study aimed to develop a program for the automatic analysis of the readability and cohesion/coherence of Turkish texts and to evaluate the computational accuracy of the program. For this purpose, a program was developed using Python and various NLP tools to automatically calculate readability formulas developed for Turkish as well as a cohesion/coherence formula. The computational accuracy of the program, which calculates more than 15 parameters and eight formulas, was evaluated using a corpus of 57 texts, and the results showed that the program was able to calculate the formulas with a high degree of accuracy. Having demonstrated its high computational accuracy, the program has been made openly accessible to researchers through the link provided in this study. Based on the highly accurate results obtained from the developed program, it is recommended that the TOMA tool be used in large-scale corpus analyses and readability research and that the scope of text analysis/readability studies be expanded by taking advantage of the time savings provided by the program.

Anahtar Kelimeler

• Text analysis
• readability
• coherence
• cohesion

Kaynakça

1. Aminovna, B. D. (2022). Importance of coherence and cohesion in writing. Eurasian Research Bulletin, 4, 83–89.
2. Ateşman, E. (1997). Türkçede okunabilirliğin ölçülmesi. Dil Dergisi, 58, 71–74.
3. Bezirci, B., & Yılmaz, A. E. (2010). Metinlerin okunabilirliğinin ölçülmesi üzerine bir yazılım kütüphanesi ve Türkçe için yeni bir okunabilirlik ölçütü. Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi, 12(3), 49–62. https://izlik.org/JA72ZC62RP
4. Budak, Y. (2005). Metinlerin okunabilirlik düzeyinin saptanmasına yönelik eleştirel bir bakış. Eurasian Journal of Educational Research, (21), 76–87.
5. Crossley, S. A., Kyle, K., & McNamara, D. S. (2016). The tool for the automatic analysis of text cohesion (TAACO): Automatic assessment of local, global, and text cohesion. Behavior Research Methods, 48(4), 1227–1237. https://doi.org/10.3758/s13428-015-0651-7
6. Crossley, S. A., Kyle, K., & Dascalu, M. (2019). The tool for the automatic analysis of cohesion 2.0: Integrating semantic similarity and text overlap. Behavior Research Methods, 51(1), 14–27. https://doi.org/10.3758/s13428-018-1142-4
7. Çetinkaya, G. (2010). Türkçe metinlerin okunabilirlik düzeylerinin tanımlanması ve sınıflandırılması [Doktora tezi, Ankara Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
8. Dascalu, M., Trausan-Matu, S., Dessus, P., & McNamara, D. S. (2015). Discourse cohesion: A signature of collaboration. In Proceedings of the fifth international conference on learning analytics and knowledge (pp. 350–354). Association for Computing Machinery. https://doi.org/10.1145/2723576.2723578

9. DuBay, W. H. (2004). The principles of readability. Impact Information.
10. Flesch, R. (1943). Marks of readable style: A study in adult education. Teachers College, Columbia University.
11. Flesch, R. (1948). A new readability yardstick. Journal of Applied Psychology, 32(3), 221–233. https://doi.org/10.1037/h0057532
12. George, D., & Mallery, P. (2010). SPSS for Windows step by step: A simple guide and reference, 17.0 update (10th ed.). Allyn & Bacon.
13. Graesser, A.C., & McNamara, D.S. (2011), Computational analyses of multilevel discourse comprehension. Topics in Cognitive Science, 3, 371-398. https://doi.org/10.1111/j.1756-8765.2010.01081.x
14. Graesser, A. C., McNamara, D. S., & Louwerse, M. M. (2003). What do readers need to learn in order to process coherence relations in narrative and expository text? In A. P. Sweet & C. E. Snow (Eds.), Rethinking reading comprehension (pp. 82–98). Guilford Press.
15. Graesser, A. C., McNamara, D. S., Louwerse, M. M., & Cai, Z. (2004). Coh-Metrix: Analysis of text on cohesion and language. Behavior Research Methods, Instruments, & Computers, 36(2), 193–202. https://doi.org/10.3758/BF03195564
16. Güneş, F. (2000). Okuma-yazma öğretimi ve beyin teknolojisi. Ocak Yayınları.
17. Gunning, R. (1952). The technique of clear writing. McGraw-Hill.
18. Hall, S., Basran, J., Paterson, K. B., Kowalski, R., Filik, R., & Maltby, J. (2014). Individual differences in the effectiveness of text cohesion for science text comprehension. Learning and Individual Differences, 29, 74–80. https://doi.org/10.1016/j.lindif.2013.10.014
19. Halliday, M. A. K., & Hasan, R. (1976). Cohesion in English. Longman.
20. Kalyoncu, M. R. (2025). Türkçe için yeni bir okunabilirlik formülü [Yüksek lisans tezi, Ondokuz Mayıs Üniversitesi]. Ondokuz Mayıs Üniversitesi Açık Erişim Sistemi.
21. Kalyoncu, M. R., Akdoğan, B. A., Memiş, M., & Kamışlı Öztürk, Z. (2026). Automatic measurement of cohesion and coherence in agglutinative languages: A cohesion and coherence formula for Turkish. Glottometrics, 61, 1-25.
22. Kalyoncu, M. R., & Memiş, M. (2024). Türkçe için oluşturulmuş okunabilirlik formüllerinin karşılaştırılması ve tutarlılık sorgusu. Ana Dili Eğitimi Dergisi, 12(2), 417–436. https://doi.org/10.16916/aded.1434650
23. Karatay, H. (2010). Bağdaşıklık araçlarını kullanma düzeyi ile tutarlı metin yazma arasındaki ilişki. Mustafa Kemal Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 7(13), 373–385.
24. Kincaid, J. P., Fishburne, R. P., Rogers, R. L., & Chissom, B. S. (1975). Derivation of new readability formulas (Automated Readability Index, Fog Count, and Flesch Reading Ease Formula) for Navy enlisted personnel (Research Branch Report 8–75). Chief of Naval Technical Training. https://doi.org/10.21236/ADA006655
25. Klare, G. R. (1984). Readability. In P. D. Pearson (Ed.), Handbook of reading research (pp. 681–744). Longman.
26. Leli, L. (2020). Analysis of coherence and cohesion on students’ academic writing: A case study at the 3rd year students at English education program. Alsuna: Journal of Arabic and English Language, 3(2), 74–82. https://doi.org/10.31538/alsuna.v3i2.980
27. McLaughlin, G. H. (1969). SMOG grading: A new readability formula. Journal of Reading, 12(8), 639–646.
28. Memiş, M., & Kalyoncu, M. R. (2024). Türkçe ders kitaplarında okunabilirlik. In M. Memiş (Ed.), Türkçe ders kitabı inceleme kılavuzu (pp. 249–276). Nobel Akademik Yayıncılık.
29. Ozuru, Y., Dempsey, K., & McNamara, D. S. (2009). Prior knowledge, reading skill, and text cohesion in the comprehension of science texts. Learning and Instruction, 19(3), 228–242. https://doi.org/10.1016/j.learninstruc.2008.04.003
30. Smith, E. A., & Senter, R. J. (1967). Automated readability index (AMRL-TR-66-220). Aerospace Medical Research Laboratories.
31. Stenner, A. J., Burdick, H., Sanford, E. E., & Burdick, D. S. (2006). How accurate are Lexile text measures? Journal of Applied Measurement, 7(3), 307–322.
32. van Dijk, T. A. (1981). Discourse studies and education. Applied Linguistics, 2(1), 1–26. https://doi.org/10.1093/applin/II.1.1