THE LIMITS OF MACHINE TRANSLATION: A QUALITY ANALYSIS OF MACHINE TRANSLATION IN LITERARY TEXT

Year 2025, Volume: 8 Issue: 1, 314 - 326, 28.03.2025

Emrullah Dalmış , Musa Yıldız

https://doi.org/10.37999/udekad.1627217

Abstract

This study examines the translation quality and post-editing adequacy of machine translation tools (Google, Yandex, DeepL) in the Arabic-to-Turkish direction for the literary text type. For this purpose, an eight-segment passage from Ala al-Aswani’s novel The Yacoubian Building was selected. Additionally, a taxonomy and scoring system for translation errors were developed to assess translation quality in the Turkish-Arabic language pair. Errors were categorized into three types: critical, major, and minor. Upon applying the established evaluation method to the translations of Google, Yandex, and DeepL, it was observed that Google Translate produced an inadequate translation, receiving a score of 13.64. These points were obtained from the first three segments. While the first three segments that received scores were found to be partially suitable for post-editing, the remaining segments were deemed insufficient for this purpose. In the literary text type, Yandex Translate contained 17 critical errors and received a score of 0 out of 100. Yandex's translation output was found to be inadequate for both general translation and post-editing. On the other hand, DeepL Translate produced only seven errors across the eight segments of the literary text and received a score of 54.68, indicating that its translation was sufficiently suitable for post-editing.

Keywords

Turkish-Arabic Machine Translation, Translation Quality Assessment, Error Classification, Post-editing, Translation Technology

MAKİNE ÇEVİRİSİNİN SINIRLARI: EDEBİ METİN TÜRÜNDE MAKİNE ÇEVİRİSİ KALİTE ANALİZİ

Abstract

Bu çalışmada Arapçadan Türkçe yönüne makine çevirisi araçlarının (Google, Yandex, DeepL) edebi metin türünde çeviri kaliteleri ve post-editing işlemi için yeterlikleri incelenmiştir. Bunun için Ala el-Esvânî’nin Yakupyan Apartmanı adlı romanından sekiz segmentlik bir pasaj seçilmiştir. Çalışmada ayrıca Türkçe-Arapça dil çiftinde çeviri kalitesini ölçmek için hata taksonomisi ve puanlaması yapılmıştır. Hatalar kritik, majör ve minör olmak üzere üç kategoriye ayrılmıştır. Belirlenen ölçme aracının uygulanması neticesinde edebi metin türünün Google, Yandex ve DeepL çevirileri incelendiğinde; Google çeviri aracının 13,64 puanlık çeviriyle yetersiz bir çeviri ortaya koyduğu anlaşılmıştır. Bu alınan puanlar ilk üç segmentten elde edilmiştir. Puan alabilen ilk üç segmentin post-editing işlemi için kısmen yeterli çeviriler olsa da diğer segmentlerin çevirileri post-editing işlemi için yetersiz bulunmuştur. Edebi metin türünde Yandex çeviri aracı 17 kritik hata içererek 100 puan üzerinden 0 puan almıştır. Yandex çeviri aracı edebi metin türünde geçerli bir çeviri çıktısı sunamamış ve bu çıktı post-editing işlemi için de yetersiz bulunmuştur. DeepL çeviri aracı ise sekiz segmentten oluşan edebi metnin çevirisinde sadece yedi hata yapmış ve 54.68 puan alarak post-editing için yeterli bir çeviri ortaya koyduğu sonucuna ulaşılmıştır.

Keywords

Türkçe-Arapça Makine Çevirisi, Çeviri Kalite Değerlendirmesi, Hata Sınıflandırması, Post-editing, Çeviri Teknolojileri

References

• Castilho, S., Gaspari, F., Moorkens, J., Calixto, I. Tinsley, J., Andy, W., & Doherty, S. (2017). Is neural machine translation the new state of the art? The Prague Bulletin of Mathematical Linguistics, 108 (108), 109-120. doi: 10.1515/pralin-2017-0013.
• Esvânî, A. (2009). ‘İmâretu Ya’ḳûbyân. Daru’ş-Şuruḳ Yayınevi.
• Hutchins, W. J. (2007). Machine translation: a concise history. C. S. Wai (Edt.) Computer aided translation: Theory and practice. pp.1-21. Hong Kong Çin Üniversitesi Yayınları.
• Koponen, M. (2016). Is machine translation post-editing worth the effort? A survey of research into post-editing and effort. Journal of Specialised Translation, 25, 131-148.
• Krings, H. P. (2001). Repairing texts: Empirical investigations of machine translation post-editing processes. Kent State Universitesi Yayınları.
• O’Brien, S. (2012). Post-editing of machine translation: Processes and applications. Cambridge Scholars Yayınları.
• Popovic, M. (2018) Error classification and analysis for machine translation quality assesment. J. Moorkens, S. Castilho, F. Gaspari, & S Doherty (Edt.), Translation quality assesment: From principles to practice. pp. 129-158). Springer.
• Snover, M., Dorr, B., Schwartz, R., Micciulla, L., & Makhoul, J. (2006). A study of translation edit rate with targeted human annotation. [Bildiri sunumu]. 7. Conference of the Association for Machine Translation Konferansı. Massachusetts.
• Şanverdi, H. İ., & Işıdan, A. (2021). Makine Çevirisi: Türkçe-Arapça Çeviri Bağlamında Google ve Yandex Çeviri Örneği. Söylem Filoloji Dergisi, 6 (1), 207-221. https://doi.org/10.29110/soylemdergi.869080.
• Toral, A., & Way, A. (2018). What level of quality can neural machine translation attain on literary text? Translation Quality Assessment: From Principles to Practice, 24 (3), 311-331.
• Yıldız, M. (2021). A translation quality assessment tool proposed. Amasya Üniversitesi Sosyal Bilimler Dergisi, 10, 237-266.