Evaluating the Impact of RAG Architecture on Translation Quality in AI Poetry Translation

Abstract

The deployment of large language models in translation has increased substantially in recent years, yet their performance on literary texts, particularly poetry translation, remains contested. This study compares a Retrieval-Augmented Generation (RAG) based translation system against vanilla GPT-4o when translating classical Turkish Sufi poetry. Using Talât Sait Halman’s translations of Yunus Emre as reference corpus, the evaluation employed BLEU, METEOR, and ROUGE metrics across a test set of twenty-one poems. Results demonstrate statistically significant improvements across all metrics: 408 percent improvement in BLEU scores, 93 percent in METEOR, and 90 percent in ROUGE. Qualitative analysis revealed that the RAG system achieved perfect or near-perfect scores when retrieving appropriate reference translations from the vector database, though both systems struggled with mystical content and figurative language. These findings suggest that context-aware retrieval mechanisms can substantially enhance literary translation quality and offer a valuable assistive tool that could be integrated into translators’ workflows.

Keywords

• Retrieval-Augmented Generation
• RAG
• large language models
• translation quality evaluation
• BLEU
• METEOR
• machine translation

Yapay Zeka ile Şiir Çevirisinde Erişim Destekli Üretim (RAG) Mimarisi Yönteminin Çeviri Kalitesine Etkisi Üzerine Bir Değerlendirilme

Abstract

Büyük dil modellerinin çeviri alanındaki kullanımı son yıllarda belirgin bir artış göstermiştir; ancak bu sistemlerin edebi metinlerde, özellikle şiir çevirisinde sergilediği performans tartışmalı olmaya devam etmektedir. Bu çalışma, Erişim Destekli Üretim (Retrieval-Augmented Generation) (RAG) tabanlı bir çeviri sisteminin klasik Türk şiiri çevirisindeki performansını standart GPT-4o modeliyle karşılaştırmaktadır. Araştırma verisi olarak Yunus Emre şiirlerinin Talât Sait Halman tarafından yapılmış İngilizce çevirileri kullanılmış, değerlendirme BLEU, METEOR ve ROUGE metrikleri aracılığıyla gerçekleştirilmiştir. Yirmi bir şiirden oluşan test seti üzerinde yapılan analizler, RAG sisteminin tüm metriklerde istatistiksel olarak anlamlı üstünlük sağladığını ortaya koymaktadır. BLEU skorlarında %408, METEOR’da %93 ve ROUGE’da %90 iyileşme gözlemlenmiştir. Nitel analiz, RAG sisteminin vektör veri tabanından uygun referans çevirileri eriştiğinde mükemmel veya mükemmele yakın skorlar elde ettiğini, ancak her iki sistemin de mistik içerik ve mecazi dil karşısında zorlandığını göstermiştir. Bulgular, bağlam duyarlı erişim mekanizmalarının edebi çeviri kalitesini önemli ölçüde artırabileceğini ve bu yaklaşımın çevirmenlerin iş akışlarına entegre edilebilecek değerli bir yardımcı araç sunduğunu ortaya koymaktadır.

Keywords

• Erişim Destekli Üretim
• RAG
• büyük dil modelleri
• çeviri kalitesi değerlendirmesi
• BLEU
• METEOR
• makine çevirisi

References

1. Akçay, L. (2025). Yapay zekâ destekli donanım tasarımı. M. A. Engin & M. Çakır (Eds.), Elektrik-Elektronik ve haberleşme mühendisliğinde güncel çalışmalar II içinde (ss. 7-30). Efe Akademi.
2. Aslan, E. (2024). Yapay zekâ destekli çeviri araçlarının edebi çevirideki yeterlilikleri üzerine karşılaştırmalı bir inceleme. İstanbul Üniversitesi Çeviribilim Dergisi, (20), 32-45. https://doi.org/10.26650/iujts.2024.1426435
3. Bahrami, N. (2012). The art of literary translation. Journal of Basic and Applied Scientific Research, 2(4), 3462-3469.
4. Bassnett, S. (2014). Translation studies (4th ed.). Routledge.
5. Castilho, S., Doherty, S., Gaspari, F., & Moorkens, J. (2018). Approaches to human and machine translation quality assessment. J. Moorkens, S. Castilho, F. Gaspari, & S. Doherty (Eds.), Translation quality assessment: From principles to practice içinde (ss. 9-38). Springer.
6. Castilho, S., Moorkens, J., Gaspari, F., Calixto, I., Tinsley, J., & Way, A. (2017). Is neural machine translation the new state of the art?. The Prague Bulletin of Mathematical Linguistics, 108(1), 109-120. https://doi.org/10.1515/pralin-2017-0013
7. Chakrabarty, T., Lyu, W., Peng, N., & Sap, M. (2021). Poetry generation with meter and rhyme. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing içinde (ss. 3461-3476). Association for Computational Linguistics.
8. Chen, J., Lin, H., Han, X., & Sun, L. (2024). Benchmarking large language models in retrieval-augmented generation. Proceedings of the AAAI Conference on Artificial Intelligence içinde (ss. 17754 – 17762). AAAI Press. https://doi.org/10.1609/aaai.v38i16.29728

9. Çetiner, C. (2025). Türkiye’de makine çevirisi üzerine yapılan çalışmaların sistematik incelenmesi: Yöntemsel sorunlar ve çözüm önerileri. Söylem Filoloji Dergisi, (Çeviribilim Özel Sayısı II), 113-132. https://doi.org/10.29110/soylemdergi.1597647
10. Dirik, M., & Göktaş, M. (2024). İslam hukuku açısından güncel dini meseleler ve çözüm önerileri. Hiperlink.
11. Fan, W., Ding, Y., Ning, L., Wang, S., Li, H., Yin, D., Chua, T.-S., & Li, Q. (2024). A survey on RAG meeting LLMs: Towards retrieval-augmented large language models. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining içinde (ss. 6491-6501). ACM.
12. Forcada, M. L. (2017). Making sense of neural machine translation. Translation Spaces, 6(2), 291-309. https://doi.org/10.1075/ts.6.2.06for
13. Gao, R., Lin, Y., Zhao, N., & Cai, Z. G. (2024). Machine translation of Chinese classical poetry: A comparison among ChatGPT, Google Translate, and DeepL Translator. Humanities and Social Sciences Communications, 11(1), Article 835, 1-11. https://doi.org/10.1057/s41599-024-03363-0
14. Ghazvininejad, M., Choi, Y., & Knight, K. (2018). Neural poetry translation. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers) içinde (s. 67-71). Association for Computational Linguistics.
15. Güney, C. (2024). Üretken uzamsal zekânın getirdiği paradigma değişimi. Jeodezi ve Jeoinformasyon Dergisi, 11(2), 116-148. https://doi.org/10.9733/JGG.2024R0009.T
16. Gürses, S., Şahin, M., Hodzik, E., Güngör, T., Dallı, H., & Dursun, O. (2024). Çeviribilim çalışmalarında çevirmenin üslubu ve makinenin üslubu. Çeviribilim ve Uygulamaları Dergisi, (36), 100-124. https://doi.org/10.37599/ceviri.1468718
17. Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., Ishii, E., Bang, Y. J., Madotto, A., & Fung, P. (2023). Survey of hallucination in natural language generation. ACM Computing Surveys, 55(12), 1-38. https://doi.org/10.48550/arXiv.2202.03629
18. Lavie, A., & Denkowski, M. J. (2009). The METEOR metric for automatic evaluation of machine translation. Machine Translation, 23(2-3), 105-115. https://doi.org/10.1007/s10590-009-9059-4
19. Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.-t., Rocktäschel, T., Riedel, S., & Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Proceedings of the 34th International Conference on Neural Information Processing Systems içinde (ss. 9459-9474). Curran Associates.
20. Lommel, A., Uszkoreit, H., & Burchardt, A. (2014). Multidimensional quality metrics (MQM): A framework for declaring and describing translation quality metrics. Revista Tradumàtica, (12), 455-463. https://doi.org/10.5565/rev/tradumatica.77
21. Moorkens, J., Castilho, S., Gaspari, F., & Doherty, S. (Ed.). (2018). Translation quality assessment: From principles to practice. Springer.
22. Newmark, P. (1991). About translation. Multilingual Matters.
23. Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: A method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics içinde (ss. 311-318). ACL.
24. Raunak, V., Menezes, A., & Junczys-Dowmunt, M. (2021). The curious case of hallucinations in neural machine translation. Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies içinde (ss. 1172-1183). ACL.
25. Şahin, O., & Yayla, R. (2025). Metin özetleme ve benzerlik analizi üzerine prototip bir çalışma: Google Scholar örneği. Osmaniye Korkut Ata Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 8(3), 1405-1426. https://doi.org/10.47495/okufbed.1570542
26. Taivalkoski-Shilov, K. (2019). Ethical issues regarding machine (-assisted) translation of literary texts. Perspectives, 27(5), 689-703. https://doi.org/10.1080/0907676X.2018.1520907
27. Toral, A., & Way, A. (2018). What level of quality can neural machine translation attain on literary text? J. Moorkens, S. Castilho, F. Gaspari, & S. Doherty (Eds.), Translation quality assessment: From principles to practice içinde (ss. 263-287). Springer.
28. Van Egdom, G. W., Kosters, O., & Declercq, C. (2023). The riddle of (literary) machine translation quality. Revista Tradumàtica: Traduccio i Tecnologies de la Informacio i la Comunicacio, (21), 129-159. https://doi.org/10.5565/rev/tradumatica.345
29. Venuti, L. (1998). The scandals of translation: Towards an ethics of difference. Routledge.
30. Yirmibeşoğlu, Z., Dursun, O., Dalli, H., Şahin, M., Hodzik, E., Gürses, S., & Güngör, T. (2023, June). Incorporating human translator style into English-Turkish literary machine translation. Proceedings of the 24th Annual Conference of the European Association for Machine Translation içinde (ss. 419-428). European Association for Machine Translation