“ChatGPT ve Julia Donaldson: Sohbet Robotunun Yazın Çevirisinde Başarısı Üzerine Bir İnceleme”

Öz

Hızla gelişen teknoloji, hayatımızın hemen her alanında olduğu gibi çeviri alanında da büyük değişimlerin yaşanmasını sağlamaktadır. Özellikle son yıllarda geliştirilen yapay zeka destekli çeviri araçları toplumun her kesimi tarafından yaygın bir şekilde kullanılır hale gelmiştir. Bu araçlar birçok araştırmanın inceleme konusu olmuş ve özellikle edebi metin türlerinde yeri, kullanılabilirliği ve verimliliği bağlamında eleştiriler almıştır. Geliştirilme amacı doğal dil işleme ve derin öğrenme algoritmalarını kullanarak, insan benzeri metinler üretmek üzerine olmasına rağmen ChatGPT, çeviri alanında da önemli bir yer edinmiştir. Çalışmanın amacı büyük dil modeline dayanan sohbet robotu ChatGPT’nin edebi metin türünde seçilmiş çeviri görevinde potansiyelini değerlendirmektir. Bu amaç doğrultusunda ChatGBT’nin ücretsiz erişilebilen 3.5 versiyonunun verilen “istem” lere (“prompt”) verdiği cevaplar ve ortaya çıkan çeviri çıktıları incelenmiştir. Kaynak metin olarak çocuk edebiyatının önemli yazarlarından biri olan Julia Donaldson’a ait “Uçan Süpürge İyi Yürekli Cadı ve 4 Kafadar” (“Room on the Broom”) isimli kitabı seçilmiştir. Verilen istemde yazarın kim olduğu, hedef kitlesi, amacı belirtilerek İngilizceden Türkçeye çevirisi yapılmış; MQM’de (Multidimensional Quality Metrics) belirtilen “doğruluk”, “akıcılık”, ve “biçem” başlıkları altında değerlendirilmiştir. Ardından belirlenen çeviri hatalarıyla ilgili istemler verilmiş sohbet robotunun yaptığı düzeltmeler sonucu ortaya çıkan çeviri çıktıları incelenmiştir. Elde edilen bulgular sonucunda, sohbet robotunun kendisine verilen istemlerin bir kısmını başarılı bir şekilde yerine getirirken, örneklerin çoğunda uygun cevaplar veremediği görülmüştür. Doğruluk ve akıcılık koşulları daha fazla sağlanırken çalışmanın odak noktası olan, biçem başlığı altında verilen, sessel öğelerin ve yazarın üslubunun aktarılması bağlamında yeterli başarıyı gösterememiştir.

Anahtar Kelimeler

• çeviri
• üslup
• çocuk yazını
• sessel öğeler
• ChatGPT

“ChatGPT and Julia Donaldson: A Study on the Success of the Chatbot in Literary Translation”

Öz

Technology, which is developing rapidly, has paved the way for major changes in the field of translation, as it has in almost every aspect of our lives. Artificial intelligence assisted translation tools developed in recent years have become widely used by all segments of society. These tools have been the subject of many studies and have been criticized for their usability and efficiency, especially in literary text types. Although the aim of its development was to produce human-like texts using natural language processing and deep learning algorithms, ChatGBT has also gained an important place in the field of translation. The aim of this study is to evaluate the potential of ChatGPT, a chatbot based on a large language model, on a selected translation task in the literary text genre. For this purpose, the responses of the freely available version 3.5 of ChatGPT to the given “prompts” and the resulting translation outputs were analyzed. Julia Donaldson's, one of the most important authors of children's literature, “Room on the Broom” was selected as the source text. The translation was made from English to Turkish by specifying the author, target audience, and purpose of the given prompt, and was evaluated under the headings of ‘accuracy’, ‘fluency’, and ‘style’ specified in the Multidimensional Quality Metrics (MQM). After that the translation outputs resulting from the corrections made by the chatbot were analysed. As a result of the findings, it was observed that while the chatbot successfully fulfilled some of the prompts given to it, it failed to give appropriate answers in most of the examples. While the accuracy and fluency conditions were met more often, the focus of the study, which is given under the heading of style, could not show sufficient success in the context of conveying phonetic elements and the author's style.

Anahtar Kelimeler

• translation
• style
• children
• phonetic elements
• ChatGPT

Kaynakça

1. Aksoy Arıkan, R. (2022). “İnci Küpeli Kız” Adlı Yapıtın Edebi Çeviri ve Makine Çevirisi Açısından İncelenmesi. International Journal of Languages’ Education and Teaching, 10(1), 226-239.
2. Albiz, Ü. (2022). Şiir çevirilerinin makine çevirisi üzerinden değerlendirilmesi: Paul Celan şiirlerini makine çevirisi ile okumak. Kesit Akademi Dergisi, 8(31), 154-179.
3. Alimen, N. (2023). Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, (36), 1532-1548. DOI:10.29000/rumelide.1369589.
4. Aşkın, M.C. (2023). Yazın çevirisinde çevirmen ve makine çevirisi üzerine eleştirel bir karşılaştırma: “To Kıll A Mockingbird” Örneği. Yüksek Lisans Tezi. Sakarya Üniversitesi Sosyal Bilimler Enstitüsü, Sakarya.
5. Ayık Akça, T. (2022). Edebi metinlerde ve uzmanlık alan metinlerinde makine çevirisinin olanakları/ olanaksızlığı: çevirmenin değişen görev tanımlarına yeniden bakmak. RumeliDE Dil Ve Edebiyat Araştırmaları Dergisi (30), 1321-1343.
6. Canbaz, R. (2024). Yazılı tıp metinleri çevirisi sürecinde chatgpt3 sohbet robotunun konumu ve çeviri ürün kalitesinin değerlendirilmesi. Yayınlanmamış Yüksek Lisans Tezi. Sakarya Üniversitesi, Sosyal Bilimler Enstitüsü, Sakarya.
7. Çetin, Ö., & Duran, A. (2024). A comparative analysis of the performances of chatgpt, deepl, google translate and a human translator in community based settings. Amasya Üniversitesi Sosyal Bilimler Dergisi (ASOBİD). 9 (15), s. 120-173.
8. Donaldson J. and Scheffler A. (2010). Room on the Broom. London: Macmillan Children’s Books. Uçan Süpürge İyi Yürekli Cadı ve 4 Kafadar (çev. Ali Berktay). İstanbul: Türkiye İş Bankası Kültür Yayınları, 2020 (8.basım).

9. Drobot, I. A. (2021). Translating Literature Using Machine Translation: Is It Really Possible? In Scientific Bulletin of the Politehnica University of Timisoara. Transactions on Modern Languages/Buletinul Stiintific al Universitatii Politehnica din Timisoara. Seria Limbi Moderne, 20(1).Vol.20,( No.1),pp.57-64.
10. Ekin, S. (2023) Prompt Engineering For ChatGPT: A Quick Guide To Techniques, Tips, And Best Practices. TechRxiv.
11. Erdal, K. (2008). Çocuk edebiyatı ve çocuk kitapları. Milli Eğitim, s. 178.
12. Gönen, M., Uygun, M., Erdoğan, Ö., Katrancı, M. (2012). Resimli Çocuk Kitaplarının Fiziksel, İçerik ve Resimleme Özellikleri Açısından İncelenmesi. Milli Eğitim Dergisi, 42(196), 258-272.
13. Gözen, G. (2022). A Comparative study on the performance of Google Translate between the translation of different text types in the light of the multidimensional quality metrics. Yüksek Lisans Tezi. Atılım Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
14. Haenlein, M., & Kaplan, A. (2019). A Brief History of Artificial Intelligence: On the Past, Present, and Future of Artificial Intelligence. California Management Review, 61(4), 5-14.
15. John, I. (2023). The Art of Asking ChatGPT for High-Quality Answers A Complete Guide to Prompt Engineering Techniques. Amerika Birleşik Devletleri: Nzunda Technologies Limited.
16. Karabayeva, I., Kalizhanova, A. (2024). Evaluating machine translation of literature through rhetorical analysis. Journal of Translation and Language Studies, 5(1), p.1-9.
17. Khoshafah, F. (2023). ChatGPT for Arabic-English translation: Evaluating the accuracy. Research Square.
18. Lathey, G. (2016). Translating children’s literature. Routledge.
19. Müller, V. C. & Bostrom, N. (2016). Future progress in artificial intelligence: A survey of expert opinion. In V. C. Müller (Ed.), Fundamental issues of artificial intelligence (pp. 553–570). Springer.
20. Nilsson, N.J. (1998). Artificial Intelligence: A New Synthesis.Morgan Kaufmann Publishers, Inc, San Francisco
21. Oittinen, R. (2000). Translating for Children. New York: Garland Publishing.
22. Özcan, O. (2020). Dünya klasikleri bağlamında makine çevirisi üzerine bir değerlendirme: Balzac örneği. Çeviride teknoloji süreç ve uygulamalar 1. Ankara: Grafiker Yayınları.
23. Sheikh, H., Prins, C., & Schrijvers, E. (2023). Artificial intelligence: Definition and background. In H. Sheikh, C. Prins, & E. Schrijvers (Eds.), Mission AI. Research for policy (pp. 15–41). Springer. https://doi.org/10.1007/978-3-031-21448-6_2
24. Tanış Polat, N. (2023). Yapay Zekâ ve Çeviri: Mütercim-Tercümanlık Alanında Yeni Bir Paradigma. Diyalog Interkulturelle Zeitschrift Für Germanistik, 11(2), 482-487.
25. Vardar Okur, A. (2018). Julia Donaldson Türkçedeyken. RumeliDE Dil Ve Edebiyat Araştırmaları Dergisi, 274-285. https://doi.org/10.29000/rumelide.454282
26. Yamada, M. (2023). Optimizing machine translation through prompt engineering: An investigation into ChatGPT’s customizability. arXiv. doi: 10.48550/arXiv.2308.01391
27. Canseven, C. (2017, 28 Eylül). “Tuğçe Özdeniz ve Bahar Ulukan ile söyleşi: Çocuk Kitaplarında Çeviri ve Diğer Önemli Şeyler” [Yüz Yüze Görüşme]. Alındığı URL: https://www.k24kitap.org/cocuk-kitaplarinda-ceviri-ve-diger-onemli-seyler-1305 ( Erişim Tarihi: 16/01/2025).
28. ChatGPT: https://chatgpt.com/c/19ae6cd1-403a-46bd-95ab-48f79bacfcde (Erişim tarihi: 30/05/2024).
29. ChatGPT: https://chatgpt.com/ (Erişim tarihi: 08/06/2024).
30. İdefix : (https://www.idefix.com/ucan-supurge-iyi-yurekli-cadi-ve-4-kafadar-p-347041 (Erişim tarihi: 06/06/2024).
31. Julia Donaldson official: https://www.juliadonaldson.co.uk/ (Erişim tarihi: 26 /05/2024).
32. Nerdynav: https://nerdynav.com/chatgpt-statistics/ Erişim tarihi: 03/03/2025
33. TDK sözlük: https://sozluk.gov.tr/ ( Erişim tarihi: 09/06/2024).