Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma

Year 2023, Issue: 36, 1532 - 1548, 21.10.2023

Nilüfer Alimen

https://doi.org/10.29000/rumelide.1369589

Abstract

Bu çalışmanın amacı yakın zamanda kullanıma sunulmuş olan ve büyük dil modeline dayanan sohbet robotu ChatGPT’nin çeviri uygulamaları ve çeviri eğitimine yansımalarını irdelemektir. Bu amaç doğrultusunda ChatGPT’nin ücretsiz olarak erişilebilen 3.5 versiyonunun bir “çeviri görevi tanımı” (“translation brief”) (Nord, 1997, s. 30) doğrultusunda yaptığı çeviri ve “istem”lere (“prompt”) verdiği yanıtlar incelenmiştir. İnceleme nesnesini sağlık alanından bir bilgilendirici metin oluşturmaktadır. ChatGPT’ye çeviri “iş”inin (“commission”) “skopos”unu (Vermeer, 2000, s. 228) içeren bir “çeviri görevi tanımı” verilmiş; bu tanım doğrultusunda bir hasta bilgilendirme broşürü İngilizceden Türkçeye çevriltilmiş; MQM’de (Multidimensional Quality Metrics) belirtilen “doğruluk” (“accuracy”), “akıcılık” (“fluency”) ve “terminoloji” (“terminology”) hataları çeviride işaretlenmiştir. Ardından çeviri hatalarının düzeltilmesiyle ilgili bir dizi istem verilmiş ve sohbet robotunun çeviri kararları sorgulanmıştır. İncelemenin sonucunda robotun kendisine verilen anlık istemleri genellikle başarılı bir şekilde yerine getirirken bazı istemlere yanıt veremediği görülmüştür. Özellikle de terminoloji hatalarını düzeltme bağlamında, gerçek hayatta var olmayan bir terimi varmışçasına kullandığı, çeviri kararlarını gerekçelendirirken hatalı bilgiler verebildiği tespit edilmiştir. Dolayısıyla, insan çevirmenin müdahalesinin, özellikle de yüksek risk taşıyan metinlerin çevirisinde, şart olduğu görülmüştür. Nitekim aldığı çeviri kararlarının sorumluluğunu taşımak insan çevirmene özgüdür. Elde edilen bulgular doğrultusunda, çalışmada yapay zekâ teknolojilerinin beraberinde getirdiği, sohbet robotuna istem verme gibi yeni görevlerin çeviri eğitimine dahil edilmesi ve çeviri işlerinde ChatGPT vb. uygulamaları kullanmanın avantaj ve dezavantajlarıyla ilgili öğrencilerde farkındalık yaratılması önerilmektedir.

Keywords

ChatGPT, skopos, çeviri görevi tanımı, istem, çevirmen eğitimi

References

• Alimen, N. ve Öner Bulut, S. (2020). Çevirinin teknolojikleşmesi bağlamında insan çevirmenin rollerini yeniden düşünmek: Çevirmen eğitiminde teknik metin yazarlığı. Turkish Studies-Language and Literature, 15(3), 1047–1062. doi:10.47845/TurkishStudies.45679
• Alimen, N., Öner Bulut, S. ve Karadağ, A. B. (2023). Yapay Zekâ, Dil ve Çeviri. B. Küçükcan ve B. F. Yıldırım (Ed.), Yapay Zekâ: Disiplinlerarası Yaklaşımlar içinde (s. 81-103). İstanbul: Vakıfbank Kültür Yayınları.
• Anders, B. A. (2023). Is using ChatGPT cheating, plagiarism, both, neither, or forward thinking?. Patterns, 4(3), 1-2. doi: 10.1016/j.patter.2023.100694
• Cadwell, P., o’Brien, S., ve Teixeira, C. S. (2018). Resistance and accommodation: factors for the (non-) adoption of machine translation among professional translators. Perspectives, 26(3), 301-321. doi: 10.1080/0907676X.2017.1337210
• Calvo, E. (2018). From translation briefs to quality standards: Functionalist theories in today's translation processes. Translation & Interpreting, 10(1), 18-32.
• Doherty, S. ve Kenny, D. (2014). The design and evaluation of a statistical machine translation syllabus for translation students. The Interpreter and Translator Trainer, 8(2), 295-315. doi: 10.1080/1750399X.2014.937571
• Doherty, S., Moorkens, J., Gaspari, F. ve Castilho, S. (2018). On education and training in translation quality assessment. J. Moorkens, S. Castilho, F. Gaspari ve S. Doherty (Ed.), Translation quality assessment: From principles to practice içinde (s. 95-106). Cham: Springer. doi: 10. 1007/978-3-319-91241-7_5
• Dorothy, K. (2022). Human and machine translation. Dorothy Kenny (Ed.), Machine translation for everyone: Empowering users in the age of artificial intelligence içinde (s. 23–49). Berlin: Language Science Press. doi: 10.5281/zenodo. 6759976
• Flanagan, M., ve Christensen, T. P. (2014). Testing post-editing guidelines: how translation trainees interpret them and how to tailor them for translator training purposes. The Interpreter and Translator Trainer, 8(2), 257-275. doi: 10.1080/1750399X.2014.936111
• Jang, M., ve Lukasiewicz, T. (2023). Consistency analysis of ChatGPT. arXiv. doi: 10.48550/arXiv.2303.06273
• Kenny, D., ve Doherty, S. (2014). Statistical machine translation in the translation curriculum: overcoming obstacles and empowering translators. The Interpreter and Translator Trainer, 8(2), 276-294. doi: 10.1080/1750399X.2014.936112
• Khademi, A. (2023). Can ChatGPT and bard generate aligned assessment items? A reliability analysis against human performance. Journal of Applied Learning & Teaching, 6(1), 75-80. doi: 0.37074/jalt.2023.6.1.28
• Kreger, V., Aintablian, H., Diamond, L. ve Taira, R. B. (2019). Google Translate as a tool for emergency department discharge ınstructions? not so fast! [Ek materyal]. Annals of Emergency Medicine, 74(4), S5-S6. doi: 10.1016/j.annemergmed.2019.08.013
• Luo, X. (2021). Translation in the time of COVID-19. Asia Pacific Translation and Intercultural Studies, 8(1), 1-3. doi: 10.1080/23306343.2021.1903183
• Mahadin, D. K. ve Olimat, S. N. (2022). Jordanian translators’ use of machine translation and glossary of COVID-19 terminology with reference to Arabic. New Voices in Translation Studies, 18(1), 25-54. Erişim adresi: https://newvoices.arts.chula.ac.th/index.php/en/article/view/473/523
• Massey, G. (2021). “Re-framing conceptual metaphor translation research in the age of neural machine translation: Investigating translators’ added value with products and processes.” Training Language and Culture, 5(1): 37–56. doi: 10.22363/2521-442X-2021-5-1-37-56
• Massey, G., ve Kiraly, D. (2019). The future of translator education: A dialogue. Cultus: The Journal of Intercultural Mediation and Communication, 12: 15–34. Erişim adresi: http://www.cultusjournal.com/files/Archives/Cultus_2019_12-_2.pdf#page=21
• Moorkens, J. (2017). Under pressure: Translation in times of austerity. Perspectives, 25(3), 464–477. doi: 10.1080/0907676X.2017.1285331
• Moorkens, J. (2018). What to expect from neural machine translation: A practical in-class translation evaluation exercise. The Interpreter and Translator Trainer, 12(4): 375–387. doi: 10.1080/1750399X.2018.1501639
• Nitzke, J., Hansen-Schirra, S. ve Canfora, C. (2019). Risk management and post-editing competence. The Journal of Specialised Translation, 31, 239-259. Erişim adresi: https://jostrans.org/issue31/ issue31_toc.php
• Nord, C. (1997). Translating as a purposeful activity: Functionalist approaches explained. Manchester: St. Jerome.
• O'Brien, S. (2012). Translation as human–computer interaction. Translation spaces, 1, 101-122. doi: 10.1075/ts.1.05obr
• O’Brien, S. (2022). How to deal with errors in machine translation: Postediting. Dorothy Kenny (Ed.), Machine translation for everyone: Empowering users in the age of artificial intelligence içinde (s. 105-120). Berlin: Language Science Press. doi: 10.5281/zenodo.6759982
• Olohan, M. (2011). Translators and translation technology: The dance of agency. Translation Studies 4(3), 342–357. doi: 10.1080/14781700.2011.589656
• Öner, I. ve Öner Bulut, S. (2021). Post-editing oriented human quality evaluation of neural machine translation in translator training: A study on perceived difficulties and benefits. transLogos Translation Studies Journal, 4(1), 100–124. doi: 10.29228/transLogos.33
• Öner Bulut, S. ve Alimen, N. (2023). Translator education as a collaborative quest for insights into the re-positioning of the human translator (educator) in the age of machine translation: the results of a learning experiment. The Interpreter and Translator Trainer. 17(3), 375-392. doi: 10.1080/1750399X.2023.2237837
• Öner Bulut, S. (2019). Integrating machine translation into translator training: Towards ‘human translator competence’? transLogos Translation Studies Journal, 2(2), 1–26. doi: 10. 29228/transLogos.11
• Pekcoşkun Güner, S. ve Güner, E. S. (2023). Çeviri iş akışında makine çevirisi sistemleri ve sohbet robotlarının bütünleşik kullanımı. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, (Ö12), 739-757. doi: 10.29000/rumelide.1330542
• Ragni, V. ve Nunes Vieira, L. (2022). What has changed with neural machine translation? A critical review of human factors. Perspectives, 30(1), 137-158. doi: 10.1080/0907676X.2021.1889005
• Reiss, K. (1988). Metne bağımlı çeviri stratejileri (G. Refiğ, Çev.). Metis Çeviri, 3, 72-82. (Orijinal eserin yayın tarihi 1983).
• Shen, X., Chen, Z., Backes, M. ve Zhang, Y. (2023). In ChatGPT we trust? measuring and characterizing the reliability of ChatGPT. arXiv. doi: 10.48550/arXiv.2304.08979
• Törnberg, P. (2023). ChatGPT-4 outperforms experts and crowd workers in annotating political twitter messages with zero-shot learning. arXiv. doi: 10.48550/arXiv.2304.06588
• Vermeer, H. J. (2000). “Skopos and Commission in Translational Action.” (A. Chesterman, Çev.). L. Venuti (Ed.), The Translation Studies Reader içinde (s. 221–232). Londra: Routledge.
• Vermeer, H. J. (2004). Çevirinin doğası-bir özet (Ş. Bahadır ve D. Dizdar, Çev.). M. Rifat (Ed.), Çeviri seçkisi 2: Çeviri(bilim) nedir? içinde (s. 257-267). İstanbul: Dünya Yayıncılık. (Orijinal eserin yayın tarihi 2003).
• Vieira, L. N. ve Alonso, E. (2020) Translating perceptions and managing expectations: an analysis of management and production perspectives on machine translation. Perspectives, 28(2), 163-184. doi: 10.1080/0907676X.2019.1646776
• Walker, H. L., Ghani, S., Kuemmerli, C., Nebiker, C. A., Müller, B. P., Raptis, D. A. ve Staubli, S. M. (2023). Reliability of medical information provided by ChatGPT: Assessment against clinical guidelines and patient information quality instrument. Journal of Medical Internet Research, 25. doi:10.2196/47479
• White, J., Fu, Q., Hays, S., Sandborn, M., Olea, C., Gilbert, … J. ve Schmidt, D. C. (2023). A prompt pattern catalog to enhance prompt engineering with ChatGPT. arXiv. Erişim adresi: https://arxiv.org/pdf/2302.11382.pdf Williamson, J. M. L., ve Martin, A. G. (2010). Analysis of patient information leaflets provided by a district general hospital by the Flesch and Flesch–Kincaid method. International journal of clinical practice, 64(13), 1824-1831. doi: 10.1111/j.1742-1241.2010.02408.x
• Yamada, M. (2023). Optimizing machine translation through prompt engineering: An investigation into ChatGPT’s customizability. arXiv. doi: 10.48550/arXiv.2308.01391