An Analysis of Temporal and Technical Effort in Post-Editing: Google and DeepL Translate

Year 2024, Volume: 14 Issue: 2, 365 - 381, 31.07.2024

Tayfun Yazıcı , Özgür Şen Bartan

Abstract

Machine translation systems have been developed over time and different models have been used, namely Rule-Based Machine Translation (RBMT), Statistical Machine Translation (SMT) and Neural Machine Translation models. It has been observed that translation quality has improved with the new models. Machine translation is increasingly used by translators as it saves time in the translation process. On the other hand, the use of machine translation and translation memories has positively affected translation turnaround times. This has led translation companies and other employers to adopt machine translation. Studies revealed that translation quality relatively improved and the time spent on translation decreased more with each new translation model. Studies are showing that especially Neural Machine Translation systems are better in terms of translation quality when compared with other models. In this study, the post-editing process was examined using the widely used neural machine translation engine DeepL and the Google translation engine, which started using the neural machine translation model in 2016. The effect of two different neural machine translation systems on post-editing is compared in terms of technical and temporal effort. The translations of English-Turkish language pairs using machine translation were subjected to a post-editing process with different groups of students. Keystroke and time data were collected during the post-editing process. These data were obtained using a widely used computer-assisted translation software and a plug-in. The participants of the study were undergraduate English Translation and Interpreting students. As a result of the study, it was observed that significantly fewer edits were made in the post-editing process on the machine translation output of DeepL compared to the Google machine translation output edits.

Keywords

Machine Translation, Technical Effort, Temporal Effort, Post-Editing.

MAKİNE ÇEVİRİSİ SONRASI DÜZELTME İŞLEMİNİN ZAMANSAL ve TEKNİK EFOR AÇISINDAN İNCELENMESİ: GOOGLE ve DEEPL ÇEVİRİ

Abstract

Makine çevirisi sistemleri zaman içinde geliştirilerek sırasıyla Kural Tabanlı Makine Çevirisi (NBMT), İstatistiksel Makine Çevirisi (SMT) ve Nöral Makine Çevirisi modelleri olmak üzere farklı modeller kullanılmıştır. Yeni modellerle çeviri kalitesinde artış olduğu gözlemlenmiştir. Makine çevirisi, çeviri sürecinde zaman tasarrufu sağladığından çevirmenler tarafından her geçen gün artan oranda kullanılmaktadır. Öte yandan makine çevirisi ve çeviri belleklerinin kullanımı çeviri teslim sürelerini olumlu yönde etkilemiştir. Bu durum çeviri firmaları ile diğer işverenlerin makine çevirisi kullanımına yönelimini sağlamıştır. Her yeni makine çeviri sistemi ile çeviri kalitesinin ve hızının görece arttığı çalışmalarla ortaya konmuştur. Özellikle Nöral Makine Çeviri sistemlerinin diğer modellerle karşılaştırmalı olarak incelendiğinde çeviri kalitesi açısından daha iyi olduğunu gösteren çalışmalar mevcuttur. Bu çalışmada yaygın olarak kullanılan DeepL nöral makine çeviri sistemi ile Google nöral makine çeviri sistemi kullanılarak post-editing (makine çevirisi sonrası düzeltme) süreci incelenmiştir. İki farklı nöral makine çeviri sisteminin makine çevirisi sonrası düzeltmeye etkisi teknik ve zamansal efor açısından karşılaştırılmıştır. İngilizce-Türkçe dil çiftinde makine çevirisi kullanılarak yapılan çeviriler öğrenciler iki gruba ayrılarak makine çevirisi sonrası düzeltme işlemine tabi tutulurken klavye hareketleri ve çeviride harcanan süre verileri kaydedilmiştir. Çalışmanın katılımcılarını Kırıkkale Üniversitesi İngilizce Mütercim Tercümanlık bölümünün 26 lisans düzeyi öğrencisi oluşturmuştur. Verilerin elde edilmesinde yaygın kullanılan bir bilgisayar destekli çeviri yazılımı ve eklenti kullanılmıştır. Çalışmanın sonucunda DeepL makine çevirisi çıktısı üzerinde makine çevirisi sonrası düzeltme işlemi bakımından Google makine çevirisi çıktısında yapılana göre belirgin şekilde daha az düzenleme yapıldığı görülmüştür.

Keywords

Makine Çevirisi, Teknik Efor, Zamansal Efor, Makine Çevirisi Sonrası Düzeltme

References

• Acar, A., & İşisağ, K. U. (2017). Readability and comprehensibility in translation using reading ease and grade ındices. International Journal of Comparative Literature and Translation Studies, 5(2), 47–53. https://doi.org/10.7575/AIAC.IJCLTS.V.5N.2P.47
• Barut, E. (2022). İstatistiksel makine çevirisi ile nöral makine çevirisinin dilbilimsel parametrelerle karşılaştırılması: Google Translate. Akdeniz Havzası Ve Afrika Medeniyetleri Dergisi, 4(1), 103-118. https://doi.org/10.54132/akaf.1116949
• Cambedda, G., di Nunzio, G. M., & Nosilia, V. (2021). A study on automatic machine translation tools: A comparative error analysis between DeepL and Yandex for Russian-Italian medical translation. Umanistica Digitale, 5(10), 139–163. https://doi.org/10.6092/issn.2532-8816/12631
• Creswell, J. W., & Clark, V. L. P. (2017). Designing and conducting mixed methods research. Sage publications.
• Çetiner, C. (2019a). Makine çevirisi sonrası düzeltme işlemine (post-editing) yönelik kapsamlı bir inceleme. RumeliDE Dil Ve Edebiyat Araştırmaları Dergisi, 462-472. https://doi.org/10.29000/rumelide.649333
• Çetiner, C. (2019b). The effect of post-editing on the attitudes and performance of translation students (Yayımlanmamış Doktora Tezi). Gazi Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
• Çetiner, C., & İşisağ, K. (2019). Undergraduate level Translation Students’ attitudes towards machine translation post-editing training. International Journal of Languages’ Education and Teaching, 7(1), 110-120.
• Dede, V. (2022). Temporal and technical effort in post-editing compared to editing and translation from scratch (Yayımlanmamış Yüksek Lisans Tezi). Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
• Ekinci, S. (2022). The effect of error annotation on post-editing effort and post-edited product: An experimental study on machine-translated subtitles of educational content (Yayımlanmamış Yüksek Lisans Tezi). 29 Mayıs Üniversitesi, Sosyal Bilimler Enstitüsü, İstanbul.
• Esperança-Rodier, E., & Frankowski, D. (2021). DeepL vs Google Translate: Who’s the best at translating MWEs from French into Polish? A multidisciplinary approach to corpora creation and quality translation of MWEs. 43rd Translating and the Computer Conference, London, United Kingdom, s. 110-127.
• Gaspari, F., Toral, A., Naskar, S. K., Groves, D., & Way, A. (2014). Perception vs. reality: measuring machine translation post-editing productivity. In Proceedings of the 11th Conference of the Association for Machine Translation in the Americas, s. 60-72.
• Gouadec, D. (2007). Translation as a profession. John Benjamins Publishing.
• Hidalgo-Ternero, C. M. (2021). Google Translate vs. DeepL: analysing neural machine translation performance under the challenge of phraseological variation. Monographs in Translation and Interpreting, s. 154-177. https://doi.org/10.6035/MonTI.2020.ne6.5
• Jensen, K. T. H. (2009). Indicators of text complexity. Copenhagen Studies in Language, (37), 61-80.
• Koçer Güldal, B. & İşisağ, K. U. (2019). A comparative study on google translate: An erroranalysis of Turkish-to English translations in terms of the text typology of Katherina Reiss. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, (5), 367-376. https://doi.org/10.29000/rumelide.606217.
• Koponen, M. (2012). Comparing human perceptions of post-editing effort with post-editing operations. In Proceedings of the seventh workshop on statistical machine translation, s. 181-190.
• Krings, H. P. (2001). Repairing texts : empirical investigations of machine translation : post-editing processes. Kent, Ohio & London: The Kent State University Press.
• McElhaney, T., & Vasconcellos, M. (1988). The Translator and the post-editing experience. Technology as Translation Strategy, Amsterdam and Philadelphia: John Benjamins, s. 140-148.
• Morán Vallejo, A. (2019). The translation of Spanish agri-food texts into English and Italian using machine translation engines: A contrastive study.
• Mossop, B. (2001). Revising and editing for translators. St. Jerome Pub.
• Mossop, B., Hong, J., & Teixeira, C. (2020). Revising and editing for translators (Fourth edition). Routledge, Taylor & Francis.
• O’Brien, S. (2006). Machine-translatability and post-editing effort: an empirical study using translog and choice network analysis (Yayımlanmamış Yüksek Lisans Tezi). Dublin City University, Dublin.
• Odacıoğlu, M. C. (2022). Makine çevirisi çıktılarının post-editing işleminde çevirmen adayları ve çevirmenlere bazı öneriler. International Journal of Languages’ Education and Teaching, 10(3), 115-125. https://doi.org/10.29228/ijlet.63373
• Öcal, S. (2022). Uluslararası ilişkilerde değişen güvenlik anlayışı ve Türkiye'nin siber güvenlik stratejileri (Yayımlanmamış Yüksek Lisans Tezi). Trakya Üniversitesi, Edirne.
• Ramizoğlu, R. (2024). Modern makine çevirisi teknolojilerine yönelik bir karşılaştırma. Uluslararası Türkçe Edebiyat Kültür Eğitim Dergisi, 13(1), 126-137.
• Reifler, E. (1952). Mechanical translation with a pre-editor, and writing for MT. EARLYMT.
• Seçkin, S. (2022). The Attitudes of technical translators in Turkiye towards post-editing. İstanbul Üniversitesi Çeviribilim Dergisi(17), 135-150. https://doi.org/10.26650/iujts.2022.1171110
• Sungur, O. (2006). SPSS uygulamalı çok değişkenli istatistik teknikleri, Ş. Kalaycı (Ed.) Korelasyon analizi. Ankara: Asil Yayın Dağıtım Ltd. Şti.
• Şanverdi, H. İ., & Işıdan, A. (2021). Makine çevirisi: Türkçe-Arapça çeviri bağlamında Google ve Yandex çeviri örneği. Söylem Filoloji Dergisi, 6(1), 207-221. https://doi.org/10.29110/soylemdergi.869080
• Temizöz, Ö. (2013). Postediting machine translation output and its revision: subject-matter expert experts versus professional translators (Yayımlanmamış Doktora Tezi). Universitat Rovira i Virgili, Tarragona.
• Temizöz, Ö. (2016). Postediting machine translation output: Subject-matter experts versus professional translators. Perspectives, 24(4), 646-665. https://doi.org/10.1080/0907676X.2015.1119862
• Yaman, İ. (2023). DeepL Translate ve Google Translate sistemlerinin İngilizce-Türkçe ve Türkçe-İngilizce çeviri performanslarının karşılaştırılması. Söylem Filoloji Dergisi(Çeviribilim Özel Sayısı), 29-41. https://doi.org/10.29110/soylemdergi.1187172