An investigation into the proficiency of large language models in translating culture-bound Turkish formulaic expressions into English

Öz

This study examines the capacity of Large Language Models (LLMs) to translate culture-bound Turkish formulaic expressions into English. Prominent models (ChatGPT-4o, Gemini 2.5 Flash A, and Claude 3.7 Sonnet) were evaluated for their handling of expressions such as “iyi saatte olsunlar” (may they come at the right time, a euphemism for spirits), “elemtere fiş kem gözlere şiş” (a nonsense rhyme to ward off the evil eye), “el öpenlerin çok olsun” (may many kiss your hand, conveying respect), and “ayıptır söylemesi” (pardon my saying, a politeness formula). Translations were analyzed through widely accepted criteria including fidelity, readability, acceptability, loss of meaning, localization, and equivalence. Prompt-based inputs were used to assess cultural sensitivity. Findings suggest that while surface meanings were generally preserved, all models exhibited limitations in conveying implicit meanings, irony, cultural conventions, taboos, and socially embedded expressions. ChatGPT outperformed the others in maintaining semantic, contextual, and functional equivalence. Conversely, Gemini and Claude emphasized formal correctness but failed to fully capture discourse naturalness and cultural nuance, leading to superficial and occasionally context-detached translations. Therefore, context-sensitively transferring cultural-linguistic elements requires multilayered strategies, culturally fine-tuned systems, and human-supervised approaches.

Anahtar Kelimeler

• Turkish
• formulaic expression
• Intelligent artificial
• Large language model
• Translation

Büyük dil modellerinin kültür-bağımlı Türkçe kalıp sözleri İngilizceye aktarma yeterliliği üzerine bir inceleme

Öz

Bu çalışmada, Büyük Dil Modellerinin (BDM) kültür-bağımlı Türkçe kalıp sözleri İngilizceye aktarabilme yeterliliği incelenmiştir. ChatGPT-4o, Gemini 2.5 Flash A ve Claude 3.7 Sonnet gibi yaygın kullanılan yapay zekâ modelleri aracılığıyla “iyi saatte olsunlar”, “elemtere fiş kem gözlere şiş”, “el öpenlerin çok olsun” ve “ayıptır söylemesi” gibi kültür-bağımlı kalıp sözlerin çeviri kapasiteleri değerlendirilmiştir. Çeviriler; sadakat, okunabilirlik, kabul edilebilirlik, anlam kaybı, yerelleştirme, eşdeğerlik gibi yaygın çeviri ölçütlerine göre çözümlenmiş; yönlendirici girdilerle yapılan çeviriler model çıktılarının kültürel duyarlılık düzeylerini ortaya koymuştur. Bulgular, yüzeysel anlam aktarımında modellerin yeterli olduğunu, ancak örtük anlam, ironi, kalıplaşmış kültürel söylem, toplumsal norm ve tabu gibi unsurlarda göze çarpan yetersizlikleri bulunduğunu göstermiştir. ChatGPT, anlam, bağlam ve işlevsel eşdeğerliği korumada en başarılı model olarak öne çıkarken; Gemini ve Claude gibi modellerde biçimsel doğruluğa odaklanan ancak söylemsel doğallık ve kültürel incelik açısından sınırlı kalan çeviri tercihleri, yüzeysel aktarımlara ve yer yer bağlamdan sapmalara neden olmuştur. Bu nedenle, kültürel ögelerin bağlama duyarlı biçimde aktarımı için, işleve odaklı çok katmanlı çeviri stratejileri, kültürel verilerle ince ayar yapılmış sistemler ve insan çevirmen desteğiyle denetlenmiş yaklaşımlar gerekmektedir.

Anahtar Kelimeler

• Türkçe
• Kalıp söz
• Yapay zekâ
• Büyük dil modeli
• Çeviri

Kaynakça

1. Abbass, H. (2021). What is artificial intelligence?. IEEE Transactions on Artificial Intelligence, 2(2), 94-95.
2. Aixela, J. F. (1996). Culture-specific items in translation. In R. Álvarez & M. C. África Vidal (Eds.), Translation, power, subversion (pp. 52–57). Multilingual Matters.
3. Aixelá, J. F. (1996). Culture-specific items in translation. In Alvarez, R. & Vidal, M. C. (Eds.), Translation, Power, Subversion (pp. 52-79). Multilingual Matters.
4. Aksan, Y., Aksan, M., Koltuksuz, A., Sezer, T., Mersinli, Ü., Demirhan, U. F., Yılmazer, H., Atasoy, G., Öz, S., & Yıldız, İ. (2012). Construction of the Turkish National Corpus (TNC). In Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC 2012). İstanbul, Türkiye. http://www.lrec-conf.org/proceedings/lrec2012/papers.html
5. Alanoğlu, M. ve Karabatak, S. (2020). Eğitimde yapay zekâ. Güçlü Yılmaz, F. ve Naillioğlu Kaymak, M. (Eds.), Eğitim Araştırmaları-2020 içinde (ss. 175-185). Eyuder Yayınları.
6. Alibaba Cloud. (2025). Qwen [Büyük dil modeli]. https://alibabacloud.com
7. Anthropic. (2025). Claude [Büyük dil modeli]. https://www.anthropic.com
8. Aslan, E. (2024). Yapay zekâ destekli çeviri araçlarının edebi çevirideki yeterlilikleri üzerine karşılaştırmalı bir inceleme. IU Journal of Translation Studies, (20), 32-45. https://doi.org/10.26650/iujts.2024.1426435

9. Aytekin, Ç., & Karabina, T., B. (2024). Chatgpt ‘nin farklı büyük dil modelleri performanslarının Türkçedeki eş adlı kelimeler üzerinden incelenmesi. İstanbul Aydın Üniversitesi Sosyal Bilimler Dergisi, 16(3), 365-390. https://doi.org/10.17932/IAU.IAUSBD.2021.021/iausbd_v16i3003
10. Babacan, H. (2021). Türkiye’de yapay zekâ destekli gazetecilik: robot gazeteciliğine yönelik yaklaşımlar [Yayımlanmamış Yüksek Lisans Tezi]. Akdeniz Üniversitesi.
11. Banaz, E., & Maden, S. (2024). Türkçe öğretmen adaylarını yapay zekâ tutumlarının farklı değişkenler açısından incelenmesi. Trakya Eğitim Dergisi, 14(2), 1173-1180. https://doi.org/10.24315/tred.1430419
12. Barnden, J. ve Gargett, A. (2020). Producing figurative expression: Theoretical, experimental and practical perspectives. John Benjamins Publishing Company.
13. Buerki, A. (2020). Formulaic language and linguistic change: A data-led approach. Cambridge University Press.
14. Chomsky, N. (2019). Dil ve zihin incelemelerinde yeni ufuklar (F. B. Aydar, Çev.). Boğaziçi Üniversitesi Yayınevi.
15. Coppin, B. (2004). Artificial intelligence illuminated. Jones and Bartlett Publishers.
16. Çokövün, A. (2023). Çeviri tarihi ışığında çeviribilim. Disiplinlerarası Dil ve Kültür Çalışmaları Dergisi, 1(1), 12-22.
17. DeepSeek AI. (2025). DeepSeek [Büyük dil modeli]. https://www.deepseek.com
18. Demir, Ç. (2021). Yapay zekâ teknolojileri aracılığıyla yetenek edinimi, yeteneği geliştirme ve elde tutma. Akademik Sosyal Araştırmalar Dergisi (ASOS Journal), 9(117), 519-531. http://dx.doi.org/10.29228/ASOS.51053
19. Durnagöl, F., & Altan, Z. (2024). Türkçe dilbilgisi kurallarının sözdizimsel analiz çerçevesinde incelenmesi. Veri Bilimi, 7(1), 1-15.
20. Erdem, E. (2024). Yapay zeka uygulamalarının sosyal bilim alanında yapılan çalışmalarda uygulanabilirliği: ChatGBT, Bing VE YouChat örneği. İletişim Bilimi Araştırmaları Dergisi, 4(3), 218-234. https://doi.org/10.5281/zenodo.13254214
21. Gbadegeshin, S. A., Al Natsheh, A., Ghafel, K., Tikkanen, J., Gray, A., Rimpiläinen, Kuoppala, A., Kalermo-Poranen, J. ve Hirvonen, N. (2021). What is an artificial intelligence (AI): A aimple buzzword or a worthwhile inevitability?. In ICERI2021 Proceedings (pp. 468-479). IATED.
22. Google AI. (2025). Gemini [Büyük dil modeli]. Erişim adresi: https://gemini.google.com
23. Gökdayı, H. (2015). Türkçede kalıp sözler. Kriter.
24. Gürleyen, G., & Uras, A. (2023). Serbest çeviri ağında dönüştürüm süreci: aktör-ağ kuramı penceresinden bir bakış. Dünya Dilleri, Edebiyatları ve Çeviri Çalışmaları Dergisi, 4(2), 144-171. https://doi.org/10.58306/wollt.1333011
25. Haenlein, M. ve Kaplan, A. (2019). A brief history of artificial intelligence: On the past, present, and future of artificial intelligence. California Management Review, 61(4), 5-14. https://doi.org/10.1177/0008125619864925
26. Halenko, N. (2020). Teaching pragmatics and instructed second language learning: Study abroad and technology-enhanced teaching. Bloomsbury Publishing.
27. Hyltenstam, K. (2016). Advanced proficiency and exceptional ability in second languages. De Gruyter
28. Jiang, Y., Li, X., Luo, H., Yin, S., ve Kaynak, O. (2022). Quo vadis artificial intelligence?. Discover Artificial Intelligence, 2(1), 4. https://doi.org/10.1007/s44163-022-00022-8
29. Karakoç Keskin, E. (2023). Yapay zekâ sohbet robotu Chatgpt ve Türkiye internet gündeminde oluşturduğu temalar. Yeni Medya Elektronik Dergisi, 7(2), 114-131. http://dx.doi.org/10.17932/IAU.EJNM.25480200.2023/ejnm_v7i2003
30. Korkmaz, A. (2023). Dijital dilin yolculuğu: ChatGPT ve yapay zekanın doğal dil işleme dünyasındaki rolü. Proceedings of the 2nd BİLSEL International World Science and Research Congress içinde (ss. 348-358). İstanbul, Türkiye.
31. Kumlu, D., & Okul, M. (2023). Yapay zekâ ile çeviri uygulamaları: Kültürel unsurların çevirisinde ChatGPT. Contemporary translation studies: Bridging cultures, technologies and societies içinde (ss. 24-45). Çizgi Kitapevi Publishing.
32. Kuşçu, E. (2015). Çeviride yapay zekâ uygulamaları. Atatürk Üniversitesi Kazım Karabekir Eğitim Fakültesi Dergisi (KKEFD), (30), 45-58.
33. Latour, B. (1996). On actor-network theory: A few clarifications. Soziale Welt, 47(4), 369-381.
34. Low, P. (2005). The pentathlon approach to singing songs. In Gorlée, D. (Ed.), Song and significance: virtues and vices of vocal translation (pp. 185-212). Rodopi.
35. Maral, N., & Yücel, F. (2021). Çeviribilim ve çeviri olgusu açısından ideoloji. Folklor/Edebiyat, 27(108), 1093-1108. https://doi.org/10.22559/folklor.1794
36. McDonald, S. V. (2022). Accuracy, readability, and acceptability in translation. Applied Translation, 14(2), Article 1238. https://doi.org/10.51708/apptrans.v14n2.1238
37. Moneus, A. M. ve Sahari, Y. (2024). Artificial intelligence and human translation: A contrastive study based on legal texts [Çeviren: M. C. Odacıoğlu]. Karamanoğlu Mehmetbey Üniversitesi Uluslararası Filoloji ve Çeviribilim Dergisi, 6(1), 147-171. https://doi.org/10.55036/ufced.1477008
38. Newmark, P. (1988). A Textbook of translation. Prentice Hall International.
39. Newmark, P. (2010). Translation and culture. In B. Lewandowska-Tomaszczyk & M. Thelen (Eds.), Łódź studies in language (pp. 171-182). Peter Lang GmbH.
40. Nida, E. A., & Taber, C. R. (1969). The theory and practice of translation. Brill.
41. OpenAI. (2025). ChatGPT [Büyük dil modeli]. Erişim adresi: https://www.openai.com/chatgpt
42. Orta, N. (2024). Somut Olmayan Kültürel Mirasın korunmasında yapay zekâ, veri bilimi ve makine öğrenmesinden yararlanma. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, (38), 748-777. DOI: 10.29000/rumelide.1439731
43. Önder, M. ve Saygılı, H. (2018). Yapay zekâ ve kamu yönetimine yansımaları. Türk İdare Dergisi, (487), 629-668.
44. Patel, A. A. ve Arasanipalai, A. U. (2021). Applied natural language processing in the enterprise. O’Reilly Media.
45. Perplexity AI. (2025). Perplexity [Büyük dil modeli]. https://www.perplexity.ai
46. Pesen, A. (2024). Şarkı çevirisi ve ChatGPT. Abant Çeviribilim Dergisi, 2(1), 1-16.
47. Sağlam, F. Z. (2021). Amazon web servisi altyapısı ile makine öğrenmesi uygulamaları [Yayımlanmamış Yüksek Lisans Tezi]. Kocaeli Üniversitesi.
48. Seyitoğlu, Z. (2019). Türkiye’de dijital halkla ilişkilerde değişen müşteri deneyimi: chatbot uygulamaları [Yayımlanmamış Yüksek Lisans Tezi]. İstanbul Üniversitesi.
49. Sidtis, D. (2021). Foundations of familiar language: Formulaic expressions, lexical bundles, and collocations at work and play. Wiley.
50. Şenyaman, G. (2023). Arapça yabancı dil öğretiminde yapay zekânın geleceği: ChatGPT örneği. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, (33), 1057-1070. https://doi.org/10.29000/rumelide.1285940
51. Toury, G. (1995). Descriptive translation studies – and beyond. John Benjamins Publishing Company.
52. Türk Dil Kurumu. (t.y.). Güncel Türkçe sözlük. https://sozluk.gov.tr
53. Türkmen, F., & Polat, Y. (2024). Yansıma sözcüklerin çevirisinde insan ve yapay zekâ tercihlerine karşılaştırmalı bir bakış: asteriks örneği. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, (41), 1294-1320.https://zenodo.org/record/13338071
54. Uzuner, B. (2018). Toprak. Everest Yayınları.
55. Venuti, L. (1995). The translator’s invisibility: A history of translation. Routledge.
56. Venuti, L. (2001). Strategies of translation. In M. Baker (Ed.), Routledge encyclopedia of translation studies (pp. 240–244). Routledge.
57. Wierzbicka, A. (2009). Cross-cultural pragmatics: The semantics of human interaction. De Gruyter xAI. (2024). Grok [Büyük dil modeli]. https://x.ai
58. Yavuz, C. (2020). Chat-bot kullanarak kural tabanlı hastalık tanısı tahmini [Yayımlanmamış Yüksek Lisans Tezi]. Karedeniz Teknik Üniversitesi.
59. Yıkar, G. (2023). Farsça dil eğitiminde yapay zekâ (Al) destekli çeviri ve metin üretme üzerine bir değerlendirme. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, (36), 1204-1221. https://doi.org/10.29000/rumelide.1369151