A Comparative Analysis of Large Language Models’ Competence in Translating Culture-Bound Concrete Concepts from Turkish into English

Öz

This study offers a comparative evaluation of three Large Language Models (LLMs)—Deepseek-V3, Grok 3 Fast, and Qwen3-235B-A22B—regarding their ability to translate culturally bound concrete Turkish concepts into English. To ensure reproducibility, accessibility, and equivalence, free versions of the models were used, and identical prompts were employed for all translation tasks. Four culturally specific terms—kına gecesi, bacanak, lahmacun, and mevlit—were selected, embedded within fictional literary excerpts. Each model’s output was qualitatively assessed using eight criteria: cultural appropriateness, functional equivalence, localization, fidelity, emotional equivalence, contextual fit, acceptability, and semantic loss. The qualitative findings were converted into numerical values through an analytic rubric-based scoring method. Results indicate that while the LLMs employed conscious strategies to preserve cultural specificity, they often failed to fully capture the contextual depth of certain concepts. Grok 3 Fast stood out for maintaining cultural terms and ensuring contextual coherence; Qwen3-235B-A22B excelled in emotional tone and creative translation strategies; Deepseek-V3 showed strong textual fidelity. Overall, the findings reveal that LLMs still face challenges in balancing linguistic accuracy with contextual equivalence in cross-cultural translation. The study suggests enhancing annotated corpora, improving contextual analysis capabilities, and developing hybrid evaluation methods involving both AI and human experts.

Anahtar Kelimeler

• Turkish
• Large Language Model
• culture
• concrete concept
• translation

Büyük Dil Modellerinin Türkçedeki Kültür-Bağımlı Somut Kavramları İngilizceye Aktarma Yeterliliği Üzerine Karşılaştırmalı Bir Çözümleme

Öz

Bu çalışmada; Deepseek-V3, Grok 3 Fast ve Qwen3-235B-A22B adlı Büyük Dil Modellerinin (BDM) kültür-bağımlı somut Türkçe kavramları İngilizceye aktarma yeterlilikleri karşılaştırmalı olarak değerlendirilmiştir. Değerlendirmede tekrar edilebilirlik, erişim ve eşdeğerlik açısından yapay zekâların ücretsiz sürümleri tercih edilmiş, çeviri sorgularında aynı yönlendirici girdi (prompt) kullanılmıştır. Araştırmada “kına gecesi”, “bacanak”, “lahmacun” ve “mevlit” olmak üzere dört kültürel kavram seçilmiştir. Bu kavramların yer aldığı kaynak metin parçaları kurgusal yazın metinlerden alınmıştır. BDM’lerin her bir çeviri çıktısı kültürel uygunluk, işlevsel denklik, yerelleştirme, sadakat, duygusal eşdeğerlik, bağlamsal uyum, kabul edilebilirlik ve anlam kaybı ölçütleri açısından nitel olarak değerlendirilmiş, nitel değerlendirmeler sonucu ortaya çıkan bulgu ve gözlemler analitik rubrik temelli puanlama yöntemiyle sayısal değerlere dönüştürülmüştür. Bulgular, BDM'lerin kültürel özgünlüğü koruma yönünde bilinçli stratejiler geliştirdiğini ancak bazı kavramların bağlamsal derinliğini eksik yansıttığını göstermektedir. Grok 3 Fast kültürel terimleri koruma ve bağlamsal uyum sağlama açısından; Qwen3-235B-A22B duygusal ton aktarımı ve yaratıcı çeviri stratejileri açısından; Deepseek-V3 ise metinsel sadakat açısından öne çıkan modeller olmuştur. Çalışma, BDM'lerin kültürlerarası çeviride dilsel doğrulukla bağlamsal eşdeğerlik arasında denge kurma konusunda sınırlılıklar bulunduğunu ortaya koymaktadır. Bu bağlamda, BDM’lerin iyi düzeyde çeviri yapabilmeleri için açıklamalı veri tabanlarının oluşturulması, bağlamsal çözümleme kapasitesinin güçlendirilmesi ve insan uzmanlarla yapay zekâ arasında melez değerlendirme süreçlerinin geliştirilmesi gerektiği anlaşılmıştır.

Anahtar Kelimeler

• Türkçe
• Büyük Dil Modeli
• kültür
• somut kavram
• çeviri

Kaynakça

1. Abbass, H. (2021). What is artificial intelligence?. IEEE Transactions on Artificial Intelligence, 2(2), 94-95. google scholar
2. Adıvar, H. E. (2004). Sinekli bakkal. İstanbul: Özgür Yayınlar. google scholar
3. Alanoğlu, M. ve Karabatak, S. (2020). Eğitimde yapay zekâ. Güçlü Yılmaz, F. ve Naillioğlu Kaymak, M. (Haz.), Eğitim Araştırmaları-2020 içinde (ss. 175-185). Ankara: Eyuder Yayınları. google scholar
4. Alibaba Cloud. (2025). Qwen [Büyük dil modeli]. https://alibabacloud.com google scholar
5. Anthropic. (2025). Claude [Büyük dil modeli]. https://www.anthropic.com google scholar
6. Aslan, E. (2024). Yapay zekâ destekli çeviri araçlarının edebi çevirideki yeterlilikleri üzerine karşılaştırmalı bir inceleme. İstanbul Üniversitesi Çeviribilim Dergisi, (20), s. 32-45. https://doi.org/10.26650/iujts.2024.1426435 google scholar
7. Aytekin, Ç. ve Karabina, B. (2024). ChatGBT’nin farklı büyük dil modelleri performanslarının Türkçedeki eş adlı kelimeler üzerinden incelenmesi. İstanbul Aydın Üniversitesi Sosyal Bilimler Dergisi, 16(3), 365-390. http://dx.doi.org/10.17932/IAU.IAUSBD.2021.021/iausbd_v16i3003 google scholar
8. Babacan, H. (2021). Türkiye’de yapay zeka destekli gazetecilik: robot gazeteciliğine yönelik yaklaşımlar. (Yüksek Lisans Tezi). Akdeniz Üniversitesi, Antalya. google scholar

9. Baker, M. (2011). In other words: A coursebook on translation (2. bsk.). Routledge. google scholar
10. Bassnett, Susan (2025). Çeviribilim (çev. Melda Dinçel Enginsu). İstanbul: Minotor Kitap. google scholar
11. Cevher, İ. (2023). Folklorik bir ritüel olarak Kırıkkale'deki Mevlit törenleri. In Türk kültüründe Mevlit geleneği uluslararası sempozyumu (ss. 589-594). Sivas: Cumhuriyet Üniversitesi Yayınları. google scholar
12. Chesterman, A. (2016). Memes of translation: The spread of ideas in translation theory. Amsterdam ve Philadelphia: John Benjamins Publishing. google scholar
13. Colina, S. (2009). Further evidence for a functionalist approach to translation quality evaluation. Target, 21(2), 235-264. https://doi.org/10.1075/target.21.2.03col google scholar
14. Coppin, B. (2004). Artificial intelligence illuminated. Boston: Jones and Bartlett Publishers. google scholar
15. DeepSeek AI. (2025). DeepSeek [Büyük dil modeli]. https://www.deepseek.com google scholar
16. Demir, Ç. (2021). Yapay zekâ teknolojileri aracılığıyla yetenek edinimi, yeteneği geliştirme ve elde tutma. Akademik Sosyal Araştırmalar Dergisi (ASOS Journal), 9(117), 519-531. http://dx.doi.org/10.29228/ASOS.51053 google scholar
17. Erdem, E. (2024). Yapay zeka uygulamalarının sosyal bilim alanında yapılan çalışmalarda uygulanabilirliği: ChatGBT, Bing VE YouChat örneği. İletişim Bilimi Araştırmaları Dergisi, 4(3), 218-234. https://doi.org/10.5281/zenodo.13254214 google scholar
18. Gbadegeshin, S. A., Al Natsheh, A., Ghafel, K., Tikkanen, J., Gray, A., Rimpiläinen, Kuoppala, A., Kalermo-Poranen, J. ve Hirvonen, N. (2021). What is an artificial intelligence (AI): A aimple buzzword or a worthwhile inevitability?. ICERI2021 Proceedings içinde (ss. 468-479). https://doi.org/10.21125/iceri.2021.0171 google scholar
19. Google AI. (2025). Gemini [Büyük dil modeli]. Erişim adresi: https://gemini.google.com google scholar Güntekin, R. N. (2020). Çalıkuşu. İstanbul: İnkılap Yayınevi. google scholar
20. Haenlein, M. ve Kaplan, A. (2019). A brief history of artificial intelligence: On the past, present, and future of artificial intelligence. California Management Review, 61(4), 5-14. https://doi.org/10.1177/0008125619864925 google scholar
21. Hatim, B., & Mason, I. (1990). Discourse and the translator. Londra ve New York: Routledge. google scholar
22. House, J. (2015). Translation quality assessment: Past and present (2. bsk.). Londra ve New York: Routledge. google scholar Jiang, Y., Li, X., Luo, H., Yin, S., ve Kaynak, O. (2022). Quo vadis artificial intelligence?. Discover Artificial Intelligence, 2(1), 4. https://doi.org/10.1007/s44163-022-00022-8 google scholar
23. Kamacı, G.D. & Çiçek, H. (2024). Kavram, sözcük ve terim arasındaki ilişki. Kocatepe Beşeri Bilimler Dergisi, 3(1), 1-33. https://doi.org/10.61694/kbbd.1480646 google scholar
24. Kemal, O. (1972). Bereketli topraklar üzerine. İstanbul: Cem Yayınevi. google scholar
25. Kubbealtılugatı. (t.y.). https://lugatim.com/s/mevlit (Erişim:30.06.2025) google scholar
26. Kuşçu, E. (2015). Çeviride yapay zekâ uygulamaları. Atatürk Üniversitesi Kazım Karabekir Eğitim Fakültesi Dergisi (KKEFD), 0(30), 45-58. google scholar
27. Maral, Nurdan; Yücel, Faruk. (2021). Çeviribilim ve Çeviri Olgusu Açısından İdeoloji. Folklor/Edebiyat, 27(108), 1093-1108. https://doi.org/10.22559/folklor.1794 google scholar
28. Newmark, P. (1988). A Textbook of translation. New York ve London: Prentice Hall International. google scholar
29. Nida, E. A., & Taber, C. R. (1969). The theory and practice of translation. Leiden: Brill. google scholar
30. OpenAI. (2025). ChatGPT [Büyük dil modeli]. Erişim adresi: https://www.openai.com/chatgpt google scholar
31. Önder, M. ve Saygılı, H. (2018). Yapay zekâ ve kamu yönetimine yansımaları. Türk İdare Dergisi, 487, 629-668. google scholar
32. Perplexity AI. (2025). Perplexity [Büyük dil modeli]. https://www.perplexity.ai google scholar
33. Pym, A. (2010). Exploring translation theories. London ve New York: Routledge. google scholar
34. Sağlam, F. Z. (2021). Amazon web servisi altyapısı ile makine öğrenmesi uygulamaları. (Yüksek Lisans Tezi). Kocaeli Üniversitesi, İzmit. google scholar
35. Saldanha, G., & O’Brien, S. (2014). Research methodologies in translation studies. London ve New York: Routledge. google scholar
36. Schäffner, C. (1998). Qualifications for professional translators: Translation in language teaching versus teaching translation. K. Malmkjær (Ed.), Translation and language teaching: Language teaching and translation içinde (ss. 117–134). Manchester: St. Jerome Publishing. google scholar
37. Snell-Hornby, M. (2006). The turns of translation studies. Amsterdam ve Philadelphia: John Benjamins Publishing Company google scholar
38. Sözen, E. (2011). Sosyal kimlik kavramının sosyolojik ve sosyal psikolojik bir incelemesi. Istanbul Journal of Sociological Studies, (23), 93-116 google scholar
39. Toury, G. (1995). Descriptive translation studies – and beyond. Amsterdam: John Benjamins Publishing Company. google scholar
40. Türk Dil Kurumu. (t.y.). Güncel Türkçe sözlük. https://sozluk.gov.tr/ (Erişim:30.06.2025) google scholar
41. Ümit, A. (2003). Beyoğlu rapsodisi. İstanbul: Doğan Kitap Yayınevi. google scholar
42. Venuti, L. (1995). The Translator's invisibility: A history of translation. London & New York: Routledge. google scholar
43. Waddington, C. (2001). Different methods of evaluating student translations: The question of validity. Meta: Journal des traducteurs, 46(2), 311–325. https://doi.org/10.7202/004583ar google scholar
44. Williams, J., & Chesterman, A. (2002). The map: A beginner’s guide to doing research in translation studies. Manchester: St. Jerome Publishing. google scholar
45. xAI. (2024). Grok [Büyük dil modeli]. https://x.ai google scholar
46. Yardımcı, M. (2008). Geleneksel kültürümüzde ve âşıkların dilinde kına. Folklor/Edebiyat Dergisi, 14(54), 81-95 google scholar
47. Yavuz, C. (2020). Chat-bot kullanarak kural tabanlı hastalık tanısı tahmini. (Yüksek Lisans Tezi). Karedeniz Teknik Üniversitesi, Trabzon. google scholar
48. Yazıcı, Mine (2005). Çeviribilimin Temel Kavram ve Kuramları. İstanbul: Multilingual. google scholar
49. Yıkar, G. (2023). Farsça dil eğitiminde yapay zekâ (Al) destekli çeviri ve metin üretme üzerine bir değerlendirme. Rumeli’de Dil ve Edebiyat Araştırmaları Dergisi, (36), 1204-1221. https://doi.org/10.29000/rumelide.1369151 google scholar
50. Yılmaz, Ş. (2020). “Kına gecesi ritüelinde anlamsal işleyiş: Çağrışımlar, düşün yapılar, dönüşümler. Millî Folklor Dergisi, 16(25), 163-176. google scholar