Turkish-Japanese LSTM Machine Translation and Calibration

Yıl 2023, Cilt: 1 Sayı: 1, 20 - 30, 31.12.2023

Ali Aycan Kolukısa

Öz

Although the concept of machine translation is created in older times in the history, it is widely known that the first machine translation was carried out in 1933 by a device developed by an inventor named George Artsrouni in France. However, it was different than the today’s machine translation and the development of modern machine translation could be achieved only after the invention of the computer systems and natural language processing techniques. Besides, the history of the modern computers started with Alan Turing in the WWII and after that with the effects of the Cold War, the first machine translation was developed in 1954 by the IBM 701 computer from Russian to English, in cooperation with Georgetown University. It is developed on a rule-based algorithm and this machine translation is known to work with a very limited number of words and grammatical rules. The factor that played the most important role in the development of machine translation was undoubtedly artificial neural networks. Although artificial neural networks were discovered in the early 1940s, they were built with the help of modern computer technologies and used in the field of translation through deep learning models since the beginning of the 21st century. Especially in 2013, the paper presented by Kalchbrenner and Blunsom attracted a lot of attention, and then the possibilities of artificial neural networks tended to be used more actively in the field of machine translation. In this study, Long Short-Term Memory (LSTM) architecture, which is one of the types of artificial neural networks, was created by Python codes and a Turkish - Japanese machine translation application was carried out with a very low amount of training data. Thus, possible problems that may arise in the use of low amount of data are identified and how these problems can be overcome for an efficient machine translation is pointed out.

Anahtar Kelimeler

LSTM, machine translation, Turkish, Japanese, Python

Türkçe-Japonca LSTM Makine Çevirisi ve Kalibrasyonu

Öz

Makine çevirisi kavramı tarihin daha eski zamanlarında ortaya çıkmış olsa da, ilk makine çevirisinin 1933 yılında Fransa’da George Artsrouni adlı bir mucit tarafından geliştirilen bir cihaz tarafından gerçekleştirildiği yaygın olarak bilinmektedir. Ancak günümüzdeki gibi modern makine çevirisinin gelişimi ise ancak bilgisayar sistemlerinin ve doğal dil işleme tekniklerinin icadından sonra sağlanabilmiştir. Modern bilgisayarların tarihi 2. Dünya Savaşı’nda Alan Turing ile başlamış ve ardından Soğuk Savaş’ın da etkisiyle ilk modern makine çevirisi 1954 yılında Georgetown Üniversitesi ve IBM firması sayesinde Rusça’dan İngilizce’ye şeklinde gerçekleşmiştir. Ancak kural tabanlı bir algoritma üzerine geliştirilen IBM 701 adlı bilgisayar tarafından gerçekleştirilen bu çevirinin çok sınırlı sayıda kelime ve dilbilgisel kurallara dayalı olarak çalışmaktaydı. Makine çevirisinin evriminde en önemli rol oynayan faktörlerden biri ise, hiç şüphesiz yapay sinir ağları olmuştur. Yapay sinir ağları 1940’lı yılların başında keşfedilmiş olsa da modern bilgisayar teknolojileri yardımıyla 21. yüzyılın başından itibaren derin öğrenme modelleri aracılığıyla çeviri alanında kullanılmaya başlanmıştır. Özellikle 2013 yılında Kalchbrenner ve Blunsom tarafından sunulan makale çok ilgi görerek yapay sinir ağlarının olanaklarından makine çevirisi alanında faydalanılma yoluna girilmiştir. Bu çalışmada yapay sinir ağlarından biri olan Uzun-Kısa Vadeli Bellek (LSTM)’ten faydalanılarak oldukça düşük boyutlu bir eğitim verisi ile Türkçe-Japonca makine çeviri uygulaması yapılmıştır. Düşük bir veri kullanımında ortaya çıkabilecek olası sorunlar belirlenmeye çalışılarak bu tür bir veri ile en verimli şekilde makine çevirisinin yapılabilmesi için gerekli kalibrasyonun ne şekilde yapılması gerektiği ele alınmıştır.

Anahtar Kelimeler

LSTM, makine çevirisi, Türkçe, Japonca, Python

Kaynakça

• Bilgin A., Okan V. ve Uras M. (2020). Türkçe GloVe - Repository for Turkish GloVe Word Embeddings. [internet] [erişim:02.09.2022 ] https://github.com/inzva/Turkish-GloVe
• Catford, J. C. (1965). A Linguistic Theory of Translation. Oxford: Oxford University Press.
• Corbe M. (1960). La Machine à Traduire Française Aura Bientôt Trente Ans. Automatisme, 5(3): 87-91.
• Daumas M. (1965). Les Machines à Traduire de Georges Artsrouni. Revue d’Histoire des Sciences et de Leurs Applications; 18 (3): 283-302.
• Esen Eruz S. (2008). Akademik Çeviri Eğitimi: Çeviri Amaçlı Metin Çözümlemesi. Multilingual, İst.
• Garvin PL. (1967). The Georgetown-IBM experiment of 1954 [İnternet]. Çanakkale; 1967 [erişim tarihi:29.09.2022]. https://aclanthology.org/www.mt-archive.info/Garvin-1967.pdf
• Göktürk, A., (2000). Çeviri: Dillerin Dili. Yapı Kredi Yayınları, İstanbul.
• Hutchins W John. (1995). Machine Translation: A Brief History. In E.F.K.Koerner and R.E.Asher(Eds.), Concise History Of The Language Sciences: From The Sumerians To The Cognitivists. Oxford: Pergamon Press.
• Hutchins J. (2004). Two Precursors of Machine Translation: Artsrouni and Trojanskij. International Journal of Translation, 16 (1): 11–31.
• Jakobson E. (1958). Translation a Traditional Craft: An Introductional Craft. Classica et mediaevalia: Dissertationes Serries, ISSN 0906-2912, Gyldendal Publisher.
• Kalchbrenner N, Blunsom P. (2013). Recurrent Continuous Translation Models. Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, Association for Computational Linguistics, Seattle, Washington, USA 2013; October: 1700-1709. https://www.aclweb.org/anthology/D13-1176.pdf
• Keskenler M. F. & Keskenler E. F. (2017). Geçmişten Günümüze Yapay Sinir Ağları ve Tarihçesi. Takvim-i Vekayi, 5 (2), 8-18. Retrieved from https://dergipark.org.tr/tr/pub/takvim/issue/33375/346279
• Kolukısa A. A. (2021). Makine Çevirisi Uygulama Örneği (A Case Study of Machine Translation) [Tezsiz Yüksek Lisans Bitirme Projesi: İzmir Katip Çelebi Üniversitesi, Yazılım Mühendisliği Ana Bilim Dalı (yayınlanmamış bitirme projesi)].
• Köksal D. (2008). Çeviri Eğitimi: Kuram ve Uygulama. Nobel Yayın Dağıtım, Ank.
• McCulloch W. S. & Pitts W. A. (1943). A logical calculus of the ideas immanent in nervous activity. Buttetin of Mathematics and Biophysics, 5, 115-133.
• Paul McCann. (2020). fugashi, a Tool for Tokenizing Japanese in Python. In Proceedings of Second Workshop for NLP Open Source Software (NLP-OSS), pages 44–51, Online. Association for Computational Linguistics. (https://aclanthology.org/2020.nlposs-1.7/)
• Mecab-python3 1.0.5 [internet] [son erişim tarihi: 29.09.2022] https://pypi.org/project/mecab-python3/
• Munday J. (2012). Introducing Translation Studies Theories and Applications (4th Edt.), Routledge, NY.
• Newmark, P. (1981). Approaches to Translation. Pergamon, Oxford and New York.
• Stolze R. (2013). Çeviri Kuramları: Giriş (6. Baskıdan Çeviri, Çev.: Dr. Emra Durukan). Değişim Yayınları, Ist.
• Tatoeba [internet] [son erişim: 02.09.2022] https://tatoeba.org/
• Temür A. S. (2019). İşletmelerin Satış Bütçelerinin Oluşturulmasında Arıma, LSTM, Hibrit Modellerin Karşılaştırılması: Üretim İşletmesi Örneği [Doktora tezi: Sakarya Üniversitesi, İşletme Anabilim Dalı; 2019]. https://acikerisim.sakarya.edu.tr/handle/20.500.12619/68677