Machine translation system from Turkish to Turkish Sign Language

Öz

In this study, an automatic translation system from Turkish texts to Turkish Sign Language (TSL) has been proposed in order to contribute to the solution of the problems experienced by the hearing impaired in communication. The lack of parallel corpus in languages with few users is also valid for Turkish and TSL. This situation negatively affects the success of statistical-based translations from Turkish to TSL. With this study, a parallel data set of 3000 sentences from Turkish to Turkish Sign Language has been created and contributed to the elimination of the parallel data deficiency in the field. In the study, by using rule-based and statistical-based translation methods together, it has been tried to prevent the low level of translation success due to lack of data. The BLEU (Bilingual Evaluation Understudy) score obtained from the test of raw data has been 6.58 % and it has been increased to 10.58 % after morphological analysis. With the rule-based translation system made with the information obtained from the morphological analysis, the success of the statistical translation has been increased to the level of 32.92 %. In addition, for the first time, a temporal gap has been left between the word groups, and the misunderstandings caused by incorrect positioning have been tried to be reduced during the visualization of the translation in this study.

Anahtar Kelimeler

• Machine translation
• Statistical translation
• Rule-based translation
• Turkish
• Turkish Sign Language

Türkçeden Türk İşaret Diline makine çeviri sistemi

Öz

Bu çalışmada işitme engellilerin iletişimde yaşadığı problemlerin çözümüne katkı sağlamak amacıyla Türkçe metinlerden Türk İşaret Dili (TİD) arasında otomatik çeviri sistemi önerilmektedir. Az kullanıcısı olan dillerin genelinde yaşanan eşlenik veri eksikliği, Türkçe ve TİD için de geçerlidir. Bu durum Türkçeden TİD’e yapılan istatistiksel tabanlı çevirilerin başarısını olumsuz etkilemektedir. Bu çalışma ile Türkçeden Türk İşaret Diline 3000 cümlelik eşlenik veri seti oluşturularak alandaki eşlenik veri eksikliğinin giderilmesine katkı sağlanmıştır. Çalışmada kural tabanlı ve istatistiksel tabanlı çeviri yöntemleri birlikte kullanılarak, veri azlığından kaynaklı çeviri başarısı düşüklüğünün önüne geçilmeye çalışılmıştır. Ham verinin testinden elde edilen BLEU (Bilingual Evaluation Understudy) skoru, % 6,58 olup morfolojik analizden geçirilerek % 10,58 seviyesine çıkarılmıştır. Morfolojik analizden elde edilen bilgilerle yapılan kural tabanlı çeviri sistemi ile de istatistiksel çevirinin başarısı % 32,92 seviyesine çıkartılmıştır. Ayrıca, ilk defa bu çalışmada, çevirinin görselleştirilmesi aşamasında kelime grupları arasında zamansal boşluk bırakılarak yanlış konumlandırmadan kaynaklanan anlam yanılgıları azaltılmaya çalışılmıştır.

Anahtar Kelimeler

• Makine çevirisi
• İstatistiksel çeviri
• Kural tabanlı çeviri
• Türkçe
• Türk İşaret Dili

Teşekkür

Çalışmada kullandığımız verileri paylaşan Aile Çalışma ve Sosyal Politikalar Bakanlığı’na, işaret dili videolarını kullanmamıza izin veren işaretçe.com sitesi sahiplerine, bağımlılık analizi için Türkçe ağaç yapılı derlem datasını paylaşan ODTÜ corpus araştırma grubuna, Türkçe metinlerin işaret dili karşılıklarının oluşturulmasındaki destekleri için Ferat KAYA’ya teşekkür ederiz.

Kaynakça

1. 1. Aile ve Sosyal Hizmetler Bakanlığı. Engelli ve Yaşlı İstatistik Bülteni Ağustos-2021. https://www.aile.gov.tr/media/89297/eyhgm_istatistik_bulteni_agustos2021.pdf. Erişim tarihi Aralık 12, 2021.
2. 2. Kın Z. B., Türk İşaret Di̇li̇ Alfabesi̇ni̇n Deri̇n Öğrenme Yöntemi̇ i̇le Sınıflandırılması, Master Tezi, Başkent Üniversitesi, Fen Bilimleri Enstitüsü, Ankara, 2019.
3. 3. Karaca M. F., Bayır Ş., Türk İşaret Dili İncelemesi: İletişim ve Dil Bilgisi, Ulusal Eğitim Akademisi Dergisi, 2 (2), 35–58, 2018.
4. 4. TÜİK. Engellilerin Sorun ve Beklentileri Araştırması. https://data.tuik.gov.tr/Bulten/Index?p=Ozurlulerin-Sorun-ve-Beklentileri-Arastirmasi-2010-6370. Erişim tarihi Aralık 12, 2020.
5. 5. K. Papineni, S. Roukos, T. Ward, W.-J. Zhu, BLEU: A Method for Automatic Evaluation of Machine Translation, Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), 371 (23), 311–318, 2002.
6. 6. Punchimudiyanse M., Meegama R. G. N., Computer Interpreter for Translating Written Sinhala to Sinhala Sign Language, OUSL Journal, 12 (1), 70–90, 2017.
7. 7. Alkoby K., A Survey of ASL Tenses, Proceedings of the 2nd Annual CTI Research Symposium, 1–11, 1999.
8. 8. El Alfi A. E. E., El Basuony M. M. R., El Atawy S. M., Intelligent Arabic Sign Language to Arabic text Translation for Easy Deaf Communication, International Journal of Computer Applications, 92 (8), 22–29, 2014.

9. 9. Hendriks H. B., Jordanian Sign Language: Aspects of grammar from a cross-linguistic perspective, LOT, Utrecht, 2008.
10. 10. Sugandhi, P., Kumar, S. Kaur, Sign Language Generation System Based on Indian Sign Language Grammar, ACM Transactions on Asian and Low-Resource Language Information Processing, 19 (4), 2020.
11. 11. Eryiğit C., Köse H., Kelepir M., Eryiğit G., Building machine-readable knowledge representations for Turkish sign language generation, Knowledge-Based Systems, 108, 179–194, 2016.
12. 12. Eryiğit G., Eryiğit C., Karabüklü S., Kelepir M., Özkul A., Pamay T., Torunoğlu-Selamet D., Köse H., Building the first comprehensive machine-readable Turkish sign language resource: methods, challenges and solutions, Lang. Resour. Eval., 54 (1), 97–121, 2020.
13. 13. Stein D., Jan B., Ney H., Morpho-syntax based statistical methods for automatic sign language translation, EAMT-2006 - 11th Annual Conference of the European Association for Machine Translation, 169–177, 2006.
14. 14. Dangsaart S., Naruedomkul K., Cercone N., Sirinaovakul B., Intelligent Thai text - Thai sign translation for language learning, Computers and Education, 51 (3), 1125–1141, 2008.
15. 15. Kouremenos D., Ntalianis K., Siolas G., Stafylopatis A., “Statistical machine translation for Greek to Greek sign language using parallel corpora produced via rule-based machine translation”, CEUR Workshop Proc., 2252, 28–42, 2018.
16. 16. Dreuw P., Stein D., Deselaers T., Rybach D., Zahedi M., Bungeroth J., Ney H., Spoken language processing techniques for sign language recognition and translation, Technology and Disability, 20 (2), 121–133, 2008.
17. 17. Bungeroth J., Ney H., Statistical Sign Language Translation, Workshop on representation and processing of sign languages, LREC, 4 (2003), 105–108, 2004.
18. 18. El-Kahlout İ. D., Oflazer K., Exploiting Morphology and Local Word Reordering in English-to-Turkish Phrase-Based Statistical Machine Translation, IEEE Transactions On Audio, Speech, And Language Processing, 18 (6), 1313–1322, 2010.
19. 19. Och F. J., Ney H., The alignment template approach to statistical machine translation, Computational Linguistics, 30 (4). 2004.
20. 20. Koehn P., Hoang H., Factored translation models, EMNLP-CoNLL 2007 - Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, 868–876, 2007.
21. 21. Yeniterzi R., Syntax-to-morphology alignment and constituent reordering in factored phrase-based statistical machine translation from English to Turkish, Master Tezi, Sabancı Üniversitesi, Fen Bilimleri Enstitüsü, İstanbul, 2009.
22. 22. Yang M., Kirchhoff K., Phrase-based backoff models for machine translation of highly inflected languages, EACL 2006 - 11th Conference of the European Chapter of the Association for Computational Linguistics, Proceedings of the Conference, 41–48, 2006.
23. 23. Wu C. H., Su H. Y., Chiu Y. H., Lin C. H., Transfer-based statistical translation of Taiwanese sign language using PCFG, ACM Transactions on Asian Language Information Processing, 6 (1), 1–18, 2007.
24. 24. Ersoy E., Karal Ö., Yapay Sinir Ağları ve İnsan Beyni, İnsan ve Toplum Bilimleri Araştırmaları Dergisi, 1 (2), 188–205, 2012.
25. 25. Brour M., Benabbou A., ATLASLang NMT: Arabic text language into Arabic sign language neural machine translation, Journal of King Saud University-Computer and Information Sciences, 33 (9), 1121-1131, 2021.
26. 26. Stoll S., Camgoz N. C., Hadfield S., Bowden R., Text2Sign: Towards Sign Language Production Using Neural Machine Translation and Generative Adversarial Networks, International Journal of Computer Vision, 1–12, 2020.
27. 27. Kaczmarek M., Filhol M., Computer-assisted sign language translation: a study of translators’ practice to specify CAT software, Machine Translation, 35 (3), 305-322, 2021.
28. 28. Sidig A. A. I., Luqman H., Mahmoud S., Mohandes M., KArSL: Arabic Sign Language Database, ACM Transactions on Asian and Low-Resource Language Information Processing, 20 (1), 1–19, 2021.
29. 29. Kahlon N. K., Singh W., Machine translation from text to sign language: a systematic review, Universal Access in the Information Society, 22 (1), 1-35, 2023.
30. 30. Eryiğit C., Yazılı Türkçe Dilinden Türk İşaret Diline (TİD) Makine Çeviri Sistemi, Doktora Tezi, İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, İstanbul, 2017.
31. 31. Yasan M. C., Türkçe Metni Türk İşaret Diline Dönüştürme, Master Tezi, Başkent Üniversitesi, Fen Bilimleri Enstitüsü, Ankara, 2014.
32. 32. Karaca M. F., Üç Boyutlu Sanal Model ile Türk İşaret Dili Simülasyonu, Doktora Tezi, Karabük Üniversitesi, Fen Bilimleri Enstitüsü, Karabük, 2018.
33. 33. Buz B., Güngör T., Developing a Statistical Turkish Sign Language Translation System for Primary School Students, IEEE International Symposium on Innovations in Intelligent SysTems and Applications, 2019.
34. 34. Kayahan D., Güngör T., A Hybrid Translation System from Turkish Spoken Language to Turkish Sign Language, IEEE International Symposium on Innovations in Intelligent Systems and Applications, 2019.
35. 35. Şimşek M. S., Türkçe ile Türk İşaret Dili Arasında Örneğe Dayalı Makina Çeviri Sistemi, Master Tezi, Hacettepe Üniversitesi, Fen Bilimleri Enstitüsü, Ankara, 2016.
36. 36. Makaroğlu B., Dikyuva H., Güncel Türk İşaret Dili Sözlüğü. https://tidsozluk.ailevecalisma.gov.tr/. Erişim tarihi Mayıs 01, 2021.
37. 37. Dastgheib M. B., Fakhrahmad S. M., Jahromi M. Z., A hybrid accurate alignment method for large persian-english corpus construction based on statistical analysis and lexicon/persian word net, International Journal of Information Science and Management, 14 (2), 97–106, 2016.
38. 38. Akın A. A., Zemberek, https://github.com/ahmetaa/zemberek-nlp. Erişim tarihi Eylül. 10, 2021.
39. 39. Moses. http://www.statmt.org/moses/index.php?n=Main.HomePage. Erişim tarihi Eylül. 10, 2021.
40. 40. Och F. J., Ney H., A Systematic Comparison of Various Statistical Alignment Models, Computational Linguistics, 23 (1), 19–51, 2003.
41. 41. Heafield K., Pouzyrevsky I., Clark J. H., Koehn P., Scalable Modified Kneser-Ney Language Model Estimation, 51st Annual Meeting ofthe Association for Computational Linguistics, Sofia, Bulgaria, 690–696, 2013.
42. 42. Karabüklü S., Strategies to Express Time in a Tenseless Language: Turkish Sign Language (TİD), Dilbilim Araştırmaları Dergisi, 111, 87–118, 2018.
43. 43. Karal H., Şılbır L., Bahçekapılı E., Atasoy M., İşitme Engelli Bireyler için Grafik Sembollerle Oluşturulmuş Öğrenme Materyalleri, Journal of Instructional Technologies & Teacher Education.3 (3), 9-19, 2014.
44. 44. Dikyuva H., Makaroğlu B., Arık E., Türk İşaret Dili Dilbilgisi Kitabı. Aile ve Sosyal Politikalar Bakanlığı Yayınları, Ankara, 2015.
45. 45. Kayahan D., Hybrid Translation System From Turkish Spoken Language To Turkish Sign Language, Master Tezi, Boğaziçi Üniversitesi, Fen Bilimleri Entitüsü, İstanbul, 2019.
46. 46. Buz B., Developing A Statistical Turkish Sign Language Translation System For Primary School Students, Master Tezi, Boğaziçi Üniversitesi, Fen Bilimleri Entitüsü, İstanbul, 2019.