Detection of the Turkish Sign Language Alphabet Using Convolutional Neural Networks

Yıl 2024, Cilt: 4 Sayı: 2, 1 - 10, 31.12.2024

Elif Taşdemir , Uğur Talaş , Burakhan Çubukçu

Öz

In this study, an artificial intelligence-supported application has been developed to assist disabled individuals in communicating with people who do not know sign language. Nowadays, there are many initiatives aimed at increasing the integration of disabled individuals into society, such as enabling them to benefit more from social opportunities or providing discounts. It is crucial that disabled individuals not only benefit from social or financial opportunities but also feel like a part of society by strengthening the communication between them and non-disabled individuals. In society, hearing-impaired individuals often face challenges when trying to communicate with people who do not know sign language. To address this communication problem, an artificial intelligence-supported application has been developed. In this application, the most commonly used method in the field of image processing, the Convolutional Neural Network (CNN), has been utilized. To improve the performance of the CNN model used, the model's performance was compared by training and testing with three different optimization algorithms: Adadelta, SGD, and Adagrad. The test results showed that the Adagrad algorithm achieved a success rate of 97.01%, the SGD algorithm 96.71%, and the Adadelta algorithm 70.91%. The model developed with the Adagrad optimization algorithm, which provided the best results, was implemented on live camera footage. In the developed application, the letters conveyed through sign language can be tracked in real-time by displaying the sign language letters on the screen as they are captured by the camera.

Anahtar Kelimeler

Turkish sign language, Deep learning, Convolutional neural network, Adagrad, SGD, Adadelta

Evrişimli Sinir Ağları kullanılarak Türk İşaret Dili Alfabesinin Tespit Edilmesi

Öz

Bu çalışmada engelli bireylerin işaret dili bilmeyen insanlarla iletişim kurabilmelerini destekleyici yapay zeka destekli bir uygulama geliştirilmiştir. Günümüzde engellilerin toplumsal yaşamdaki birçok olanaktan daha fazla yararlanabilme ya da indirimli yararlanabilme gibi engelli bireyleri toplumla kaynaştırmayı arttıran birçok girişim bulunmaktadır. Engellilerin sadece sosyal olanak ya da maddi imkanlardan faydalanması değil toplumda engelli bireyler ile engelsiz bireylerin aralarındaki iletişimin kuvvetlenerek kendilerini toplumun bir parçası olarak hissetmeleri oldukça önemlidir. Toplum içinde işitme engelliler iletişim konusunda işaret dili bilmeyen insanlar ile iletişime geçmekte zorlanmaktadırlar. Bu yaşanan iletişim probleminin önüne geçmek için yapay zeka destekli bir uygulama geliştirilmiştir. Uygulamada derin öğrenme yöntemlerinin görüntü işleme alanında en yaygın kullanılan Evrişimli Sinir Ağları (CNN) kullanılmıştır. Kullanılan CNN modelinde başarımı arttırmak için Adadelta, Stochastic Gradient Descent (SDG) ve Adagard olmak üzere üç farklı optimizasyon algoritması ile eğitim ve testler yapılarak modelin başarımını karşılaştırılmıştır. Test sonuçlarında Adagrad algoritması %97,01, SDG algoritması %96,71, Adadelta algoritması ise %70,91 başarım oranı elde etmiştir. En iyi sonucu veren Adagrad optimizasyon algoritması ile geliştirilen model canlı kamera görüntüsünden alınan görüntüler üzerinde uygulanma geliştirilmiştir. Geliştirilen uygulamada kameradan alınan görüntüdeki işaret dili harfini anlık olarak ekrana yazdırılarak işaret dili ile anlatılmak istenen harfler takip edilebilmektedir.

Anahtar Kelimeler

Türk İşaret Dili, Derin Öğrenme, Evrişimli Sinir Ağı, Adagrad, SDG, Adadelta

Kaynakça

• Abdullah ATCILI. (2020). Yapay Sinir Aglarinda Kullanilan Optimizasyon Algoritmalari | by ABDULLAH ATCILI | Machine Learning Turkiye | Medium. https://medium.com/machine-learning-t%C3%BCrkiye/yapay-sinir-a%C4%9Flar%C4%B1nda-kullan%C4%B1lan-optimizasyon-algoritmalar%C4%B1-3e87cd738cb5
• Agarwal, A., & Thakur, M. K. (2013). Sign language recognition using Microsoft Kinect. 2013 6th International Conference on Contemporary Computing, IC3 2013, 181-185. https://doi.org/10.1109/IC3.2013.6612186
• Al Bataineh, A., Kaur, D., & Jalali, S. M. J. (2022). Multi-Layer Perceptron Training Optimization Using Nature Inspired Computing. IEEE Access, 10, 36963-36977. https://doi.org/10.1109/ACCESS.2022.3164669
• Arslan, Y. (2021a). Geçmişten günümüze işitme engellilerin eğitimi ve Türk işaret dilinin rolü. Academic Journal of History and Idea, 8(1), 163-178. https://doi.org/10.46868/atdd.99
• Arslan, Y. (2021b). Geçmişten günümüze işitme engellilerin eğitimi ve Türk işaret dilinin rolü. Akademik Tarih ve Düşünce Dergisi, 8(1), 163-178. https://doi.org/10.46868/atdd.99
• Arvind Sreenivas, Mudit Maheshwari, Saiyam Jain, Shalini Choudhary, & Dr.G.Vadivu. (2020). Indian sign language communicator using convolutional neural network. International Journal of Advanced Science and Technology, 29(3).
• CIFTCI, M. E., & TEKIN, R. (t.y.). TÜRK İŞARET DİLİNİN TRANSFER ÖĞRENME YÖNTEMLERİYLE SINIFLANDIRILMASI. Geliş tarihi 23 Eylül 2024, gönderen https://scholar.google.com/citations?view_op=view_citation&hl=en&user=6lNkO5UAAAAJ&cstart=20&pagesize=80&citation_for_view=6lNkO5UAAAAJ:MDX3w3dAD3YC
• Dikyuva, H., Makaroğlu, B., Arık, E., Türk, ", Dili, İ., Kitabı, D., Aile, ", Topraksoy, A., Üniversitesi, İ., Fakültesi, E., & Bölümü, D. (2020). Türk İşaret Dili Dilbilgisi Kitabı. Journal of Linguistics, 34(34), 73-75. https://doi.org/10.26650/jol.2020.005
• El Naqa, I., & Murphy, M. J. (2015). What Is Machine Learning? Machine Learning in Radiation Oncology, 3-11. https://doi.org/10.1007/978-3-319-18305-3_1
• Example of a network with many convolutional layers. (t.y.). https://www.mathworks.com/discovery/convolutional-neural-network.html.
• Hästbacka, E., Nygård, M., & Nyqvist, F. (2016). Barriers and facilitators to societal participation of people with disabilities: A scoping review of studies concerning European countries. Alter, 10(3), 201-220. https://doi.org/10.1016/J.ALTER.2016.02.002
• Irfan, D., Rosnelly, R., Wahyuni, M., Samudra, J. T., & Rangga, A. (2022). PERBANDINGAN OPTIMASI SGD, ADADELTA, DAN ADAM DALAM KLASIFIKASI HYDRANGEA MENGGUNAKAN CNN. JOURNAL OF SCIENCE AND SOCIAL RESEARCH, 5(2), 244-253. https://doi.org/10.54314/JSSR.V5I2.789
• Karacı, A., K. AKYOL, & Y. GÜLTEPE. (2018). Turkish Sign Language Alphabet Recognition with Leap Motion. https://www.researchgate.net/publication/326837399
• Katılmış, Z., & Karakuzu, C. (2021). ELM based two-handed dynamic Turkish Sign Language (TSL) word recognition. Expert Systems with Applications, 182, 115213. https://doi.org/10.1016/J.ESWA.2021.115213
• Kaya, F., Tuncer, A. F., & Yildiz, Ş. K. (2018). Detection of the turkish sign language alphabet with strain sensor based data glove. 26th IEEE Signal Processing and Communications Applications Conference, SIU 2018, 1-4. https://doi.org/10.1109/SIU.2018.8404459
• Lecun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature 2015 521:7553, 521(7553), 436-444. https://doi.org/10.1038/nature14539 A., Çelik, Ö., & Odabaş, A. (2020). Sign2Text: Konvolüsyonel Sinir Ağları Kullanarak Türk İşaret Dili Tanıma. Avrupa Bilim ve Teknoloji Dergisi, 19, 923-934. https://doi.org/10.31590/EJOSAT.747231
• Potter, L. E., Araullo, J., & Carter, L. (2013). The leap motion controller: A view on sign language. Proceedings of the 25th Australian Computer-Human Interaction Conference: Augmentation, Application, Innovation, Collaboration, OzCHI 2013, 175-178. https://doi.org/10.1145/2541016.2541072
• Sevli, O., & Kemaloğlu, N. (2019). Evrişimsel Sinir Ağları ile İşaret Dili Tanıma. Proceedings on 2nd International Conference on Technology and Science, 14-16. https://www.researchgate.net/publication/349057657
• Tr Sign Language Dataset. (t.y.). Geliş tarihi 23 Eylül 2024, gönderen https://www.kaggle.com/datasets/berkaykocaoglu/tr-sign-language
• Zeynep Oral, A., Ören, T., Üniversitesi, H., Fakültesi, E., Mütercim Tercümanlık, F., öğrencisi, D., Üniversitesi, İ., & Mütercim Tercümanlık, A. (2023). S/sağır ve İşitme Engelli Çocukların Erişimi Bağlamında Fablların Türk İşaret Diline Çevirileri Üzerine Bir İnceleme. Çeviribilim ve Uygulamaları Dergisi, 35(35), 128-141. https://doi.org/10.37599/CEVIRI.1376300