Turkish Sign Language Word Converter with Micro Controller Systems

Year 2021, Issue: 28, 972 - 977, 30.11.2021

Fatih Gökçe , Hakan Kekül

https://doi.org/10.31590/ejosat.1012347

Abstract

The aim of this study is to determine the sign language equivalents of the words used in the Turkish language with the help of the model created. In this way, it is aimed to facilitate communication between speech-impaired individuals and the rest of the society. It has always been difficult to establish communication between speech impaired and non-disabled individuals. The proposed method to provide communication between disabled and non-disabled individuals uses microcontroller (Arduino), display unit (LCD Panel) and flex, acceleration and gyro sensors. A glove was designed to model words. Thanks to the sign language translator glove, disabled individuals and non-disabled individuals will be able to communicate. When a disabled person wearing a sign translator points to a word in sign language, the data from the five flex, acceleration and gyro sensors corresponding to each finger on the glove is transferred to the microcontroller. In the microcontroller, the sign language translator detects which expression the sign means according to this data coming from the glove and displays it as text in the display unit. In the sign language translator project, Turkish sign language was used while translating the words in the sign language. In order to show what an expression in sign language means in the display unit, the values of a total of eleven data, five flex sensor data, three acceleration data and three gyro data, obtained when the selected sign language movements are made by wearing sign language translator gloves, were determined. Eleven data were recorded for each selected sign language gesture. Sign language movements are classified according to these values in the program running on the microcontroller.

Keywords

Turkish Sign Language, Flex Sensor, Acceleration Sensor, Gyro Sensor, Micro Controller, Arduino

Supporting Institution

ICAENS 2021: 1st International Conference on Applied Engineering and Natural Sciences / Konya Technical University

Mikro Denetleyici Sistemler ile Türk İşaret Dili Kelime Çevirici

Abstract

Bu çalışmanın amacı Türkçe dilinde kullanılan kelimelerin işaret dili karşılıklarını, oluşturulan model yardımıyla tespit etmektir. Bu sayede konuşma engelli bireyler ve toplumun geri kalanı arasındaki iletişimin kolaylaştırılması amaçlanmaktadır. Konuşma engelliler ile engelli olmayan bireyler arasında iletişim sağlamak her zaman zor olmuştur. Engelli ve engelli olmayan bireyler arasında iletişimi sağlamak için önerilen yöntem, mikro denetleyici (Arduino), görüntüleme birimi (LCD Panel) ile flex, ivme ve gyro sensörler kullanmaktadır. Kelimelerin modellenebilmesi için bir eldiven tasarlanmıştır. İşaret dili çevirici eldiven sayesinde engelli bireylerle engelli olmayan bireyler iletişim sağlayabileceklerdir. İşaret dili çeviriciyi eline takan engelli bir birey işaret dilindeki bir sözcüğü işaret ettiğinde eldiven üzerindeki her bir parmağa denk gelen beş flex, ivme ve gyro sensörlerinden gelen veriler mikro denetleyiciye aktarılmaktır. Mikro denetleyicide işaret dili çevirici eldivenden gelen bu verilere göre işaretin hangi ifadeyi kastettiğini tespit ederek görüntüleme biriminde yazı olarak göstermektedir. İşaret dili çevirici projesinde işaret dilindeki kelimeleri çevirirken Türk işaret dili kullanılmıştır. İşaret dilinde hareketi yapılan bir ifadenin ne anlama geldiğini görüntüleme biriminde göstermek için, örnek olarak seçilen işaret dili hareketlerinin işaret dili çevirici eldiven takılarak yapıldığında elde edilen beş flex sensör verisi, üç ivme verisi ve üç gyro verisi olmak üzere toplam onbir verinin değerleri tespit edilmiştir. Örnek seçilen her işaret dili hareketi için tespit edilen onbir veri kayıt edilmiştir. Mikro denetleyici üzerinde çalışan programda bu değerlere göre işaret dili hareketleri sınıflandırılmıştır.

Keywords

Türk İşaret Dili, Flex Sensör, İvme Sensörü, Gyro Sensör, Mikro Denetleyici, Arduino

References

• Abhishek, Kalpattu S., Lee Chun Fai Qubeley, and Derek Ho. "Glove-based hand gesture recognition sign language translator using capacitive touch sensor." 2016 IEEE International Conference on Electron Devices and Solid-State Circuits (EDSSC). IEEE, 2016.
• Burcu, E. (2015). Türkiye'de Yeni Bir Alan:'Engellilik Sosyolojisi've Gelişimi. Journal of Sociological Studies/Sosyoloji Konferanslari, (52).
• El-Bendary, Nashwa, et al. "Arslat: Arabic sign language alphabets translator." 2010 international conference on computer information systems and industrial management applications (CISIM). IEEE, 2010.
• Ku, Yun-Jung, Min-Jen Chen, and Chung-Ta King. "A Virtual Sign Language Translator on Smartphones." 2019 Seventh International Symposium on Computing and Networking Workshops (CANDARW). IEEE, 2019.
• Loke, Pranali, et al. "Indian sign language converter system using an android app." 2017 International conference of Electronics, Communication and Aerospace Technology (ICECA). Vol. 2. IEEE, 2017.
• Öztabak, M. Ü. (2017). Engelli Bireylerin Yaşamdan Beklentilerinin İncelenmesi. FSM İlmî Araştırmalar İnsan ve Toplum Bilimleri Dergisi, (9), 355–355.
• Phing, T. C., Ambar, R., Baharum, A., Poad, H. M., & Abd Wahab, M. H. (2019). Wireless Wearable for Sign Language Translator Device using Intel UP Squared (UP 2) Board. In Computational Science and Technology (pp. 533-543). Springer, Singapore.
• Phing, Tan Ching, et al. "Wireless Wearable for Sign Language Translator Device with Android-Based App." Intelligent and Interactive Computing. Springer, Singapore, 2019. 411-422.
• Sarkar, B., Datta, K., Datta, C. D., Sarkar, D., Dutta, S. J., Roy, I. D., ... & Paul, A. (2009, December). A translator for bangla text to sign language. In 2009 Annual IEEE India Conference (pp. 1-4). IEEE.
• Starner, Thad, Joshua Weaver, and Alex Pentland. "Real-time american sign language recognition using desk and wearable computer based video." IEEE Transactions on pattern analysis and machine intelligence 20.12 (1998): 1371-1375.
• Warrier, K. S., Sahu, J. K., Halder, H., Koradiya, R., & Karthik Raj, V. (2016). Software based sign language converter. International Conference on Communication and Signal Processing, ICCSP 2016, 1777–1780. https://doi.org/10.1109/ICCSP.2016.7754472
• Yalçin, M., Ilgaz, S., Özkul, G., & Yildiz, Ş. K. (2018, May). Turkish sign language alphabet translator. In 2018 26th Signal Processing and Communications Applications Conference (SIU) (pp. 1-4). IEEE.