Application of the Turkish Sign Language Translation System Developed by the Semantic Analysis Models over the Internet of Things at the Web Medium

Öz

In daily life, people communicate by conveying their emotions, thoughts, and experiences to the people around them with or without language. Hovewer, persons who do not have speech and hearing skills make this communication with their environment by using sign language. As for that the sign language is defined as a language enabling handicapped persons communicate through gesture, mimic and body movements between themselves and with other persons who know this language. In this sense, this work developed for its functioning at the web medium through the semantic analysis models over the Internet of Things is a Turkish Sign Language Translation System which provides a communication opportunity between hearing impaired and speech handicapped persons and those who do not know the sign language. Through this system, movements of hands reflecting the sign language were captured by a depth camera and sent to the MQTT (Message Queuing Telemetry Transport) server. These images were analysed by means of the methods of three dimensional modelling, artificial neural networks algorithms used at movement analysis and machine learning. Real meanings of the words obtained from the analysed images were found through the reality models consisting of thematic roles prepared in accordance with the Formal Concept Analysis Theory. These words the real meanings of which had been identified were published at the local network medium together with the sentence that they had been mentioned. Thus, a handicapped person could communicate with other person or persons being at the same place or elsewhere. 

Anahtar Kelimeler

• Sign language recognition,depth camera,formal concept analysis,thematic role lattices,MQTT

Proje Numarası

FBA-2018-2663

Anlam Çözümleme Modelleri İle Geliştirilen Türkçe İşaret Dili Çeviri Sisteminin Nesnelerin İnterneti Üzerinden Web Ortamında Uygulaması

Öz

Günlük hayatta insanlar; duygularını, düşüncelerini ve yaşantılarını dili kullanarak ya da kullanmaksızın çevrelerindeki insanlara aktararak iletişime geçerler. Dilsel ve işitsel yetisi olmayan kişiler ise çevreleriyle bu iletişimi işaret dilini kullanarak gerçekleştirirler. İşaret dili ise, engelli kişilerin hem kendi aralarında hem de bu dili bilen engelsiz kişilerle jest, mimik ve vücut hareketleriyle anlaşmalarını sağlayan bir dil olarak tanımlanır. Bu anlamda Nesnelerin İnterneti üzerinden anlam çözümlenme modelleri ile web (ağ) ortamında çalışmasına yönelik geliştirilen bu çalışma, duyma ve konuşma bozukluğu olan kişilerle işaret dilini bilmeyenler arasındaki iletişimi sağlayan bir Türkçe İşaret Dili Çeviri Sistemidir. Gerçekleştirilen bu sistemle; işaret dilini gösteren el hareketleri, derinlik kamerasıyla yakalanmış, MQTT (Message Queuing Telemetry Transport /Sıralı Telemetri Mesaj İletimi) sunucusuna gönderilmiştir. Gönderilen bu görüntüler Üç Boyutlu Modelleme ve Hareket Analizinde kullanılan yapay sinir ağları algoritmaları ve makine öğrenmesi yöntemleri ile analiz edilmiştir. Analiz edilen görüntülerden elde edilen sözcüklerin gerçek anlamları ise, Biçimsel Kavram Analizi Teorisi ile hazırlanan tematik rollerden oluşan gerçeklik modelleriyle bulunmuştur. Gerçek anlamları bulunan bu kelimeler, içinde geçtiği cümle ile birlikte lokal ağ ortamında yayınlanmıştır. Böylece, engelli bir kişi aynı veya farklı mekanlarda yer alan kişi veya kişilerle iletişim kurabilmiştir. 

Anahtar Kelimeler

• İşaret dili tanımlama,derinlik kamerası,biçimsel kavram analizi,tematik rol latisleri,MQTT

Destekleyen Kurum

Çanakkale Onsekiz Mart Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimi

Proje Numarası

FBA-2018-2663

Teşekkür

Bu çalışma, Çanakkale Onsekiz Mart Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimince desteklenmiştir. Proje Numarası: FBA-2018-2663. Birime sonsuz teşekkürlerimizi sunarız.

Kaynakça

1. Akmeliawatil, R., OOI, M. P.-L. ve Kuang, Y. C. 2007. “Real-Time Malaysian Sign Language Translation using Color Segmentation and Neural Network”, IEEE Instrumentation and Measurement Technology Conference, Warsaw, Poland, 1-6.
2. Arsan, T. ve Ülgen, O. 2015. “Sign Language Converter”, International Journal of Computer Science & Engineering Survey (IJCSES), 6(4), 39-51.
3. Ershaed, H., Al-Alali, I., Alkofahi, H., Khasawneh, N. ve Fraiwan, M. 2011. “An arabic sign language computer interface using the xbox Kinect”, In Annual Undergraduate Research Conf. on Applied Computing.
4. Fırat, Y., Uçar, Ö. ve Kılıçaslan, Y. 2014. “Semantic Analysis with a LatticeBased FrameNet”, Journal of International Scientific Publications: Language, Individual & Society, 8, 512-518.
5. Fırat, Y.2017. “The Semantic Inferences And Mappings Realized In Computer Through The Formal Concept Analysis”, Journal of the International Scientific Researches, 2 (1), 86-107.
6. Fırat Y. ve Uğurlu T. 2018. "Latis Tabanlı Anlam Çözümlenmesi İle Türkçe İşaret Dili Tercüme Sistemi", Ömer Halisdemir Üniversitesi Mühendislik Bilimleri Dergisi, 7 (2), 490-503.
7. Fraiwan, M., Khasawneh, N., Ershedat, H., Al-Alali, I. ve Alkofahi, H.. 2015. ”A Kinect-based system for Arabic sign language to speech translation”, International Journal of Computer Applications in Technology, 52 (2), 117-126.
8. Ganter, B. ve Wille, R.1999. “Formal Concept Analysis Mathematical Foundation”, Berlin: Springer, Verlag, 5-23.

9. Gao, W., ve Fanga, G. 2004. “A Chinese sign language recognition system based on SOFM/SRN/HMM”, Journal of Pattern Recognition, 37 (12), 2389-2402.
10. Graff, D., (2018), https://gist.github.com/davidgraeff/6c00d2ad5e4bc553f5f209118307d8fd Son Erişim Tarihi: 23.09.2019
11. Gunasekaran, K. ve Manikandan, R. 2013. “Sign Language to Speech Translation System Using PIC Microcontroller”, International Journal of Engineering and Technology, 5(2), 1024-1028.
12. Jackendoff, R. 1993. “On the Role of Conceptual Structure in Argument Selection: A Reply to Emonds”, Natural Language and Linguistic Theory, 11 (2), 279-312.
13. Kömeçoğlu, Y., (2017), http://devnot.com/2017/mqtt-nedir-nasil-bir-mimaride-calisir/ Son Erişim Tarihi: 23.09.2019
14. Li, Y., Chen, X., Zhang, X., Wang, K. ve Wang, ZJ. 2012. “Sign-Component-Based Framework for Chinese Sign Language Recognition Using Accelerometer and SEMG Data”, IEEE Transactions On Biomedical Engineering, 59(10), 2695-2704.
15. Ong, E.-J. ve Bowden, R. 2004. “A boosted classifier tree for hand shape detection”, In Proceedings of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition FGR'04, Seoul, South Korea, 889-894.
16. Quan, Y. 2010. “Chinese Sign Language Recognition Based On Video Sequence Appearance Modeling”, 5th IEEE Conference on Industrial Electronics and Applications, Taichung, Taiwan 1537-1542.
17. Rajaganapathy, S., Aravind, B., Keerthana, B. ve Sivagami, M. 2015. “Conversation of Sign Language to Speech with Human Gestures”, Procedia Computer Science, 50, 10-15.
18. Starner, T., Weaver, J. ve Pentland, A..1998. “Real-time american sign language recognition using desk and wearable computer based video”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 20 (12), 1371-1375.
19. Wille, R. 1982. “Restructuring lattice theory: An approach based on hierarchies on concepts”, 445-470, (ed. I. Rival), Dordrecht-Boston: D. Reidel Publishing Company, Boston, 445-470.