Anlam Çözümleme Modelleri İle Geliştirilen Türkçe İşaret Dili Çeviri Sisteminin Nesnelerin İnterneti Üzerinden Web Ortamında Uygulaması

Year 2019, Volume: 12 Issue: 3, 1613 - 1626, 31.12.2019

Yelda Fırat , Taşkın Uğurlu

https://doi.org/10.18185/erzifbed.624887

Abstract

Günlük
hayatta insanlar; duygularını, düşüncelerini ve yaşantılarını dili kullanarak
ya da kullanmaksızın çevrelerindeki insanlara aktararak iletişime geçerler. Dilsel
ve işitsel yetisi olmayan kişiler ise çevreleriyle bu iletişimi işaret dilini kullanarak
gerçekleştirirler. İşaret dili ise, engelli kişilerin hem kendi aralarında hem
de bu dili bilen engelsiz kişilerle jest, mimik ve vücut hareketleriyle anlaşmalarını
sağlayan bir dil olarak tanımlanır. Bu anlamda Nesnelerin İnterneti üzerinden
anlam çözümlenme modelleri ile web (ağ) ortamında çalışmasına yönelik
geliştirilen bu çalışma, duyma ve konuşma bozukluğu olan kişilerle işaret
dilini bilmeyenler arasındaki iletişimi sağlayan bir Türkçe İşaret Dili Çeviri
Sistemidir. Gerçekleştirilen bu sistemle; işaret dilini gösteren el
hareketleri, derinlik kamerasıyla yakalanmış, MQTT (Message Queuing Telemetry
Transport /Sıralı Telemetri Mesaj İletimi) sunucusuna gönderilmiştir. Gönderilen
bu görüntüler Üç Boyutlu Modelleme ve Hareket Analizinde kullanılan yapay sinir
ağları algoritmaları ve makine öğrenmesi yöntemleri ile analiz edilmiştir. Analiz
edilen görüntülerden elde edilen sözcüklerin gerçek anlamları ise, Biçimsel
Kavram Analizi Teorisi ile hazırlanan tematik rollerden oluşan gerçeklik
modelleriyle bulunmuştur. Gerçek anlamları bulunan bu kelimeler, içinde geçtiği
cümle ile birlikte lokal ağ ortamında yayınlanmıştır. Böylece, engelli bir kişi
aynı veya farklı mekanlarda yer alan kişi veya kişilerle iletişim kurabilmiştir. 

Keywords

İşaret dili tanımlama, derinlik kamerası, biçimsel kavram analizi, tematik rol latisleri, MQTT

Supporting Institution

Çanakkale Onsekiz Mart Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimi

Project Number

FBA-2018-2663

Thanks

Bu çalışma, Çanakkale Onsekiz Mart Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimince desteklenmiştir. Proje Numarası: FBA-2018-2663. Birime sonsuz teşekkürlerimizi sunarız.

Application of the Turkish Sign Language Translation System Developed by the Semantic Analysis Models over the Internet of Things at the Web Medium

Abstract

In daily life, people communicate by conveying their
emotions, thoughts, and experiences to the people around them with or without
language. Hovewer, persons who do not have speech and hearing skills make this communication
with their environment by using sign language. As for that the sign language is
defined as a language enabling handicapped persons communicate through gesture,
mimic and body movements between themselves and with other persons who know
this language. In this sense, this work developed for its functioning at the
web medium through the semantic analysis models over the Internet of Things is
a Turkish Sign Language Translation System which provides a communication
opportunity between hearing impaired and speech handicapped persons and those
who do not know the sign language. Through this system, movements of hands
reflecting the sign language were captured by a depth camera and sent to the
MQTT (Message Queuing Telemetry Transport) server. These images were analysed
by means of the methods of three dimensional modelling, artificial neural
networks algorithms used at movement analysis and machine learning.
Real meanings of the words obtained from the analysed images were found through
the reality models consisting of thematic roles prepared in accordance with the
Formal Concept Analysis Theory. These words the real meanings of which had been
identified were published at the local network medium together with the
sentence that they had been mentioned. Thus, a handicapped person could
communicate with other person or persons being at the same place or elsewhere. 

Keywords

Sign language recognition, depth camera, formal concept analysis, thematic role lattices, MQTT

Project Number

FBA-2018-2663

References

• Akmeliawatil, R., OOI, M. P.-L. ve Kuang, Y. C. 2007. “Real-Time Malaysian Sign Language Translation using Color Segmentation and Neural Network”, IEEE Instrumentation and Measurement Technology Conference, Warsaw, Poland, 1-6.
• Arsan, T. ve Ülgen, O. 2015. “Sign Language Converter”, International Journal of Computer Science & Engineering Survey (IJCSES), 6(4), 39-51.
• Ershaed, H., Al-Alali, I., Alkofahi, H., Khasawneh, N. ve Fraiwan, M. 2011. “An arabic sign language computer interface using the xbox Kinect”, In Annual Undergraduate Research Conf. on Applied Computing.
• Fırat, Y., Uçar, Ö. ve Kılıçaslan, Y. 2014. “Semantic Analysis with a LatticeBased FrameNet”, Journal of International Scientific Publications: Language, Individual & Society, 8, 512-518.
• Fırat, Y.2017. “The Semantic Inferences And Mappings Realized In Computer Through The Formal Concept Analysis”, Journal of the International Scientific Researches, 2 (1), 86-107.
• Fırat Y. ve Uğurlu T. 2018. "Latis Tabanlı Anlam Çözümlenmesi İle Türkçe İşaret Dili Tercüme Sistemi", Ömer Halisdemir Üniversitesi Mühendislik Bilimleri Dergisi, 7 (2), 490-503.
• Fraiwan, M., Khasawneh, N., Ershedat, H., Al-Alali, I. ve Alkofahi, H.. 2015. ”A Kinect-based system for Arabic sign language to speech translation”, International Journal of Computer Applications in Technology, 52 (2), 117-126.
• Ganter, B. ve Wille, R.1999. “Formal Concept Analysis Mathematical Foundation”, Berlin: Springer, Verlag, 5-23.
• Gao, W., ve Fanga, G. 2004. “A Chinese sign language recognition system based on SOFM/SRN/HMM”, Journal of Pattern Recognition, 37 (12), 2389-2402.
• Graff, D., (2018), https://gist.github.com/davidgraeff/6c00d2ad5e4bc553f5f209118307d8fd Son Erişim Tarihi: 23.09.2019
• Gunasekaran, K. ve Manikandan, R. 2013. “Sign Language to Speech Translation System Using PIC Microcontroller”, International Journal of Engineering and Technology, 5(2), 1024-1028.
• Jackendoff, R. 1993. “On the Role of Conceptual Structure in Argument Selection: A Reply to Emonds”, Natural Language and Linguistic Theory, 11 (2), 279-312.
• Kömeçoğlu, Y., (2017), http://devnot.com/2017/mqtt-nedir-nasil-bir-mimaride-calisir/ Son Erişim Tarihi: 23.09.2019
• Li, Y., Chen, X., Zhang, X., Wang, K. ve Wang, ZJ. 2012. “Sign-Component-Based Framework for Chinese Sign Language Recognition Using Accelerometer and SEMG Data”, IEEE Transactions On Biomedical Engineering, 59(10), 2695-2704.
• Ong, E.-J. ve Bowden, R. 2004. “A boosted classifier tree for hand shape detection”, In Proceedings of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition FGR'04, Seoul, South Korea, 889-894.
• Quan, Y. 2010. “Chinese Sign Language Recognition Based On Video Sequence Appearance Modeling”, 5th IEEE Conference on Industrial Electronics and Applications, Taichung, Taiwan 1537-1542.
• Rajaganapathy, S., Aravind, B., Keerthana, B. ve Sivagami, M. 2015. “Conversation of Sign Language to Speech with Human Gestures”, Procedia Computer Science, 50, 10-15.
• Starner, T., Weaver, J. ve Pentland, A..1998. “Real-time american sign language recognition using desk and wearable computer based video”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 20 (12), 1371-1375.
• Wille, R. 1982. “Restructuring lattice theory: An approach based on hierarchies on concepts”, 445-470, (ed. I. Rival), Dordrecht-Boston: D. Reidel Publishing Company, Boston, 445-470.