Yıl 2019, Cilt 12 , Sayı 3, Sayfalar 1613 - 1626 2019-12-31

Anlam Çözümleme Modelleri İle Geliştirilen Türkçe İşaret Dili Çeviri Sisteminin Nesnelerin İnterneti Üzerinden Web Ortamında Uygulaması
Application of the Turkish Sign Language Translation System Developed by the Semantic Analysis Models over the Internet of Things at the Web Medium

Yelda FIRAT [1] , Taşkın UĞURLU [2]


Günlük hayatta insanlar; duygularını, düşüncelerini ve yaşantılarını dili kullanarak ya da kullanmaksızın çevrelerindeki insanlara aktararak iletişime geçerler. Dilsel ve işitsel yetisi olmayan kişiler ise çevreleriyle bu iletişimi işaret dilini kullanarak gerçekleştirirler. İşaret dili ise, engelli kişilerin hem kendi aralarında hem de bu dili bilen engelsiz kişilerle jest, mimik ve vücut hareketleriyle anlaşmalarını sağlayan bir dil olarak tanımlanır. Bu anlamda Nesnelerin İnterneti üzerinden anlam çözümlenme modelleri ile web (ağ) ortamında çalışmasına yönelik geliştirilen bu çalışma, duyma ve konuşma bozukluğu olan kişilerle işaret dilini bilmeyenler arasındaki iletişimi sağlayan bir Türkçe İşaret Dili Çeviri Sistemidir. Gerçekleştirilen bu sistemle; işaret dilini gösteren el hareketleri, derinlik kamerasıyla yakalanmış, MQTT (Message Queuing Telemetry Transport /Sıralı Telemetri Mesaj İletimi) sunucusuna gönderilmiştir. Gönderilen bu görüntüler Üç Boyutlu Modelleme ve Hareket Analizinde kullanılan yapay sinir ağları algoritmaları ve makine öğrenmesi yöntemleri ile analiz edilmiştir. Analiz edilen görüntülerden elde edilen sözcüklerin gerçek anlamları ise, Biçimsel Kavram Analizi Teorisi ile hazırlanan tematik rollerden oluşan gerçeklik modelleriyle bulunmuştur. Gerçek anlamları bulunan bu kelimeler, içinde geçtiği cümle ile birlikte lokal ağ ortamında yayınlanmıştır. Böylece, engelli bir kişi aynı veya farklı mekanlarda yer alan kişi veya kişilerle iletişim kurabilmiştir. 

In daily life, people communicate by conveying their emotions, thoughts, and experiences to the people around them with or without language. Hovewer, persons who do not have speech and hearing skills make this communication with their environment by using sign language. As for that the sign language is defined as a language enabling handicapped persons communicate through gesture, mimic and body movements between themselves and with other persons who know this language. In this sense, this work developed for its functioning at the web medium through the semantic analysis models over the Internet of Things is a Turkish Sign Language Translation System which provides a communication opportunity between hearing impaired and speech handicapped persons and those who do not know the sign language. Through this system, movements of hands reflecting the sign language were captured by a depth camera and sent to the MQTT (Message Queuing Telemetry Transport) server. These images were analysed by means of the methods of three dimensional modelling, artificial neural networks algorithms used at movement analysis and machine learning. Real meanings of the words obtained from the analysed images were found through the reality models consisting of thematic roles prepared in accordance with the Formal Concept Analysis Theory. These words the real meanings of which had been identified were published at the local network medium together with the sentence that they had been mentioned. Thus, a handicapped person could communicate with other person or persons being at the same place or elsewhere. 

  • Akmeliawatil, R., OOI, M. P.-L. ve Kuang, Y. C. 2007. “Real-Time Malaysian Sign Language Translation using Color Segmentation and Neural Network”, IEEE Instrumentation and Measurement Technology Conference, Warsaw, Poland, 1-6.
  • Arsan, T. ve Ülgen, O. 2015. “Sign Language Converter”, International Journal of Computer Science & Engineering Survey (IJCSES), 6(4), 39-51.
  • Ershaed, H., Al-Alali, I., Alkofahi, H., Khasawneh, N. ve Fraiwan, M. 2011. “An arabic sign language computer interface using the xbox Kinect”, In Annual Undergraduate Research Conf. on Applied Computing.
  • Fırat, Y., Uçar, Ö. ve Kılıçaslan, Y. 2014. “Semantic Analysis with a LatticeBased FrameNet”, Journal of International Scientific Publications: Language, Individual & Society, 8, 512-518.
  • Fırat, Y.2017. “The Semantic Inferences And Mappings Realized In Computer Through The Formal Concept Analysis”, Journal of the International Scientific Researches, 2 (1), 86-107.
  • Fırat Y. ve Uğurlu T. 2018. "Latis Tabanlı Anlam Çözümlenmesi İle Türkçe İşaret Dili Tercüme Sistemi", Ömer Halisdemir Üniversitesi Mühendislik Bilimleri Dergisi, 7 (2), 490-503.
  • Fraiwan, M., Khasawneh, N., Ershedat, H., Al-Alali, I. ve Alkofahi, H.. 2015. ”A Kinect-based system for Arabic sign language to speech translation”, International Journal of Computer Applications in Technology, 52 (2), 117-126.
  • Ganter, B. ve Wille, R.1999. “Formal Concept Analysis Mathematical Foundation”, Berlin: Springer, Verlag, 5-23.
  • Gao, W., ve Fanga, G. 2004. “A Chinese sign language recognition system based on SOFM/SRN/HMM”, Journal of Pattern Recognition, 37 (12), 2389-2402.
  • Graff, D., (2018), https://gist.github.com/davidgraeff/6c00d2ad5e4bc553f5f209118307d8fd Son Erişim Tarihi: 23.09.2019
  • Gunasekaran, K. ve Manikandan, R. 2013. “Sign Language to Speech Translation System Using PIC Microcontroller”, International Journal of Engineering and Technology, 5(2), 1024-1028.
  • Jackendoff, R. 1993. “On the Role of Conceptual Structure in Argument Selection: A Reply to Emonds”, Natural Language and Linguistic Theory, 11 (2), 279-312.
  • Kömeçoğlu, Y., (2017), http://devnot.com/2017/mqtt-nedir-nasil-bir-mimaride-calisir/ Son Erişim Tarihi: 23.09.2019
  • Li, Y., Chen, X., Zhang, X., Wang, K. ve Wang, ZJ. 2012. “Sign-Component-Based Framework for Chinese Sign Language Recognition Using Accelerometer and SEMG Data”, IEEE Transactions On Biomedical Engineering, 59(10), 2695-2704.
  • Ong, E.-J. ve Bowden, R. 2004. “A boosted classifier tree for hand shape detection”, In Proceedings of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition FGR'04, Seoul, South Korea, 889-894.
  • Quan, Y. 2010. “Chinese Sign Language Recognition Based On Video Sequence Appearance Modeling”, 5th IEEE Conference on Industrial Electronics and Applications, Taichung, Taiwan 1537-1542.
  • Rajaganapathy, S., Aravind, B., Keerthana, B. ve Sivagami, M. 2015. “Conversation of Sign Language to Speech with Human Gestures”, Procedia Computer Science, 50, 10-15.
  • Starner, T., Weaver, J. ve Pentland, A..1998. “Real-time american sign language recognition using desk and wearable computer based video”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 20 (12), 1371-1375.
  • Wille, R. 1982. “Restructuring lattice theory: An approach based on hierarchies on concepts”, 445-470, (ed. I. Rival), Dordrecht-Boston: D. Reidel Publishing Company, Boston, 445-470.
Birincil Dil tr
Konular Mühendislik
Bölüm Makaleler
Yazarlar

Orcid: 0000-0002-6741-2507
Yazar: Yelda FIRAT (Sorumlu Yazar)
Kurum: ÇANAKKALE ONSEKİZ MART ÜNİVERSİTESİ ÇANAKKALE TEKNİK BİLİMLER MESLEK YÜKSEKOKULU
Ülke: Turkey


Orcid: 0000-0001-9183-5182
Yazar: Taşkın UĞURLU
Kurum: ÇANAKKALE ONSEKİZ MART ÜNİVERSİTESİ ÇANAKKALE TEKNİK BİLİMLER MESLEK YÜKSEKOKULU
Ülke: Turkey


Destekleyen Kurum Çanakkale Onsekiz Mart Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimi
Proje Numarası FBA-2018-2663
Teşekkür Bu çalışma, Çanakkale Onsekiz Mart Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimince desteklenmiştir. Proje Numarası: FBA-2018-2663. Birime sonsuz teşekkürlerimizi sunarız.
Tarihler

Yayımlanma Tarihi : 31 Aralık 2019

Bibtex @araştırma makalesi { erzifbed624887, journal = {Erzincan Üniversitesi Fen Bilimleri Enstitüsü Dergisi}, issn = {1307-9085}, eissn = {2149-4584}, address = {}, publisher = {Erzincan Üniversitesi}, year = {2019}, volume = {12}, pages = {1613 - 1626}, doi = {10.18185/erzifbed.624887}, title = {Anlam Çözümleme Modelleri İle Geliştirilen Türkçe İşaret Dili Çeviri Sisteminin Nesnelerin İnterneti Üzerinden Web Ortamında Uygulaması}, key = {cite}, author = {FIRAT, Yelda and UĞURLU, Taşkın} }
APA FIRAT, Y , UĞURLU, T . (2019). Anlam Çözümleme Modelleri İle Geliştirilen Türkçe İşaret Dili Çeviri Sisteminin Nesnelerin İnterneti Üzerinden Web Ortamında Uygulaması. Erzincan Üniversitesi Fen Bilimleri Enstitüsü Dergisi , 12 (3) , 1613-1626 . DOI: 10.18185/erzifbed.624887
MLA FIRAT, Y , UĞURLU, T . "Anlam Çözümleme Modelleri İle Geliştirilen Türkçe İşaret Dili Çeviri Sisteminin Nesnelerin İnterneti Üzerinden Web Ortamında Uygulaması". Erzincan Üniversitesi Fen Bilimleri Enstitüsü Dergisi 12 (2019 ): 1613-1626 <https://dergipark.org.tr/tr/pub/erzifbed/issue/51325/624887>
Chicago FIRAT, Y , UĞURLU, T . "Anlam Çözümleme Modelleri İle Geliştirilen Türkçe İşaret Dili Çeviri Sisteminin Nesnelerin İnterneti Üzerinden Web Ortamında Uygulaması". Erzincan Üniversitesi Fen Bilimleri Enstitüsü Dergisi 12 (2019 ): 1613-1626
RIS TY - JOUR T1 - Anlam Çözümleme Modelleri İle Geliştirilen Türkçe İşaret Dili Çeviri Sisteminin Nesnelerin İnterneti Üzerinden Web Ortamında Uygulaması AU - Yelda FIRAT , Taşkın UĞURLU Y1 - 2019 PY - 2019 N1 - doi: 10.18185/erzifbed.624887 DO - 10.18185/erzifbed.624887 T2 - Erzincan Üniversitesi Fen Bilimleri Enstitüsü Dergisi JF - Journal JO - JOR SP - 1613 EP - 1626 VL - 12 IS - 3 SN - 1307-9085-2149-4584 M3 - doi: 10.18185/erzifbed.624887 UR - https://doi.org/10.18185/erzifbed.624887 Y2 - 2019 ER -
EndNote %0 Erzincan Üniversitesi Fen Bilimleri Enstitüsü Dergisi Anlam Çözümleme Modelleri İle Geliştirilen Türkçe İşaret Dili Çeviri Sisteminin Nesnelerin İnterneti Üzerinden Web Ortamında Uygulaması %A Yelda FIRAT , Taşkın UĞURLU %T Anlam Çözümleme Modelleri İle Geliştirilen Türkçe İşaret Dili Çeviri Sisteminin Nesnelerin İnterneti Üzerinden Web Ortamında Uygulaması %D 2019 %J Erzincan Üniversitesi Fen Bilimleri Enstitüsü Dergisi %P 1307-9085-2149-4584 %V 12 %N 3 %R doi: 10.18185/erzifbed.624887 %U 10.18185/erzifbed.624887
ISNAD FIRAT, Yelda , UĞURLU, Taşkın . "Anlam Çözümleme Modelleri İle Geliştirilen Türkçe İşaret Dili Çeviri Sisteminin Nesnelerin İnterneti Üzerinden Web Ortamında Uygulaması". Erzincan Üniversitesi Fen Bilimleri Enstitüsü Dergisi 12 / 3 (Aralık 2020): 1613-1626 . https://doi.org/10.18185/erzifbed.624887
AMA FIRAT Y , UĞURLU T . Anlam Çözümleme Modelleri İle Geliştirilen Türkçe İşaret Dili Çeviri Sisteminin Nesnelerin İnterneti Üzerinden Web Ortamında Uygulaması. Erzincan Üniversitesi Fen Bilimleri Enstitüsü Dergisi. 2019; 12(3): 1613-1626.
Vancouver FIRAT Y , UĞURLU T . Anlam Çözümleme Modelleri İle Geliştirilen Türkçe İşaret Dili Çeviri Sisteminin Nesnelerin İnterneti Üzerinden Web Ortamında Uygulaması. Erzincan Üniversitesi Fen Bilimleri Enstitüsü Dergisi. 2019; 12(3): 1626-1613.