İşitme ve Konuşma Engelli Bireyler için İşaret Tanıma Sistemi Geliştirme

Yıl 2019, Cilt: 25 Sayı: 97, 575 - 590, 20.09.2019

Bora Oktekin Nadire Çavuş

https://doi.org/10.22559/folklor.969

Öz

İşaret dili, el hareketlerinin, parmakların, kolların veya vücut hareketinin oryantasyonu ile konuşanın
fikirlerini iletmek için yüz ifadeleriyle eş zamanlı olarak yaptıkları hareketlerdir. İşaret dilleri, son yıllarda
tüm araştırmacıların gözdesi konumundadır. Yapılan hareketler sensörler yardımı ile tanınabilmektedir.
Ancak, hareket verilerinin bilgisayar sistemlerine aktarılması büyük önem taşımaktadır. Alan yazın
incelemesi sonucunda bu yönde yapılan çalışmaların yeterli olmadığı belirlenmiştir. Ayrıca, yapılmış
çalışmaların daha çok Amerikan İşaret Dili, İngiliz İşaret Dili ve Arap İşaret Dili yönünde olduğu ve Türk
İşaret Dili yönünde yapılan çalışmaların yeterli olmadığı tespit edilmiştir. Bu çalışmada, işitme ve
konuşma engelli bireylerin diğer bireyler ile iletişimlerini kolaylaştırabilecek akıllı bir sistem
geliştirilmiştir. Bu bağlamda yapılan çalışmanın alan yazındaki bu eksikliğin giderilmesine fayda
sağlayacağı düşünülmektedir. Çalışma kapsamında geliştirilen akıllı sistemde, Türk İşaret Dili’nde ses
bilimi olarak adlandırılan ve işaretlerin de temelini oluşturan 33 tane temel işaret baz alınmıştır. Bu
işaretlerin sistem tarafından tanınabilmesi için Microsoft Kinect v2 sensörü kullanılmıştır. Sistemin
altyapısında C# programlama dili ile sınıflandırma algoritmalarından Saklı Markov Modeli ve veritabanı
olarak da MongoDB kullanılmıştır. Yapılan vaka çalışması sonucunda; 33 temel işaretin %82’inin
geliştirilen sistem tarafından doğru bir şekilde tanımlandığı gözlemlenmiştir. Elde edilen doğruluk oranı
göz önünde tutularak geliştirilen işaret tanıma sisteminin hem işitme ve konuşma engelli bireylere, hem
de diğer bireylere yardımcı olacağı ve aralarındaki iletişim kurma problemini çözeceği düşünülmektedir.

Anahtar Kelimeler

işaret tanıma, Türk İşaret Dili, hareket tanıma, gerçek zamanlı çeviri

Kaynakça

• Abdel-Fattah, M, (2005). Arabic sign language: a perspective. The Journal of Deaf Studies and Deaf Education, 10(2), 212-221.
• Açan, A.Z (2007). A linguistics analysis on basic sentence types in Turkish Sign Languge (TİD) with reference to non-manual activity. Türk İşaret Dili (TİD)’deki Temel Tümce Türlerinin El-Dışı Göstergeler Açısından Dilbilimsel İncelemesi) (Yayınlanmamış doktora tezi) Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara, Türkiye.
• Akmeliawati, R., Ooi, M.P.L. & Kuang. Y. (2007). Real-time Malaysian sign language translation using colour segmentation and neural network. IEEE Instrumentation & Measurement Technology Conference IMTC (s. 1-6). Warsaw.
• Chuan, C. H., Regina, E. & Guardino, C. (2014). American Sign Language recognition using leap motion sensor. 13th International Conference on Machine Learning and Applications, (s. 541-544). Detroit.
• Demircioğlu, B., Bülbül, G. & Köse, H. (2016). Turkish Sign Language recognition with Leap Motion. 24th Signal Processing and Communication Application Conference (SIU) (s. 589-592).
• Elons, A. S., Ahmed, M., Shedid, H. & Tolba , M. F. (2014). Arabic Sign Language recognition using Leap Motion Sensor. 9th International Conference on Computer Engineering & Systems (ICCES), (s. 368-373). Cairo.
• Fatmi, R., Rashad, S., Integlia, R. & Hutchison, G. (2017). American Sign Language recognition using Hidden Markov Models and wearable motion sensors. Transactions on Machine Learning and Data Mining, 10(2), 41-55.
• Fenlon, J. & Wilkinson, E. (2015). Sign languages of the world. Sociolingustics and Deaf Communities, (s. 5-28) Cambridge: Cambridge University Press.
• Gülağız, F. K., Özcan, H. & Şahin, S. (2017). An interactive Turkish Sign Language learning application using Leap Motion Controller. International Conference on Advanced Technology and Sciences. (s. 93-96). Riga: Letonya.
• Işıkdoğan-Uğurlu, N. (2017). İşitme engelli okuyucuların okuma sürecinde Türkçenin ve Türk İşaret dilinin biçim-sözdizim özellikleri. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Özel Eğitim Dergisi, 18(2), 291-308.
• Jingqiu, W. & Ting, Z. (2014). An ARM-based embedded gesture recognition system using a data glove. 26th Chinese Control and Decision Conference (2014 CCDC), (s. 1580-1584). Changsha.
• Kubus, O. (2008). An analysis of Turkish Sign Language (TID) phonology and morphology. Yüksek lisans Tezi, Orta Doğu Teknik Üniversitesi.
• Lei, L. & Dashun, Q. (2015). Design of data-glove and Chinese sign language recognition system based on ARM9. 12th IEEE International Conference on Electronic Measurement & Instruments (ICEMI), (s. 1130-1134.). Qingdao.
• Lewis, M. P., Simons, G. F. & Fennig, C. D. (Eds.) (2013). Deaf sign language. Ethnologue: Languages of the World (17th ed.), World Health Organisation - Fact Sheet No. 300, Updated March 2015, SIL International (accessed 3 December 2013).
• Madabhushi, A. & Aggarwal, J. K. (2000). Using head movement to recognize activity. 15th International Conference on Pattern Recognition (s. 698-701). IEEE: Barcelona, Spanya.
• Mapari, R. B. & Kharat, G. (2015). Real time human pose recognition using leap motion sensor. IEEE International Conference on Research in Computational Intelligence and Communication Networks (ICRCICN), (s. 323-328). Kolkata.
• Preetham, C., Ramakrishnan, G. & Kumar, S. (2013). Hand Talk-Implementation of a Gesture Recognizing Glove. Texas Instruments India Educators’ Conference, (s. 328-331). Bangalore.
• Segen, J. & Kumar, S. (1999). Shadow gestures: 3D hand pose estimation using a single camera. IEEE International Conference on Computer Vision and Pattern Recognition (s. 1479- 1485) IEEE: Fort Collins, CO, USA.
• Starner, W. (1998). A Real-time American Sign Language recognition using desk and wearable computer based video. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(12), 371-1375.
• Stokoe, W. C., Casterline, D. C. & Croneberg, C. G. (1965). A dictionary of American sign language on linguistic principles. Gallaudet College Press.
• Vogler , C. & Metaxas, D. (1988). ASL recognition based on a coupling between HMMs and 3D motion analysis. International Conference on Computer Vision (s. 363-369). IEEE.
• Yalçınkaya, Ö., Atvar, A. & Duygulu, P. (2016). Turkish Sign Language recognition application using motion history image. 24th Signal Processing and Communication Application Conference (SIU) (s. 801-804) IEEE: Zonguldak,Türkiye.
• Amon, C. & Fuhrmann, F. (2014). Evaluation of the spatial resolution accuracy of the face tracking system for Kinect for Windows v1 and v2. 6th Congress of Alps-Adria Acoustics Assosiation 16.-17. October 2014. Graz, Austria. Ulaşım Tarihi: (30.06.2019) https://pdfs.semanticscholar.org/b4d0/8a2ceb8083f097271cbbf38d39c086c4708f.pdf Dong, C. (2015). American Sign Language alphabet recognition using Microsoft Kinect. Yüksek Lisans Tezi, 7392. Ulaşım Tarihi: (29.06.2019) http://scholarsmine.mst.edu/masters_theses/7392
• Goverment, U. (2011). UK Goverment Services. The best place to find government services and information: Ulaşım Tarihi: (30.06.2019) https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment _data/file/321594/disability-prevalence.pdf
• Haberdar, H. (2005). Saklı Markov Modeli kullanılarak görüntüden gerçek zamanlı Türk İşaret Dili tanıma sistemi. Ulaşım Tarihi: (07.01.2019) http://dspace.yildiz.edu.tr:8080/xmlui/bitstream/handle/20.500.11871/1246/0023899.pd f?sequence=1&isAllowed=y
• Mangera, R. (2013). Static gesture recognition using features extracted from skeletal data. Ulaşım Tarihi: (08.01.2019) http://www.prasa.org/proceedings/2013/prasa2013-09.pdf
• Microsoft. (2014). Microsoft Download Center. Ulaşım Tarihi: (07.01.2019) https://www.microsoft.com/en-us/download/details.aspx?id=44561
• Office for National Statistics. (2011). 2011 Census: Quick Statistics for England and Wales, March 2011. Office for National Statistics. Ulaşım Tarihi: (07.01.2019) https://www.ons.gov.uk/peoplepopulationandcommunity/populationandmigration/popul ationestimates/bulletins/2011censusquickstatisticsforenglandandwales/2013-01-30/pdf
• Perlmutter, D. M. (2018). What is sign language? Ulaşım Tarihi: (29.06.2018) https://www.linguisticsociety.org/content/what-sign-language
• Pterneas, V. Github. Çevrimiçi: (30.05.2016) https://github.com/LightBuzz/Kinect-Finger-Tracking Research, M. (2011). Microsoft Research Center. Ulaşım Tarihi: (30.06.2018)
• https://www.microsoft.com/en-us/research/blog/microsoft-research-and-the-kinect-effect/ Souza, C. R. (2014). Accord.NET Framework. Ulaşım Tarihi: (07.01.2019) http://accordframework.net
• Tazhigaliyeva, N., GermanI, P., Yerniyaz, N. & Sandygulova, A. (2016). SLIRS: SignLanguage Interpreting System for Human-Robot Interaction. Ulaşım Tarihi: (30.06.2018) https://www.aaai.org/ocs/index.php/FSS/FSS16/paper/download/14101/13672
• Tüfekçioğlu, U. (1998). İşitme Engelliler. Eskişehir: Anadolu Üniversitesi Açıköğretim Yayınları. Ulaşım Tarihi: (24.06.2018) http://content.lms.sabis.sakarya.edu.tr/ Uploads/79408/49984/unite08_i%C5%9Fitme_engelliler.pdf
• TÜİK. (2011). Nüfus ve Konut Araştırması. Ulaşım Tarihi: (03.05.2018) http://www.tuik.gov.tr/PreHaberBultenleri.do?id=15843