Communication is the process of people transferring emotions, thoughts or information to the other party in various ways. One of the most effective ways of communication is language. Language is a communication tool that makes people's daily life easier and there are many hearing impaired people in our lives who cannot use this communication tool. Sign languages have been developed to facilitate the communication of hearing impaired people in society. There are specific sign languages varying according to the language of the countries. This study focuses on the Turkish sign language digits that are publicly available. Sign language is not known by all people of society. This situation causes communication disruptions in the social environments where hearing impaired people are present. A person who has not hearing impaired but cannot use sign language has the same problem. The aim of this study is to determine what people using sign language want to tell by using a deep learning architecture. For this purpose, the identification of digits in Turkish sign language has been realized by using the recently popular siamese neural network in this study. Siamese neural networks are a type of deep learning model that matches the same images in an image dataset. Using these networks, we have identified the digits used in Turkish sign language. The success rate of the matching was 98.16%. Consequently, siamese neural networks were found to be successful in identifying Turkish sign language digits with this study.
Siamese Neural Networks Turkish Sign Language Digit Recognition Deep Learning
İletişim, insanların duygu,
düşünce veya bilgiyi çeşitli yollar kullanarak karşı tarafa aktarma sürecidir.
İletişimde en etkili yollardan birisi ise dildir. Dil, insanların günlük
hayatını kolaylaştıran bir iletişim aracıdır ve bu iletişim aracını
kullanamayan işitme engelli birçok insan vardır. İşitme engelli insanların,
toplum içerisinde iletişimini kolaylaştırmak için işaret dilleri geliştirilmiştir.
Her ülkenin kendi konuşma diline özgü işaret dili mevcuttur. Bu çalışma erişime
açık Türk işaret dili rakamlarına odaklanmıştır. İşaret dili, toplumun her
kesimi tarafından bilinmemektedir. Bu durum, işitme engelli insanların
bulundukları sosyal ortamlarda iletişim aksaklıklarına neden olmaktadır. İşitme
engelli olmayan ancak işaret dilini bilmeyen bir bireyde aynı problemi
yaşamaktadır. Bu çalışmanın amacı, işaret dilini kullanan insanların ne
anlatmak istediğini derin öğrenme mimarisi üzerinde tespit etmektir. Bu amaçla,
işaret dilini rakamlarının, son zamanlarda popülerliği artan siyam sinir ağı
ile tanımlanmasını bu çalışmada gerçekleştirilmiştir. Siyam sinir ağları,
görüntü kümesinde aynı görüntüleri eşleştiren bir derin öğrenme modelidir. Bu
ağları kullanarak Türk işaret dilinde kullanılan rakam görüntülerini
tanımlamayı gerçekleştirdik. Elde edilen eşleştirme başarı oranı %98,16’dır.
Sonuç olarak, bu çalışma ile Türk işaret dili rakamlarının tanımlanmasında
siyam sinir ağlarının başarılı olduğu görülmüştür.
Birincil Dil | Türkçe |
---|---|
Bölüm | Araştırma Makalesi |
Yazarlar | |
Yayımlanma Tarihi | 24 Mayıs 2021 |
Yayımlandığı Sayı | Yıl 2021 Cilt: 23 Sayı: 68 |
Dokuz Eylül Üniversitesi, Mühendislik Fakültesi Dekanlığı Tınaztepe Yerleşkesi, Adatepe Mah. Doğuş Cad. No: 207-I / 35390 Buca-İZMİR.