Development of an Artificial Intelligence Model for Classification of the Movements of Hearing Impaired Individuals

Year 2024, Volume: 7 Issue: 5, 13 - 14

Ahmed Kasapbaşı Hüseyin Canbolat

https://doi.org/10.34248/bsengineering.1477046

Abstract

Abstract: Hearing impaired individuals utilize a crucial communication tool called sign language. Therefore, there are numerous sign languages across different countries such as natural languages. This study proposes leveraging deep learning (DL) advancements to facilitate the conversion of sign language gestures into text. To this end, a novel dataset is curated under various environmental factors such as backgrounds, lighting conditions, and sign positions. Subsequently, Convolutional Neural Networks (CNNs) are employed to detect and classify twenty-three gestures of Turkish sign language alphabet. Furthermore, various hyperparameters are explored to optimize the performance of the developed models. The best model is contingent upon the utilization of five convolutional layers coupled with the Adam learning rate optimization method. This model achieves a commendable accuracy of 97.80% after 70 epochs. Consequently, the proposed models and the challenging dataset represent a significant advancement in the field of gestures recognition.

Keywords

Keywords: Artificial Intelligence, Gesture, Recognition, Hearing impaired.

İşitme Engelli Bireylerin Hareketlerini Sınıflandırmaya Yönelik Yapay Zeka Modelinin Geliştirilmesi

Abstract

Özet: İşaret Dili, işitme engelli bireyler için hayati bir iletişim aracı olarak hizmet eder ve farklı ülkelerde birçok işaret dilinin varlığına yol açar. Bu çalışma, işaret dili jestlerini metne dönüştürmeyi kolaylaştırmak için Türk İşaret Dili (TİD) alfabesini derin öğrenme ilerlemeleri çerçevesinde kullanmayı önermektedir. Bu amaçla, çeşitli çevresel faktörler açısından çeşitlilik gösteren yeni bir veri kümesi oluşturulmuştur, arka planlar, aydınlatma koşulları ve işaret pozisyonları gibi. Daha sonra, TİD alfabesini algılamak ve sınıflandırmak için Evrişimli Sinir Ağları (CNN'ler) kullanılmıştır. Ayrıca, geliştirilen modellerin performansını optimize etmek için çeşitli hiperparametreler araştırılmıştır. En iyi CNN mimarisi, beş evrişimli katmanı içerir ve Adam öğrenme hızı optimizasyon yöntemini kullanır; 70 epoch'tan sonra %97.80'lik bir övgüye değer doğruluk (başarılık) elde eder. Sonuç olarak, zorlu bir veri kümesi üzerinde eğitilen önerilen modeller, işaret dili tanıma alanında önemli bir ilerleme temsil etmektedir.

Keywords

Yapay Zeka, Jest, Tanımlama, İşitme engelli

Thanks

Bu araştırmada yer alan kısmi nümerik hesaplamalar TÜBİTAK ULAKBİM, Yüksek Başarım ve Grid Hesaplama Merkezi’nde (TRUBA kaynaklarında) gerçekleştirilmiştir. Bu çalışma Ankara Yıldırım Beyazıt Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimince Desteklenmiştir. Proje Numarası: FDK-2022-2283

References

• Addepalli N, Pabolu RK, GaneshChennuru S, Vissampalli VL, Madhumati GL. 2023. Conversion of American Sign Language to text using deep learning for feature extraction and naive bayes for classification. In: IEEE 8th International Conference for Convergence in Technology (I2CT), April 07-09, Lonavla, India, pp: 1.
• Alshehri S. 2023. The Relationship between Language and Identity. Int J Linguist Lit Transl, 6(7): 156-161.