İşitme Engellilere Yönelik Çevresel Ses Yönü Tespit Sistemi

Abstract

İşitme engelli bireyler günlük hayatta birçok problemle karşı karşıya kalmaktadırlar. Bu problemlerin başında sesin nereden geldiğinin tespit etmekte güçlük çekilmesi gelmektedir. Bu çalışmada, işitme engelli bireylerin çevresel ses kaynaklarını algılamalarına yönelik bir ses yönü tespit sistemi önerilmektedir. Önerilen bu sistemde insan kafa yapısı model alınarak kafa mankeni kulaklarına yerleştirilen iki adet mikrofon kullanılmaktadır. Bu mikrofonlar aracılığıyla kaydedilen çevresel ses verileri USB ses kartları aracılığıyla LattePanda tek kart bilgisayara aktarılmaktadır. Aktarılan bu ses verileri filtreleme ve normalizasyon işlemlerinden geçirilerek on beş adet öznitelik oluşturulmaktadır. Bu öznitelikler çevresel sekiz farklı bölgeden alınan ses verileri için ayrı ayrı elde edilmektedir. Çevresel ses kaynağı bir BlueTooth hoparlör ile kafa mankeni etrafındaki sekiz farklı bölgeye ayrılmış platform ortamı kullanılarak oluşturulmaktadır. Bu çevresel ses kaynağı kullanılarak her bir bölge içerisinde üç farklı konum ve bu konumlarda dört farklı ses seviyesi olmak üzere her bir bölge için on iki farklı ses kaydı ile veri seti oluşturulmaktadır. Bu veri setini oluşturmak için C# programlama dilinde bir arayüz tasarımı gerçekleştirilmiştir. Bu arayüz, sistem modeli iyileştirilmesi ve geliştirilmesine yönelik veri seti hazırlamak için farklı denemelerin yapılabilmesini sağlamaktadır. Hazırlanan bu veri seti ML.NET kütüphanesinde bulunan karar ağaçları, lineer destek vektör makinesi, olasılıksal dereceli azalma, tek katmanlı ve çok katmanlı Perceptron algoritmaları kullanılarak sistem modelleri oluşturulmaktadır. Bu modeller karşılaştırıldığında performans değerlendirmesinde en başarılı sonuç tek katmanlı Perceptron algoritması ile oluşturulan sistem modeli olmuştur. Tek katmanlı Perceptron algoritması ile oluşturulan model %87,5 başarı oranıyla çevresel ses yönü tespit etmektedir. Elde edilen sonuçlar, işitme engellilere yönelik çevresel ses yönü tespit sisteminin gelecek için umut vaat ettiğini göstermektedir.

Keywords

• Ses yönü bulma
• Sınıflandırma
• Makine öğrenmesi
• Perceptron algoritması
• ML.NET

Surround Sound Direction Detection System For The Hearing Impaired

Abstract

Hearing-impaired individuals face many problems in daily life. One of these problems is the difficulty in determining where the sound is coming from. In this study, a sound direction detection system is proposed for hearing impaired individuals to perceive surround sound sources. In this proposed system, two microphones are used, which are placed on the ears of the head manikin, taking the human head structure as a model. Surround sound data recorded by these microphones are transferred to a LattePanda single card computer via USB sound cards. Fifteen features are created by filtering and normalizing these transmitted sound data. These features are obtained separately for sound data from eight different surrounding regions. The surround sound source is created using a BlueTooth speaker and a platform environment divided into eight different regions around the head manikin. Using this surround sound source, a data set is created with twelve different sound recordings for each region, with three different locations in each region and four different sound levels at these locations. An interface has been designed in the C # programming language to create this data set. This interface enables different trials to be made to prepare a data set for system model improvement and development. System models are created using decision trees, linear support vector machine, stochastic gradient descent, single-layer and multi-layer Perceptron algorithms in the ML.NET library. When these models are compared, the most successful result in performance evaluation has been the system model created with the single-layer Perceptron algorithm. The model created with the single-layer Perceptron algorithm determines the surrounding sound direction with a success rate of 87.5%. The results obtained show that the surround sound direction detection system for the hearing impaired is promising for the future.

Keywords

• Finding sound direction
• Classification
• Machine learning
• Perceptron algorithm
• ML.NET

References

1. Belgin, E. (2004). Çalışma yaşamında gürültü ve işitmenin korunması: İşitme Fizyolojisi. Türk Tabipler Birliği Yayınları. Ekim, A., & Ocakçı, A. (2012). 8-12 yaş arası işitme engelli çocuklarda yaşam kalitesi. Ankara Sağlık Hizmetleri Dergisi, 11(1), 17-23.
2. Galangque, C. M. J., & Guirnaldo, S. A. (2019). Gunshot classification and localization system using artificial neural network (ANN). Proceedings of 2019 International Conference on Information and Communication Technology and Systems, ICTS 2019, 98-102. https://doi.org/10.1109/ICTS.2019.8850937
3. Harrington, P. (2012). Machine Learning in Action. Manning Publications Co.
4. Helvacı, A. (2005). Anatomik Yapıların Sesin Harmonik Yapısı ve Tını Değişiklikleri Üzerindeki Etkileri. Uludağ Üniversitesi Eğitim Fakültesi Dergisi, 18(1), 123-134.
5. Ho, S. Y., Phua, K., Wong, L., & Bin Goh, W. W. (2020). Extensions of the External Validation for Checking Learned Model Interpretability and Generalizability. Patterns, 1(8). https://doi.org/10.1016/j.patter.2020.100129
6. Holmes, J. H. (2013). Knowledge Discovery in Biomedical Data: Theory and Methods. Methods in Biomedical Informatics: A Pragmatic Approach, 179–240. Elsevier. https://doi.org/10.1016/B978-0-12-401678-1.00007-5
7. Litovsky, R. Y., Johnstone, P. M., & Godar, S. P. (2006). Benefits of bilateral cochlear implants and/or hearing aids in children. International Journal of Audiology, 45(1), 78-91. https://doi.org/10.1080/14992020600782956
8. Mallet, Y., Coomans, D., & de Vel, O. (2000). Application of adaptive wavelets in classification and regression. Data Handling in Science and Technology, 22(1), 437–456. Elsevier. https://doi.org/10.1016/S0922-3487(00)80043-X

9. Okuyama, F., Takayama, J.-Y., Ohyama, S., & Kobayashi, A. (2002). A study on determination of a sound wave propagation direction for tracing a sound source. Proceedings of the 41st SICE Annual Conference. SICE 2002., 1102-1104.
10. Saltalı, İ. İ. (2015). Sahne Analizi için Ses Kaynağı Tespiti. İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi.
11. Tan, P., Steinbach, M., Karpatne, A., & Kumar, V. (2018). Introduction to data mining (2nd Edition). Artificial Neural Networks Xue, H., & Qin, S. (2011). Mobile motion gesture design for deaf people. The 17th International Conference on Automation and Computing, 46-50.
12. Yağanoğlu, M. (2018). Duyma Engelliler için Giyilebilir Titreşim Tabanlı Ses Tanıma Uygulamaları. Karadeniz Teknik Üniversitesi, Fen Bilimleri Enstitüsü, Doktora Tezi.
13. Yıldız, D. Z. (2018). İşitme engelli turizmi (sessiz turizm): Dünya ve Türkiye. Süleyman Demirel Üniversitesi Vizyoner Dergisi, 103-117. https://doi.org/10.21076/vizyoner.339776
14. Yoo, I. C., & Yook, D. (2008). Automatic sound recognition for the hearing impaired. IEEE Transactions on Consumer Electronics, 54(4), 2029-2036.