Raspbraille: Conversion to Braille Alphabet with Optical Character Recognition and Voice Recognition Algorithm

Abstract

It is quite difficult for visually impaired individuals to read a physically printed material. It is a necessity to provide information flow and communication between visually impaired individuals and other individuals. For this purpose, an alphabet has been developed for visually impaired individuals. With this alphabet, which is called the Braille alphabet, it is possible for visually impaired individuals to access written culture. There are special letters in the alphabet designed for the visually impaired. With the development of technology, studies in the field of Braille alphabet have increased. Optical character recognition technology can convert the letters on files such as pdf, pictures, photos into understandable data by selecting and separating them. Speech recognition algorithm, computer, tablet, mobile phone, voice recorder devices, etc. It is the process of detecting and recognizing the human voice through a microphone with technological products. Within the scope of the study, a device has been developed for Braille alphabet by using optical character recognition technology and speech recognition algorithm. First, the images of each page of the books that were requested to be translated into Braille alphabet were taken. Then, a transformation was performed using a specific character set with the optical character recognition algorithm. Audiobooks, on the other hand, were first converted into text and then into Braille alphabet using speech recognition algorithm. With these converted characters, a physical hardware device has been developed to display Braille letters that visually impaired individuals can read faster.

Keywords

• Optic Character Recognition
• Voice Recognition
• Braille
• Raspberry
• Servo Motor
• Servo Motor Driver

References

1. Arslan, Y., et al., Görme engellilerin toplumsal hayatta yaşadıkları zorluklar (Batman Merkez Örneği). Batman Üniversitesi Yaşam Bilimleri Dergisi, 2014. 4(2): p. 1-14.
2. Bodur, S. and Y. Durduran, Konya'da engelli çocukların sağlık hizmetlerinden yararlanma ve beklenti durumu. Genel Tip Dergisi, 2009. 19(4).
3. Demir, G.T. and E.L. İLHAN, Spora katılım motivasyonu: görme engelli sporcular üzerine bir araştırma. Gaziantep Üniversitesi Spor Bilimleri Dergisi, 2019. 4(1): p. 157-170.
4. Aydilek, S. Zihinsel Engellilik Nedir? 11 October, 2022]; Available from: https://www.ahenkrehabilitasyon.com/zihinsel-engellilik-nedir.
5. İlhan, L., Eğitilebilir zihinsel engelli çocuklarda beden eğitimi ve sporun sosyalleşme düzeylerine etkisi. Kastamonu eğitim dergisi, 2008. 16(1): p. 315-324.
6. Ram, M. İşitme engeli nedir? 11 October, 2021]; Available from: https://manavgatram.meb.k12.tr/meb_iys_dosyalar/07/12/970601/dosyalar/2016_02/24091119_tmeblten.pdf
7. Merkezi, A.R. İşitme Engelliler Nedir? 11 October, 2021]; Available from: http://www.onurcanrehabilitasyon.com/bilgiicerik-Isitme-engelliler-nedir-40.html
8. Merkezi, Ç.D.K.Ö.E.v.R. Bedensel Engel Nedir? Fizyoterapi ve Rehabilitasyon Nedir? 12 October, 2021]; Available from: https://corluozelegitim.com/bedensel-engel-nedir-f izyoterapi-ve-rehabilitasyon-nedir/.

9. Demir, T. and Ü. Sen, Görme Engelli Öğrencilerin Çeşitli Değişkenler Açısından Öğrenme Stilleri Üzerine Bir Araştırma. Journal of International Social Research, 2009. 2(8).
10. Şahin, İ., Uçar, M. H. B., & Solak, S. (2022). Otomatik Türkçe Kartvizit Tanıma için Bulut Tabanlı WEB Uygulama Tasarımı ve Performans Değerlendirmesi. Gazi Üniversitesi Fen Bilimleri Dergisi Part C: Tasarım ve Teknoloji, 10(1), 118-134.
11. Bakır, V. O., Çağatay, İ., Güven, M., Koraş, M., Gönen, M., & Akgün, B. (2022, May). Banking Order Classification and Information Extraction. In 2022 30th Signal Processing and Communications Applications Conference (SIU) (pp. 1-4). IEEE.
12. Özkaynak, E., Sulak, E. E., & Yılmaz, H. Temel Bileşenler Analizi Kullanılarak Ses Tanıma İle Cinsiyet Tespiti.
13. İ. Avcı and M. Yıldırım, "Görme Engelli Bireyler İçin Derin Öğrenme Tabanlı Nesne Tanıma Modeli."
14. R. Sawant, P. Shrivastava, P. Shahane, and R. Harikrishnan, "Text to Braille Conversion System," in 2021 International Conference on Innovative Computing, Intelligent Communication and Smart Electrical Systems (ICSES), 2021: IEEE, pp. 1-5.
15. S. Kumari, A. Akole, P. Angnani, Y. Bhamare, and Z. Naikwadi, "Enhanced Braille Display Use of OCR and Solenoid to Improve Text to Braille Conversion," in 2020 International Conference for Emerging Technology (INCET), 2020: IEEE, pp. 1-5.
16. I. G. Ovodov, "Optical Braille recognition using object detection CNN," arXiv preprint arXiv:2012.12412, 2020.
17. Meral, M. T., Özbilen, Y. D. D. M. M., & Projesi, B. Kameralı Gözlük ve Akıllı Telefonlar ile Optik Karakter Tanıma, Ses Sentezleme ve Ses Tanıma.
18. Bulut, H. F., Körler için İnsan Makine Arabirimi / Machine Interface for the Visually Handicapped. İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı /Yüksek Lisans Tezi, 2006.
19. Yalçın, N., Konuşma Tanima Teorisi ve Teknikleri. Kastamonu Eğitim Dergisi, 2008. 16(1): p. 249-266.
20. Gunawan, A. English digits speech recognition system based on hidden Markov models. in Proceedings of International Conference Computer. 2010.
21. Oyucu, S., H. Polat, and H. Sever, Sessizliğin kaldırılması ve konuşmanın parçalara ayrılması işleminin Türkçe otomatik konuşma tanıma üzerindeki etkisi. Düzce Üniversitesi Bilim ve Teknoloji Dergisi, 2020. 8(1): p. 334-346.
22. Balon, B. and M. Simić. Using Raspberry Pi computers in education. in 2019 42nd International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO). 2019. IEEE.
23. Pi, R. Raspberry Pi 4. 31 January, 2022]; Available from: https://www.raspberrypi.com/products/raspberry-pi-4-model-b/
24. Kaya, M.M. Raspberry Pi Nedir? Modelleri ve Neler Yapılabilir? 03 November, 2021]; Available from: https://maker.robotistan.com/raspberry-pi-dersleri-0-raspberry-piyi-taniyalim/
25. RoboLink. Tower Pro MG90S Servo Motor. 31 January, 2022]; Available from: https://www.robolinkmarket.com/tower-pro-mg90s-servo-motor?gclid=EAIaIQobChMIh8z2gMHc9QIVRY1o CR2adw9wEAAYAiAAEgIdnfD_BwE
26. Store, R. PCA9685 I2C 16 Kanal 12 Bit PWM Servo Motor Sürücü Devresi. 31 January, 2022]; Available from: https://urun.n11.com/arduino-urunleri-ve-setleri/pca9685-i2c-16-kanal-12-bit-pwm-servo-motor-surucu-devresi-P248039078.
27. Güler, B. and K. Çetinkaya, Endüstri Boyutlu Çift Başlı Kartezyen Tipi Üç Boyutlu Yazıcı Tasarımı ve Prototip Üretimi. International Journal of 3D Printing Technologies and Digital Industry, 2018. 2(1): p. 11-22.
28. Demir, K., et al., Üç boyutlu yazdırma teknolojilerinin eğitim alanında kullanımı: Türkiye’deki uygulamalar. Ege Eğitim Dergisi, 2016. 17(2): p. 481-503.