Görme Engelli Bireylerin Günlük Yaşamda Karşılaştıkları Zorluklara Yenilikçi Bir Çözüm: Derin Öğrenme Tabanlı Akıllı Asistan Tasarımı ve Geliştirilmesi
Yıl 2024,
Cilt: 15 Sayı: 3, 595 - 606
Mehmet Ali Yalçınkaya
,
Murat Işık
,
Elanur Kaşçıoğlu
,
Hatice Nur Kaya
Öz
Günümüzde teknolojinin hızla gelişmesiyle birlikte, yapay zekâ (AI) ve görüntü işleme teknolojileri, özellikle görme engelli bireylerin günlük yaşantılarını kolaylaştırmak adına önemli imkanlar sunmaktadır. Bu amaç doğrultusunda bu çalışmada, görme engelli bireyler için geliştirilmiş, yapay zekâ ve görüntü işleme tabanlı bir mobil uygulama sunulmaktadır. Bu bağlamda, sesli komutları algılayabilen ve kullanıcıya yine sesli geri bildirim sağlayan bir mobil uygulama geliştirilmiştir. Geliştirilen uygulamanın en önemli bileşeni nesne tanıma modülüdür. Söz konusu modül kamera görüntüsü üzerinden anlık olarak ortamdaki nesneleri sınıflandırmakta, kullanıcıya göre nesnenin konumunu belirlemekte ve tüm bu bilgileri kullanıcıya sesli olarak iletmektedir. Geliştirilen uygulamada nesne tanıma için MobileNetV2 modeli kullanılmıştır. İlk olarak MobileNet derin öğrenme modelinin iki versiyonu (v1, v2) genişletilmiş Pascal VOC veri seti üzerinde test edilmiş ve MobilNetv2 modelinden %94 başarı oranı elde edilmiştir. Daha sonra söz konusu model, mobil uygulama içerisine nesne tanıma işlevi için entegre edilmiştir. Bu çalışma kapsamında geliştirilen mobil uygulamanın görme engelli bireyler için sunduğu diğer modüller ise, metin okuma, sesli navigasyon ve konum tabanlı hava durumu servisidir. Sonuç olarak bu çalışma ile, yapay zekâ ve görüntü işleme teknolojilerinin sosyal etki yaratma potansiyelini göstermek ve görme engellilere yönelik teknolojik çözümlerin geliştirilmesinde bir katkı sağlamak amaçlanmıştır.
Kaynakça
- [1] World Health Organization. World Report On Vision.
https: / / www.who.int / publications / i / item / worldreport-on-vision, January 10, 2024.
- [2] Ouali, I., Ben Halima, M., Masmoudi, N., Ayadi, M.,
Almuqren, L., & Wali, A. Text recuperated using
ontology with stable marriage optimization technique
and text visualization using AR. Multimedia Tools
and Applications, 1-28. 2024.
DUJE (Dicle University Journal of Engineering) 15:3 (2024) Sayfa 595-606
606
- [3] Nasser, N., Ali, A. E., Karim, L., & Al-Helali, A.
(2024). Enhancing Mobility for the Visually Impaired
with AI and IoT-Enabled Mobile Applications.
ScienceOpen Preprints. 2024.
- [4] Medronha, A., Lima, L., Claudio, J., & Kupssinskü,
L. LERMO: A Novel Web Game for AI-Enhanced
Sign Language Recognition. Proceedings of the
AAAI Conference on Artificial Intelligence. 2024.
- [5] Lima, R., Barreto, L., Amaral, A., & Paiva, S.
Visually impaired people positioning assistance
system using artificial intelligence. IEEE Sensors
Journal, 23(7), 7758-7765. 2023.
- [6] Chinchole, S., & Patel, S. . Artificial Intelligence and
Sensors Based Assistive System for the Visually
Impaired People. Proceedings of the International
Conference on Intelligent Sustainable Systems. 2017.
- [7] Naqvi, K., Hazela, B., Mishra, S., & Asthana, P.
(2021). Employing real-time object detection for
visually impaired people. In Data Analytics and
Management: Proceedings of ICDAM (pp. 285-299).
Springer Singapore.
- [8] Won, W. C., Yong, Y. L., & Khor, K. C. (2021,
September). Object Detection and Recognition for
Visually Impaired Users: A Transfer Learning
Approach. In 2021 2nd International Conference on
Artificial Intelligence and Data Sciences (AiDAS)
(pp. 1-6). IEEE.
- [9] Bianco, S., Cadene, R., Celona, L., & Napoletano, P.
(2018). Benchmark analysis of representative deep
neural network architectures. IEEE access, 6, 64270-
64277.
- [10] Howard, A. G., Zhu, M., Chen, B.,
Kalenichenko, D., Wang, W., Weyand, T., ... &
Adam, H. MobileNets: Efficient convolutional neural
networks for mobile vision applications. arXiv
preprint arXiv:1704.04861. 2017.
- [11] Liu, Y., & Zhang, W. Design and simulation of
precision marketing recommendation system based
on the NSSVD++ algorithm. Neural Computing and
Applications, 1-14. 2023.
- [12] Rahmat, D. P. (2024). Perbandingan Algoritma
Human Detection pada Google Coral Dev Board Mini
menggunakan Dataset MS COCO (Doctoral
dissertation, Institut Teknologi Sepuluh Nopember).
- [13] Fikri, F. I., Setianingsih, C., Saputra, R. E.,
Hidayat, F. P., Alfiansyah, L. Y., & Amelia, N.
(Aerial Insights: Precision Cattle Monitoring Using
UAV Imagery and Single Shot Detection. In 2023 6th
International Seminar on Research of Information
Technology and Intelligent Systems (ISRITI) (pp.
445-450). IEEE. 2023
- [14] Salim, R., Wulandari, M., & Calvinus, Y.
Weapon detection using SSD MobileNet V2 and SSD
resnet 50. In AIP Conference Proceedings (Vol. 2680,
No. 1). AIP Publishing. 2023.
- [15] Ramos, J. P. M., & Magwili, G. V.
Development of a Remotely Operated Underwater
Drone for Crown-of-Thorns (COTS) Starfish
Detection using Simple Convolutional Neural
Network. In 2023 7th International Conference on
Electrical, Telecommunication and Computer
Engineering (ELTICOM) (pp. 84-88). IEEE. 2023.
- [16] Everingham, M., Eslami, S. M. A., Van Gool,
L., Williams, C. K. I., Winn, J., & Zisserman, A.
(2015). The Pascal Visual Object Classes Challenge:
A Retrospective. International Journal of Computer
Vision, 111(1), 98-136. https: / / doi.org / 10.1007 /
s11263-014-0733-5
- [17] Google. (2021). Mobile Vision API. Retrieved
from https: / / developers.google.com / vision
- [18] Zhang, Y., & Ismail, M. (2019). Real-time text
recognition using deep learning for mobile
applications. IEEE Transactions on Consumer
Electronics, 65(3), 328-335.
- [19] Patel, S., & Jain, R. (2020). Advances in text-tospeech synthesis technology. Journal of Computer
Speech & Language, 64, 24-49. https: / / doi.org /
10.1016 / j.csl.2020.101026