Deep learning based product classification for individuals with visual impairment system

Year 2024, , 1150 - 1160, 15.10.2024

Fatma Betül Keskin , Nursena Bayğın , Işıl Karabey Aksakallı , Özlem Çomaklı Sökmen

https://doi.org/10.28948/ngumuh.1375785

Abstract

Investigations to increase the level of adaptation to social life and the sense of independence of individuals with visual impairment are very important in terms of social contribution. Facilitating the shopping experiences of these individuals can be among these studies. Research in this field shows that traditional methods are generally used to classify shopping products and to introduce the shelves. In this proposed study, products on supermarket shelves are classified using deep artificial neural networks different from traditional methods. In addition, in order to provide convenience to individuals with visual impairments, the Flutter infrastructure, which can be integrated into smart devices used in daily life and supports all mobile operating systems, will be preferred in the second phase of the study. The application was realized by creating a data set of 2222 images obtained from a market in Erzurum province and 14 different categories. In order to have a balanced number of category-based data, a total of 4585 images were trained and classified with YOLOv5, YOLOv8 and EfficientDet D7TF2 models. In the experiments, YOLOv8 model outperformed the other methods with 92.8% accuracy, 98.6% precision, 95% sensitivity and 96.8% F1 score.

Keywords

Visual impairment, Artificial intelligence-based product recognition, Image processing, Deep learning

Görme bozukluğu olan bireyler için derin öğrenme tabanlı ürün sınıflandırma sistemi

Abstract

Görme bozukluğuna sahip bireylerin sosyal yaşama adapte olma düzeylerini ve bağımsızlık duygularını artırmaya yönelik yapılan araştırmalar toplumsal katkı açısından oldukça önemlidir. Söz konusu bireylerin alışveriş deneyimlerini kolaylaştırmak yapılan çalışmalar arasındadır. Bu alanda yapılan araştırmalar, alışveriş ürünlerinin sınıflandırılması ve rafların tanıtılması için genellikle geleneksel yöntemlerin kullanıldığını göstermektedir. Önerilen bu çalışmada, market raflarındaki ürünler geleneksel yöntemlerden farklı olarak derin yapay sinir ağları kullanılarak sınıflandırılmıştır. Ayrıca, görme bozukluğuna sahip bireylere kolaylık sağlamak amacıyla çalışmanın ikinci fazında geliştirilecek olan günlük hayatta kullanılan akıllı cihazlara entegre edilebilen ve tüm mobil işletim sistemlerini destekleyen Flutter altyapısı tercih edilecektir. Uygulama Erzurum ilinde bulunan bir marketten elde edilen 2222 görüntü, 14 farklı kategorideki veri setini oluşturularak gerçekleştirilmiştir. Kategori bazlı verinin dengeli sayıda olması için internet kaynağından alınan görüntüler ile birlikte toplam 4585 adet görüntü, YOLOv5, YOLOv8 ve EfficientDet D7TF2 modelleriyle eğitilerek sınıflandırılmıştır. Yapılan deneylerde YOLOv8 modeli, %92,8 doğruluk, %98,6 hassasiyet, %95 duyarlılık ve %96,8 F1 skoru ile diğer yöntemlere oranla daha yüksek performans göstermiştir.

Keywords

Görme bozukluğu, Yapay zekâ tabanlı ürün tanıma, Görüntü işleme, Derin öğrenme

Thanks

Bu çalışmanın bir bölümü 2022 yılı 2. dönem çağrısında TÜBİTAK 2209-B Üniversite Öğrencileri Sanayiye Yönelik Araştırma Projeleri Programı kapsamında desteklenmiştir.

References

• İ. Çevik, H. Çakmak, Ö. Çelik ve P. Okyay, Yaşam boyu göz sağlığı:“2020 vizyonu: görme hakkı”. ESTÜDAM Halk Sağlığı Dergisi, 6 (3), 310-321, 2021. https://doi.org/10.35232/estudamhsd.891156.
• C. M. Elzean and E. M. Sakr, Proposed three-dimensional designs for the color wheel to help blind persons understand matching colors of their clothes. International Design Journal, 11 (2), 417-423, 2021. https://dx.doi.org/10.21608/idj.2021.153624.
• S. R. Flaxman et al., Global causes of blindness and distance vision impairment 1990–2020: a systematic review and meta-analysis. The Lancet Global Health, 5 (12), e1221-e1234, 2017. https://doi.org/10.1016/S2214-109X(17)30393-5.
• MedicalExpress, World’s blind population to soar: study. https://medicalxpress.com/news/2017-08-world-population-soar.html, Accessed 10 Feb 2024.
• B. S. Lin, C. C. Lee and P. Y. Chiang, Simple smartphone-based guiding system for visually impaired people. Sensors, 17 (6), 1371, 2017. https://doi.org/10.3390/s17061371.
• M. Çakır, A. Çelik, İ. Özyalçın ve A. Uzun, Engelli insanlar için akıllı baston ve akıllı şapka tasarımı. 4th International Vocational Schools Symposium, pp. 1445-1454, Yalova, Turkey, 21-23 May 2015.
• D. E. Gbenga, A. I. Shani and A. L. Adekunle, Smart walking stick for visually impaired people using ultrasonic sensors and Arduino. International Journal of Engineering and Technology, 9 (5), 3435-3447, 2017. https://dx.doi.org/ 10.21817/ijet/2017/v9i5/170905302.
• B. Kaur and J. Bhattacharya, Scene perception system for visually impaired based on object detection and classification using multimodal deep convolutional neural network. Journal of Electronic Imaging, 28 (1), 013031-013031, 2019. https://doi.org/10.48550/arXiv.1805.08798.
• C. Granquist, S. Y. Sun, S. R. Montezuma, T. M. Tran, R. Gage and G. E. Legge, Evaluation and comparison of artificial intelligence vision aids: Orcam myeye 1 and seeing ai. Journal of Visual Impairment & Blindness, 115 (4), 277-285, 2021. https://doi.org/10.1177/0145482X211027492.
• K. Jolly, Hands-On Data Visualization with Bokeh: Interactive Web Plotting for Python Using Bokeh. Packt Publishing Ltd., 2018.
• J. Sudol, O. Dialameh, C. Blanchard, T. Dorcey, LookTel—A comprehensive platform for computer-aided visual assistance. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition-Workshops, pp. 73-80, San Francisco, CA, USA, 2010.
• J. Bigham, VizWiz. Rochester Human Computer Interaction (ROC HCI). http://itunes.apple.com/us/app/vizwiz/id439686043?mt=8, Accessed 5 May 2024.
• E. Biknevicius, Say Text Apps for blind and visually impaired people, http://etalinq.com/en/say-text-apps-for-blind-and-visually-impaired-people/, Accessed 6 May 2024.
• A. Khan, S. Khusro, B. Niazi, J. Ahmad, I. Alam and I. Khan, TetraMail: a usable email client for blind people, Universal Access in the Information Society, 19, 113-132, 2020. https://doi.org/10.1007/s10209-018-0633-5.
• A. Hoonlor, S. P. N. Ayudhya, S. Harnmetta, S. Kitpanon and K. Khlaprasit, UCap: A crowdsourcing application for the visually impaired and blind persons on Android smartphone. 2015 International Computer Science and Engineering Conference (ICSEC), pp. 1-6, Chiang Mai, Thailand, 2015.
• D. Shukla and M. Shah, Smart trolley shopping for automatic billing & assistance for visually impaired, J. Eng. Sci, 14 (04), 2023.
• C. Kaufman-Scarborough and T. L. Childers, Understanding markets as online public places: Insights from consumers with visual impairments. Journal of Public Policy & Marketing, 28 (1), 16-28, 2009. https://doi.org/10.1509/jppm.28.1.16.
• M. George and C. Floerkemeier, Recognizing products: A per-exemplar multi-label image classification approach. Computer Vision–ECCV 2014, 13th European Conference, pp. 440–455, Zurich, Switzerland, 2014.
• S. Öncü, Bilgisayarlı görü ve ses algılama tekniği ile hareketli nesne takibi. Yüksek Lisans Tezi, Fen Bilimleri Enstitüsü, Türkiye, 2014.
• M. T. Ağdaş ve S. Gülseçen, Güvenlik kameralarında otomatik silah ve bıçak tespit sistemi: karşılaştırmalı yolo modelleri. Avrupa Bilim ve Teknoloji Dergisi, (41), 16-22, 2022. https://doi.org/10.31590/ejosat.1163675.
• G. Tonguç, B. A. Balcı ve M. N. Arslan, Su ürünleri yetiştiriciliği için balık davranışlarının bilgisayarlı görüntü işleme yöntemleriyle izlenmesi, Journal of Anatolian Environmental and Animal Sciences, 7 (4), 568-581, 2022. https://doi.org/10.35229/jaes.1197703.
• G. Jocher et al., Ultralytics/yolov5: v7. 0-yolov5 sota realtime instance segmentation, Zenodo, 2022.
• J. Terven, D. M. Cordova-Esparza and J. A. Romero-Gonzalez, A comprehensive review of yolo architectures in computer vision: From yolov1 to yolov8 and yolo-nas. Machine Learning and Knowledge Extraction, 5 (4), 1680-1716, 2023. https://doi.org/10.3390/make5040083.
• R. Munawar and G. Jocher, Ultralytics. https://github.com/ultralytics/ultralytics, Accessed 5 February 2024.
• M. Tan, R. Pang, and Q. V. Le, Efficientdet: Scalable and efficient object detection. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10781-10790, 2020.
• A. Srikanth, A. Srinivasan, H. Indrajit and N. Venkateswaran, Contactless object identification algorithm for the visually impaired using efficientdet. Sixth International Conference on Wireless Communications, Signal Processing and Networking (WiSPNET), pp. 417-420, Chennai, India, 2021.