Derin öğrenme yöntemleri ile dokunsal parke yüzeyi tespiti

Year 2020, Volume: 35 Issue: 3, 1685 - 1700, 07.04.2020

Abdulsamet Aktaş Önder Demir Buket Doğan

https://doi.org/10.17341/gazimmfd.652101

Cited By: 14

Abstract

Gerçek zamanlı çalışan sistemlerde görüntü işleme uygulamaları yapmak son zamanlarda oldukça popüler olan bir konu haline gelmiştir. Yapay zekâ alanının alt dallarından biri olan derin öğrenme yöntemleri ve görüntülerden nesne tespiti yapma alanında kullanılan görüntü işleme algoritmaları birlikte kullanılarak, otonom otomobiller, otonom insansız hava araçları, yardımcı robot teknolojileri, engelli ve yaşlı bireyler için asistan teknolojileri gibi birçok alanda uygulamalar geliştirilmektedir. Yapılan çalışmada, görme engelli bireyler, otonom araçlar ve robotlar tarafından kullanılabilecek yardımcı bir teknoloji sistemi tasarlamak için dokunsal parke yüzeylerinin derin öğrenme yöntemleriyle tespit edilmesi gerçekleştirilmiştir. Geleneksel görüntü işleme algoritmalarının aksine bu çalışmada derin öğrenme yöntemleri ile görüntü işleme algoritmaları birlikte kullanılmıştır. Nesne tespit etme yöntemleri içinde en iyi yöntemlerden biri olan You Only Look Once-V3(YOLO-V3) modeli DenseNet modeli ile birleştirilerek YOLOV3-Dense modeli oluşturulmuştur. YOLO-V2, YOLO-V3 ve YOLOV3Dense modelleri tarafımızca oluşturulmuş olan ve içerisinde 4580 etiketli görsel bulunan Marmara Dokunsal Parke Yüzeyi(MDPY) veri seti üzerinde ayrı ayrı eğitildikten sonra performansları test veri seti üzerinde birbirleri ile karşılaştırılmıştır. %89 F1-skor, %92 ortalama hassasiyet ve %81 IoU değerleri ile YOLOV3-Dense modelinin dokunsal parke yüzeyi tespit etmede diğer modellerden daha iyi olduğu gözlemlenmiştir. Saniyede 60 kare çalışma hızı ile YOLOV3-Dense modeli gerçek zamanlı çalışan sistemlerde de kullanılabilmektedir.

Keywords

Dokunsal parke, derin öğrenme, evrişimsel sinir ağları, görme engelli kişiler, YOLO

References

• World Health Organization. Blindness and vision impairment. https://www.who.int/en/news-room/fact-sheets/detail/blindness-and-visual-impairment. Yayın tarihi Ekim 8, 2019. Erişim tarihi Kasım 11, 2019.
• Lu, J., Siu, K. W. M., & Xu, P. A comparative study of tactile paving design standards in different countries. Paper presented at the 2008 9th International Conference on Computer-Aided Industrial Design and Conceptual Design. pp. 753-758. (2008, 22-25 Nov. 2008).
• Asami, T., & Ohnishi, K. Crosswalk location, direction and pedestrian signal state extraction system for assisting the expedition of person with impaired vision. Paper presented at the Mecatronics (MECATRONICS), 2014 10th France-Japan/8th Europe-Asia Congress on, Tokyo. pp. 285-290. (2014).
• Ghilardi, M. C., Macedo, R. C. O., & Manssour, I. H. A New Approach for Automatic Detection of Tactile Paving Surfaces in Sidewalks. Procedia Computer Science, 80, 662-672. doi: https://doi.org/10.1016/j.procs.2016.05.356 (2016).
• Mancini, A., Frontoni, E., & Zingaretti, P. Mechatronic System to Help Visually Impaired Users During Walking and Running. IEEE Transactions on Intelligent Transportation Systems, 19(2), 649-660. doi: 10.1109/TITS.2017.2780621 (2018).
• Shoval, S., Borenstein, J., & Koren, Y. The NavBelt-a computerized travel aid for the blind based on mobile robotics technology. IEEE Transactions on Biomedical Engineering, 45(11), 1376-1386. doi: 10.1109/10.725334 (1998).
• Yang, K., Cheng, R., Wang, K., & Zhao, X. A ground and obstacle detection algorithm for the visually impaired. Paper presented at the 2015 IET International Conference on Biomedical Image and Signal Processing (ICBISP 2015), Beijing, China. (2015)
• Garcia-Garcia, A., Orts, S., Oprea, S., Villena Martinez, V., Martinez-Gonzalez, P., & Rodríguez, J. A Survey on Deep Learning Techniques for Image and Video Semantic Segmentation. Applied Soft Computing, 70, 41-65. doi: 10.1016/j.asoc.2018.05.018 (2018).
• Krizhevsky, A., Sutskever, I., & E. Hinton, G. ImageNet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems, 25. doi: 10.1145/3065386 (2012).
• Deng, J., Dong, W., Socher, R., Li, L. J., Li, K., Li, F. F., & Ieee. ImageNet: A Large-Scale Hierarchical Image Database. Paper presented at the IEEE-Computer-Society Conference on Computer Vision and Pattern Recognition Workshops, Miami Beach, FL. pp. 248-255. (2009, Jun 20-25).
• .Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., . . . Li, F. F. ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision, 115. doi: 10.1007/s11263-015-0816-y (2014).
• He, K., Zhang, X., Ren, S., & Sun, J. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. Paper presented at the Proceedings of the IEEE international conference on computer vision. pp. 1026-1034. (2015).
• Tan, M., & Le, Q. V. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. arXiv preprint arXiv:1905.11946. (2019).
• Girshick, R., Donahue, J., Darrell, T., & Malik, J. Rich feature hierarchies for accurate object detection and semantic segmentation. Paper presented at the Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 580-587. (2014).
• Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C.-Y., & Berg, A. C. Ssd: Single shot multibox detector. Paper presented at the European conference on computer vision. pp. 21-37. (2016).
• Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. You only look once: Unified, real-time object detection. Paper presented at the Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 779-788. (2016).
• Sermanet, P., Eigen, D., Zhang, X., Mathieu, M., Fergus, R., & LeCun, Y. Overfeat: Integrated recognition, localization and detection using convolutional networks. arXiv preprint arXiv:1312.6229. (2013).
• Einloft, D. C., Ghilardi, M. C., & Manssour, I. H. Automatic Detection of Tactile Paving Surfaces in Indoor Environments. Paper presented at the Workshop of Undergraduate Works (WUW) in the 29th Conference on Graphics, Patterns and Images (SIBGRAPI'16). (2016)
• Jie, X., Xiaochi, W., & Zhigang, F. Research and implementation of blind sidewalk detection in portable eta system. Paper presented at the Information Technology and Applications (IFITA), 2010 International Forum on. pp. 431-434. (2010).
• Kassim, A. M., Yasuno, T., Mohd Aras, M. S., hj shukor, A., Jaafar, H. I., Baharom, F., & Jafar, F. Vision based of tactile paving detection method in navigation system for blind person. Jurnal Teknologi, 77. doi: 10.11113/jt.v77.6547 (2015).
• Shen, J., Liu, N., Sun, H., Tao, X., & Li, Q. Vehicle Detection in Aerial Images Based on Hyper Feature Map in Deep Convolutional Network. KSII Transactions on Internet & Information Systems, 13(4). (2019).
• Ren, S., He, K., Girshick, R., & Sun, J. Faster r-cnn: Towards real-time object detection with region proposal networks. Paper presented at the Advances in neural information processing systems. pp. 91-99. (2015).
• Kassim, A. M., Yasuno, T., Mohd Aras, M. S., hj shukor, A., Jaafar, H. I., Baharom, F., & Jafar, F. Vision based of tactile paving detection method in navigation system for blind person (Vol. 77). (2015).
• Lv, J.-J., Shao, X.-H., Huang, J.-S., Zhou, X.-D., & Zhou, X. Data augmentation for face recognition. Neurocomputing, 230, 184-196. doi: https://doi.org/10.1016/j.neucom.2016.12.025 (2017).
• Shorten, C., & Khoshgoftaar, T. M. A survey on Image Data Augmentation for Deep Learning. Journal of Big Data, 6(1), 60. doi: 10.1186/s40537-019-0197-0 (2019).
• Redmon, J., & Farhadi, A. Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767. (2018).
• Redmon, J., & Farhadi, A. YOLO9000: Better, Faster, Stronger. Paper presented at the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp. 6517-6525. (2017, 21-26 July 2017).
• .Huang, G., Liu, Z., Maaten, L. v. d., & Weinberger, K. Q. Densely Connected Convolutional Networks. Paper presented at the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp. 2261-2269. (2017, 21-26 July 2017).
• Goutte, C., & Gaussier, E. A Probabilistic Interpretation of Precision, Recall and F-Score, with Implication for Evaluation. Paper presented at the Proceedings of the 27th European conference on Advances in Information Retrieval Research. (2005)