İnsan - endüstriyel mobil robot etkileşiminde güvenlik önlemlerinin boyutlandırılması için nesne tespit modeli geliştirme

Tarık Aslan; Mustafa Yagımlı

doi:10.17341/gazimmfd.1306981

İnsan - endüstriyel mobil robot etkileşiminde güvenlik önlemlerinin boyutlandırılması için nesne tespit modeli geliştirme

Öz

İnsan-robot etkileşiminde, standartlaşan temel güvenlik önlemleri; güvenlik dereceli izlenen durdurma, elle yönlendirme, hız/mesafe izleme ve güç/kuvvet sınırlaması olmak üzere, dört ana teknik ile tanımlanmaktadır. Bu teknik önlemler genellikle yakınlık sensörlerinden elde edilen veriler doğrultusunda uygulanmakta ve diğer kriterler dikkate alınmamaktadır. Çalışanların koruyucu ekipman kullanımı ya da yetki seviyeleri gibi yeni kriterler tespit edilebilirse güvenlik önlemleri derecelendirilebilir. Koşullardan bağımsız standart bir şekilde ve sürekli uygulanan aynı düzey güvenlik önlemleri yaklaşımı yerine verimi de dikkate alan yeni bir yaklaşım kullanılabilir ve mobil robotların operasyonel verimliliğini artırabilir. Bu çalışmada, mobil robotların, YOLO nesne algılama algoritmaları kullanılarak aynı çalışma ortamında bulunan çalışanların koruyucu ekipman kullanımların ve yetkilerinin tespit edebileceği, güvenlik önlemi belirlemede bu tespiti kriter olarak kullanabileceği ve böylece verimi de dikkate alacak şekilde güvenlik önlemlerini belirleyebileceği ileri sürülmektedir. Eğitim sonucunda 44 FPS’lik bir hız çıkarımı ve %98’lik mAP doğruluk değeri elde edilmiştir.

Anahtar Kelimeler

Destekleyen Kurum

İstanbul Gedik Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimi

Proje Numarası

GDK202207-09

Kaynakça

1. Rajawat A.S., Bedi P., Goyal S.B., Shukla P.K., Zaguia A., Jain A., Khan M.M., Reformist framework for improving human security for mobile robots in industry 4.0, Mobile Inf. Syst., 2021, 1-10, 2021.
2. Şimşek E., Ozyer Tumuklu G., Ozyer B., Direction and Position Reconstruction on Mobile Robots, Balkan Journal of Electrical and Computer Engineering, 3 (Special Issue), 196-201, 2015.
3. Fragapane G., De Koster R., Sgarbossa F., Strandhagen J.O., Planning and control of autonomous mobile robots for intralogistics: Literature review and research agenda, Eur. J. Oper. Res., 294 (2), 405-426, 2021.
4. Chernousko F.L., Locomotion Principles For Mobile Robotic Systems, Procedia Comput. Sci., 103, 613-617, 2017.
5. Belzile B., St-Onge D., Safety first: On the safe deployment of robotic systems, In Foundations of Robotics: A Multidisciplinary Approach with Python and ROS, 415-439, Springer Nature Singapore, 2022.
6. Junyao G., Xueshan G., Wei Z., Jianguo Z., Boyu W., Coal Mine Detect and Rescue Robot Design and Research, IEEE International Conference on Networking, Sensing and Control, Sanya, China, 780-785, 2008.
7. Topolsky D., Topolskaya I., Plaksina I., Shaburov P., Yumagulov N., Fedorov D., Zvereva E., Development of a mobile robot for mine exploration, Processes, 10 (5), 865, 2022.
8. Fryman J., Updating the Industrial Robot Safety Standard, In ISR/Robotik 2014; 41st International Symposium on Robotics, 1-4, Munich, Germany, 2014.

9. Chinniah Y., Robot safety: overview of risk assessment and reduction, Advances in Robotics & Automation, 5 (01), 1-5, 2016.
10. Markis A., Papa M., Kaselautzke D., Rathmair M., Sattinger V., Brandstötter M., Safety of mobile robot systems in industrial applications, Proceedings of the ARW & OAGM Workshop, 26-31, 2019.
11. Rezayati M., Zanni G., Zaoshi Y., Scaramuzza D., van de Venn H.W., Improving safety in physical human-robot collaboration via deep metric learning, 2022 IEEE 27th International Conference on Emerging Technologies and Factory Automation (ETFA), Stuttgart, Germany, 1-8, 2022.
12. Rath S., Gupta V., Performance Comparison of YOLO Object Detection Models-An Intensive Study, https://learnopencv.com/performance-comparison-of-yolo-models/, Yayın tarihi Kasım 29, 2022. Erişim tarihi: August 9, 2023.
13. Belzile B., Wanang-Siyapdjie T., Karimi S., Gomes Braga R., Iordanova I., St-Onge D., From safety standards to safe operation with mobile robotic systems deployment, 20th International Conference on Advanced Robotics (ICAR 2021), 2021.
14. Zou Z., Chen K., Shi Z., Guo Y., Ye J., Object detection in 20 years: A survey, Proc. IEEE, 111 (3), 257-276, 2023.
15. Girshick R., Donahue J., Darrell T., Malik J., Rich feature hierarchies for accurate object detection and semantic segmentation, Proceedings of the IEEE conference on computer vision and pattern recognition, 580-587, 2014.
16. Liu W., Anguelov D., Erhan D., Szegedy C., Reed S., Fu C.Y., Berg A.C., SSD: Single shot multibox detector, In Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, 11–14, 2016.
17. Redmon J., Divvala S., Girshick R., Farhadi A., You only look once: Unified, real-time object detection, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 779-788, 2016.
18. Howard A., Sandler M., Chu G., Chen L.C., Chen B., Tan M., Adam H., Searching for mobilenetv3, Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 1314-1324, 2019.
19. Reis D., Kupec J., Hong J., Daoudi A., Real-Time Flying Object Detection with YOLOv8, arXiv preprint arXiv:2305.09972, 1-10, 2023.
20. Ban X., Liu P., Xu L., Zhao J., A lightweight model based on YOLOv8n in wheat spike detection, 2023 11th International Conference on Agro-Geoinformatics (Agro-Geoinformatics), Wuhan, China, 1-6, 2023.
21. Fang Q., Li H., Luo X., Ding L., Luo H., Rose T.M., An W., Detecting non-hardhat-use by a deep learning method from far-field surveillance videos, Autom. Constr., 85, 1-9, 2018.
22. Wu J., Cai N., Chen W., Wang H., Wang G., Automatic detection of hardhats worn by construction personnel: A deep learning approach and benchmark dataset, Autom. Constr., 106, 102894, 2019.
23. Zhang W., Yang C.F., Jiang F., Gao X.Z., Zhang X., Safety Helmet Wearing Detection Based on Image Processing and Deep Learning, 2020 International Conference on Communications, Information System and Computer Engineering (CISCE), Kuala Lumpur, Malaysia, 343-347, 2020.
24. Kim D., Kong J., Lim J., Sho B., A Study on Data Collection and Object Detection using Faster R-CNN for Application to Construction Site Safety, Journal of the Korean Society of Hazard Mitigation, 20 (1), 119-126, 2020.
25. Saudi M., Hakim A., Ahmad A., Saudi M., Shakir A., Image Detection Model for Construction Worker Safety Conditions using Faster R-CNN, Int. J. Adv. Comput. Sci. Appl., 11, 246–250 2020.
26. Casuat C.D., Merencilla N.E., Reyes R.C., Sevilla R.V., Pascion C.G., Deep-Hart: An Inference Deep Learning Approach of Hard Hat Detection for Work Safety and Surveillance, 2020 IEEE 7th International Conference on Engineering Technologies and Applied Sciences (ICETAS), Kuala Lumpur, Malaysia, 1-4, 2020.
27. Filatov N., Maltseva N., Bakhshiev A., Development of Hard Hat Wearing Monitoring System Using Deep Neural Networks with High Inference Speed, 2020 International Russian Automation Conference (RusAutoCon), Sochi, Russia, 459-463, 2020.
28. Wang L., Xie L., Yang P., Deng Q., Du S., Xu L., Hardhat-Wearing Detection Based on a Lightweight Convolutional Neural Network with Multi-Scale Features and a Top-Down Module, Sensors, 20(7), 1868, 2020.
29. Zhou F., Zhao H., Nie Z., Safety Helmet Detection Based on YOLOv5, 2021 IEEE International Conference on Power Electronics, Computer Applications (ICPECA), Shenyang, China, 6-11, 2021.
30. Cengil E., İki Boyutlu Sağlık, Tarım ve İş Güvenliği İmgeleri Üzerinde Sınıflandırma ve Nesne Tespiti, Doktora Tezi, Fırat Üniversitesi, Fen Bilimleri Enstitüsü, Elazığ, 2022.
31. Gallo G., Di Rienzo F., Garzelli F., Ducange P., Vallati C., A Smart System for Personal Protective Equipment Detection in Industrial Environments Based on Deep Learning at the Edge, IEEE Access, 10, 110862-110878, 2022.
32. Yang X., Xie Y., Yang S., Liang P., He Y., Yang J., Research on application of object detection based on yolov5 in construction site, 2023 15th International Conference on Advanced Computational Intelligence (ICACI), Seoul, Korea, 1-6, 2023.
33. Farooq M.U., Bhutto M.A., Kazi A.K., Real-Time Safety Helmet Detection Using YOLOv5 at Construction Sites, Intell. Autom. Soft Comput., 36(1), 911–927, 2023.
34. Grand View Research, Industrial Mobile Robots Market - Global Industry Analysis, Size, Share, Growth, Trends, and Forecast 2022-2030, 2022.
35. Ghorpade D., Thakare A.D., Doiphode S., Obstacle detection and avoidance algorithm for autonomous mobile robot using 2D LiDAR, 2017 International Conference on Computing, Communication, Control and Automation (ICCUBEA), Pune, India, 1-6, 2017.
36. Han W., Zhang Z., Caine B., Yang B., Sprunk C., Alsharif O., Ngiam J., Vasudevan V., Shlens J., Chen Z., Streaming object detection for 3-d point clouds. European Conference on Computer Vision (ECCV), 423-441, 2020.
37. Şafak E., Barışçı N., Real-time fire and smoke detection for mobile devices using deep learning, Journal of the Faculty of Engineering and Architecture of Gazi University, 38 (4), 2179-2190, 2023.
38. Balmik A., Barik S., Nandy A., A Robust Object Recognition Using Modified YOLOv5 Neural Network, 2023 10th International Conference on Signal Processing and Integrated Networks (SPIN), Noida, India, 462-467, 2023.
39. Khalid S., Oqaibi H.M., Aqib M., Hafeez Y., Small Pests Detection in Field Crops Using Deep Learning Object Detection, Sustainability, 15 (8), 6815, 2023.
40. Brownlee J., What is the Difference Between a Batch and an Epoch in a Neural Network, Machine Learning Mastery, 20, 1-5, 2018.
41. Bozinovski S., Fulgosi A., The influence of pattern similarity and transfer learning upon training of a base perceptron b2, Proceedings of Symposium Informatica, 3, 121-126, 1976.
42. Robbins H., Monro S., A stochastic approximation method, Ann. Math. Stat., 22, 400-407, 1951.
43. Kinga D., Adam J.B., A method for stochastic optimization. International Conference on Learning Representations (ICLR), 2014.
44. Loshchilov I., Hutter F., Decoupled weight decay regularization, International Conference on Learning Representations (ICLR), 2017.
45. Tieleman T., Lecture 6.5-rmsprop: Divide the gradient by a running average of its recent magnitude, COURSERA: Neural networks for machine learning, 4 (2), 26-31, 2012.
46. Goodfellow I., Bengio Y., Courville A., Deep Learning, Buzdağı Yayınları, Ankara, 2018.
47. Prasanna S., El-Sharkawy M., Hyperparameter Optimization for Object Detection Network, Proceedings of the Seventh International Congress on Information and Communication Technology: ICICT 2022, London, 4, 761-776, Springer Nature Singapore, August 2022.
48. Oyelade O.N., Ezugwu A.E., A comparative performance study of random‐grid model for hyperparameters selection in detection of abnormalities in digital breast images, Concurrency Comput. Pract. Exper., 34 (13), 1-23, 2022.
49. Zhu L., Zhang J., Jia C., An Improved YOLOv5-based Method for Surface Defect Detection of Steel Plate, China Automation Congress (CAC), Xiamen, China, 2233-2238, 2022.
50. Nath N.D., Behzadan A.H., Deep convolutional networks for construction object detection under different visual conditions, Frontiers in Built Environment, 6, 97, 2020.
51. Kurnaz F.C., Hocaoğlu B., Yılmaz M.K., Sülo İ., Kalkan S., Alet (automated labeling of equipment and tools): A dataset for tool detection and human worker safety detection, European Conference on Computer Vision (ECCV) 2020 Workshops, Springer International Publishing, Glasgow, UK., 12538, 371-386, 2020.

Ayrıntılar

Birincil Dil

Türkçe

Konular

Mühendislik

Bölüm

Araştırma Makalesi

Yazarlar

Tarık Aslan ^*
0000-0002-6548-5294
Türkiye

Mustafa Yagımlı
0000-0003-4113-8308
Türkiye

Erken Görünüm Tarihi

17 Mayıs 2024

Yayımlanma Tarihi

20 Mayıs 2024

Gönderilme Tarihi

30 Mayıs 2023

Kabul Tarihi

20 Kasım 2023

Yayımlandığı Sayı

Yıl 2024 Cilt: 39 Sayı: 4

DOI

https://doi.org/10.17341/gazimmfd.1306981

IZ

https://izlik.org/JA42LG67ML

Kaynak Göster

RIS / Bibtex

APA

Aslan, T., & Yagımlı, M. (2024). İnsan - endüstriyel mobil robot etkileşiminde güvenlik önlemlerinin boyutlandırılması için nesne tespit modeli geliştirme. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 39(4), 2197-2208. https://doi.org/10.17341/gazimmfd.1306981

AMA

1.Aslan T, Yagımlı M. İnsan - endüstriyel mobil robot etkileşiminde güvenlik önlemlerinin boyutlandırılması için nesne tespit modeli geliştirme. GUMMFD. 2024;39(4):2197-2208. doi:10.17341/gazimmfd.1306981

Chicago

Aslan, Tarık, ve Mustafa Yagımlı. 2024. “İnsan - endüstriyel mobil robot etkileşiminde güvenlik önlemlerinin boyutlandırılması için nesne tespit modeli geliştirme”. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 39 (4): 2197-2208. https://doi.org/10.17341/gazimmfd.1306981.

EndNote

Aslan T, Yagımlı M (01 Mayıs 2024) İnsan - endüstriyel mobil robot etkileşiminde güvenlik önlemlerinin boyutlandırılması için nesne tespit modeli geliştirme. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 39 4 2197–2208.

IEEE

[1]T. Aslan ve M. Yagımlı, “İnsan - endüstriyel mobil robot etkileşiminde güvenlik önlemlerinin boyutlandırılması için nesne tespit modeli geliştirme”, GUMMFD, c. 39, sy 4, ss. 2197–2208, May. 2024, doi: 10.17341/gazimmfd.1306981.

ISNAD

Aslan, Tarık - Yagımlı, Mustafa. “İnsan - endüstriyel mobil robot etkileşiminde güvenlik önlemlerinin boyutlandırılması için nesne tespit modeli geliştirme”. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 39/4 (01 Mayıs 2024): 2197-2208. https://doi.org/10.17341/gazimmfd.1306981.

JAMA

1.Aslan T, Yagımlı M. İnsan - endüstriyel mobil robot etkileşiminde güvenlik önlemlerinin boyutlandırılması için nesne tespit modeli geliştirme. GUMMFD. 2024;39:2197–2208.

MLA

Aslan, Tarık, ve Mustafa Yagımlı. “İnsan - endüstriyel mobil robot etkileşiminde güvenlik önlemlerinin boyutlandırılması için nesne tespit modeli geliştirme”. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, c. 39, sy 4, Mayıs 2024, ss. 2197-08, doi:10.17341/gazimmfd.1306981.

Vancouver

1.Tarık Aslan, Mustafa Yagımlı. İnsan - endüstriyel mobil robot etkileşiminde güvenlik önlemlerinin boyutlandırılması için nesne tespit modeli geliştirme. GUMMFD. 01 Mayıs 2024;39(4):2197-208. doi:10.17341/gazimmfd.1306981