Development of the Image Based Security System to Provide Cage-Free Working of an Industrial Robot

Abstract

Thanks to the interoperability (collaboration) between human and robot; flexibility, efficiency, capacity and quality in production can be increased. In this form of work (human-robot interaction), sharing the same environment between human and robot creates the possibility of collision, thus ensuring the safety in such work environments is the most important problem. In traditional robotic systems, security is provided by various equipments such as cage systems, laser scanners and light barriers. However, these systems restrict the working environment and eliminate the flexibility factor that is proposed as an advantage in the interoperability of human and robot. The main purpose of this study is to develop an image processing-based system and algorithm using cameras and hardware positioned on the robot to eliminate cage and other preventive systems. The camera and equipment used in the system were chosen to be of low-cost standard equipment. Thus, it has been tried to create a cost-effective and easy-to-implement solution for operating standard industrial robots in a form suitable for interaction. In the article, firstly, the method developed on multiple camera positioning and image acquisition is explained. Then, it is explained how a panoramic image is obtained from the multiple images, how to make human or object detection on this image and how to make location and distance extraction via this detection. The algorithm that manages the operation of the human and the robot in the same environment using the extracted parameters and defined security rules is summarized. Finally, the achievements of the developed system are discussed and predictions for future studies are given. 

Keywords

• robot vision,human robot collaboration,safety in robotic systems

BİR ENDÜSTRİYEL ROBOTUN KAFESSİZ ÇALIŞMASINI SAĞLAYACAK GÖRÜNTÜ TABANLI GÜVENLİK SİSTEMİNİN GELİŞTİRİLMESİ

Abstract

İnsan ve robotun birlikte çalışması ile yaratılan işbirliği sayesinde, üretimde esneklik, verimlilik, kapasite ve kalite arttırılabilmektedir. Bu birlikte çalışma formunda (insan-robot etkileşiminde) insan ve robotun aynı ortamı paylaşması; çarpma/çarpışma olasılığını ortaya çıkardığından, bu türden çalışma ortamlarında güvenliği sağlamak en önemli sorun olmaktadır. Geleneksel robotlu sistemlerde güvenlik; kafes sistemleri, lazer tarayıcılar, ışık bariyerleri gibi çeşitli donanımlarla sağlanmaktadır. Ancak bu sistemler çalışma ortamını kısıtlamakta, insan ile robotun birlikte çalışmasında avantaj olarak öne sürülen esneklik faktörünü ortadan kaldırmaktadır. Bu çalışmanın ana amacı, kafes ve diğer önleyici sistemleri ortadan kaldırabilmek için robot üzerine konumlandırılan kamera ve donanımların kullanıldığı görüntü işleme tabanlı bir sistem ve algoritma ortaya çıkarabilmektir. Kullanılan kamera ve donanımların ihtiyaçları sağlayacak nitelikte, ancak düşük maliyetli standart donanımlardan seçilmesine dikkat edilmiştir. Böylelikle standart endüstriyel robotların etkileşime uygun formda çalıştırılabilmeleri için düşük maliyetli ve kolay uygulanabilir bir çözüm yaratılmaya çalışılmıştır. Bu amaçla; çalışmada, öncelikle çoklu kamera konumlandırılması ve görüntü elde edilmesi üzerine geliştirilen yöntem açıklanmıştır. Ardından elde edilmiş çoklu görüntülerden tekil bir panoramik görüntü elde edilmesi ve bu veri üzerinden insan/nesne tespiti ile konum ve mesafe çıkarımının nasıl yapıldığı belirtilmiştir. Bulunan parametreler ve tanımlı güvenlik kurallarını kullanarak insan ve robotun aynı ortamda çalışmasını düzenleyen algoritma özetlenmiş, son olarak da geliştirilen sistemin getirmiş olduğu kazanım ele alınmış ve ileride yapılabilecek çalışmalara ilişkin öngörüler verilmiştir.

Keywords

• robot görüsü,insan robot işbirliği,robotik sistemlerde güvenlik

References

1. 1. Augustsson, S., Gustavsson, L. ve Bolmsjö, G. (2014) “Human and Robot Interaction Based on Safety Zones in a Shared Work Environment”, Proceedings of the 2014 ACM/IEEE International Conference on Human-Robot Interaction, pp 118-119. doi: 10.1145/2559636.2563717
2. 2. Bay H., Tuytelaars T. ve Van Gool L. (2006) “SURF: Speeded Up Robust Features” In: Leonardis A., Bischof H., Pinz A. (eds) Computer Vision – ECCV 2006. ECCV 2006. Lecture Notes in Computer Science, vol 3951. Springer, Berlin, Heidelberg. doi: 10.1007/11744023_32
3. 3. Bobka, P., Germann, T., Heyn, J.K., Gerbers, R., Dietrich, F. ve Dröder, K. (2016) “Simulation Platform to Investigate Safe Operation of Human-Robot Collaboration Systems”, Procedia CIRP vol:44, pp 187–192. doi: 10.1016/j.procir.2016.01.199
4. 4. Cervera, E., Garcia-Aracil, N., Martinez, E., Nomdedeu, L. ve del Pobil A.P. (2008) “Safety for a Robot Arm Moving Amidst Humans by Using Panoramic Vision”, Proceedings of the IEEE International Conference on Robotics and Automation, pp. 2183-2188. doi: 10.1109/ROBOT.2008.4543530
5. 5. Ebert, D.M. ve Henrich, D.D. (2002) “Safe Human-Robot-Cooperation: Image-Based Collision Detection for Industrial Robots”, Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 1826-1831. doi: 10.1109/IRDS.2002.1044021
6. 6. Hartley, R.I. ve Kang, S.B. (2007) “Parameter-Free Radial Distortion Correction with Center of Distortion Estimation”, IEEE Transactions on Pattern Analysis and Machine Intelligence, volume: 29, issue: 8, pp. 1309–1321. doi: 10.1109/TPAMI.2007.1147
7. 7. ISO (2016) “ISO/TS 15066:2016 – Robots and Robotic Devices -- Collaborative Robots”, Standart of the International Organization for Standardization (https://www.iso.org/standard/62996.html)
8. 8. Krüger, J., Lien T.K. ve Verl, A. (2009) “Cooperation of Human and Machines in Assembly Lines”, CIRP Annals - Manufacturing Technology, vol: 58, pp. 628–646. doi: 10.1016/j.cirp.2009.09.009

9. 9. KUKA AG. (2019) “İnsan Robot İşbirliği” https://www.kuka.com/tr-tr/teknolojiler/İnsan-robot-işbirliği, erişim tarihi: 07.03.2019.
10. 10. MathWorks, Inc. (2018), “MATLAB”, https://www.mathworks.com/products/matlab.html, erişim tarihi: Mayıs 2019.
11. 11. Mitsubishi Electric (2019), “RT Toolbox 2”, https://www.mitsubishielectric.com/fa/products/rbt/robot/smerit/rt2/simulation.html, erişim tarihi: Mayıs 2019.
12. 12. Moriaka, M. ve Sakakibara, S. (2010) “A New Cell Production Assembly System with Human-Robot Cooperation”, CIRP Annals - Manufacturing Technology, vol: 59 (1), pp 9-12 doi: 10.1016/j.cirp.2010.03.044
13. 13. Nguyen, D.H., Hoffmann, M., Roncone, A., Pattacini, U. ve Metta, G. (2018) “Compact Real-time avoidance on a Humanoid Robot for Human-robot Interaction”, Proceedings of the ACM/IEEE International Conference on Human-Robot Interaction, pp. 416-424.doi: 10.1145/3171221.3171245
14. 14. Takakura, S., Murakami, T. ve Ohnishi, K. (1989) “An Approach to Collision Detection and Recovery Motion in Industrial Robot”, Proceedings of the 15th Annual Conference of IEEE Industrial Electronics Society, pp. 421-426.doi: 10.1109/IECON.1989.69669
15. 15. Tokçalar, Ö.K., İlhan, R., Şimşek, Ö. ve Durgun, İ. (2016) “Hibrit montaj sistemleri orta yük kapasiteli robotlarda insan-robot etkileşimi”, Türkiye Robotbilim Konferansı – TORK 2016
16. 16. Viola, P. ve Jones, M. (2001) “Rapid Object Detection Using a Boosted Cascade of Simple Features”, Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.doi: 10.1109/CVPR.2001.990517
17. 17. Yamada, Y., Suita, K., Imai, K. ve Ikeda, H. (1996) “A Failure-To-Safety Robot System for Human-Robot Coexistence”, Robotics and Autonomous Systems, volume: 18 issues: 1-2 pp. 283-291.doi: 10.1016/0921-8890(95)00075-5