Multi-resolution Modeling of Human with OctoMap for Human-Robot Interaction Studies

Abstract

While industrial robots have been working in safety cages for many years, today, with Industry 4.0, the cages have been discarded and started to work in interaction with humans. Thus, studies in the field of human-robot interaction (HRI), which aims to ensure that humans and robots work together safely and effectively, are increasingly continuing. There are many different types of HRIs for humans and robots in industrial environments. One of them is human-robots working together. In working together, human and robot work for the same purpose. It is important to ensure the physical and mental safety of people during work. The aim of this study is to create human models that will be used by the robot in the action plans to protect the mental health of the human during working together. While creating these models, it is recommended that some body parts of the human be modeled more precisely (high resolution) than other parts. It is aimed to improve mental health and productivity by providing confidence and comfort to people with high-resolution modeling of humans. To model the human, Octomap library, which is commonly used in robot applications to create a three-dimensional (3D) environment map, with its octree structure was used. In determining the regions to be modeled with high resolution, human joint points, which can be provided by skeleton tracking algorithms, are used. Circular areas were created by selecting the points belonging to the human region of interested among the joint points. And multi-resolution modeling of the human was carried out by modeling the regions of the human body within these areas with high resolution and the areas outside of these areas with lower resolution. Experimental results with a data set are presented.

Keywords

• Human-robot interaction
• Octomap
• Human modeling

İnsan-Robot Etkileşimi Çalışmalarına yönelik İnsanın OctoMap ile Çoklu Çözünürlüklü Modellenmesi

Abstract

Endüstriyel robotlar, uzun yıllar güvenlik kafesleri içinde çalışırken, günümüzde Endüstri 4.0 ile birlikte kafesler atılmış ve insanlar ile etkileşim içerisinde çalışmaya başlamıştır. Böylece, insan ve robotların birlikte güvenli ve etkin olarak çalışmasını sağlamayı amaçlayan insan-robot etkileşimi (Human-Robot Interaciton, HRI) alanında çalışmalar artarak devam etmektedir. Endüstriyel ortamlarda insanlar ve robotlar için birçok farklı HRI türü bulunmaktadır. Bunlardan biri de insan ve robotların birlikte çalışmasıdır. Birlikte çalışmada insan ve robot aynı amaç için çalışmaktadır. Çalışma sırasında insanın fiziksel ve mental güvenliğinin sağlanması önemlidir. Bu çalışmada, amaç insan ve robotların birlikte çalışmaları süresince insanın mental sağlığını korumak üzere robotun yapacağı hareket planlarında kullanacağı insan modellerinin oluşturulmasıdır. Bu modeller oluşturulurken, insanın bazı vücut bölgelerinin diğer bölgelerden daha hassas olarak modellenmesi (yüksek çözünürlüklü) önerilmektedir. İnsanın yüksek çözünürlüklü modellenmesi ile insana güven ve konfor sağlanarak, mental sağlığın ve verimliliğin geliştirilmesi hedeflenmiştir. İnsanı modellemek için, sekizli ağaç (octree) yapısıyla robot uygulamalarında yaygın olarak üç boyutlu (3B) ortam haritasının oluşturulmasında kullanılan, Octomap kütüphanesi kullanılmıştır. Yüksek çözünürlüklü modellenecek bölgelerin belirlenmesinde, iskelet takip algoritmaları ile sağlanabilen insan eklem noktaları kullanılmaktadır. Eklem noktaları arasıdan, ilgilenilen insan bölgesine ait olanlar noktalar seçilmek suretiyle dairesel alanlar oluşturulmuş ve bu alanlar içerisinde kalan insan vücuduna ait bölgeler yüksek, dışında kalan alanlar ise daha düşük çözünürlükle modellenerek insanın çoklu çözünürlüklü modellenmesi gerçekleştirilmiştir. Bir veri seti ile yapılan deneysel çalışma sonuçları sunulmaktadır.

Keywords

• İnsan-robot etkileşimi
• Octomap
• İnsan modelleme

References

1. Buxbaum, H., Kleutges, M., Sen, S. 2018. Full-scope simulation of human-robot interaction in manufacturing systems. IEEE Winter Simulation Conference (WSC), 9-12 Aralık, Göteborg, İsveç, 3299-3307.
2. Onnasch, L., Roesler, E. 2021. A Taxonomy to Structure and Analyze Human–Robot Interaction, International Journal of Social Robotics, Cilt. 13, s. 833–849. DOI: 10.1007/s12369-020-00666-5.
3. ISO. (2016). ISO 15066: 2016 (en) Robots and robotic devices–Collaborative Robots. Tech. rep. International Organization for Standardization.
4. Webster, M., Western, D., Araiza-Illan, D., Dixon, C., Eder, K., Fisher, M., & Pipe, A. G. (2020). A corroborative approach to verification and validation of human–robot teams. The International Journal of Robotics Research, Cilt. 39, s. 73-99. DOI: 10.1177/0278364919883338.
5. Goodrich, M. A., & Schultz, A. C. (2007). Human-Robot Interaction: A Survey. Foundations and Trends in Human-Computer Interaction, Cilt. 1, s. 203-275. DOI: 10.1561/1100000005.
6. Tellaeche, A., Maurtua, I., & Ibarguren, A. (2015). Human robot interaction in industrial robotics. Examples from research centers to industry. IEEE 20th Conference on Emerging Technologies & Factory Automation (ETFA), 8-11 Eylül, Lüksemburg, 1-6.
7. IFR. (2019). World Robotics 2019. Tech. rep. International Federation of Robotics.
8. Sanneman, L.M., Fourie, C.K., & Shah, J.A. (2020). The State of Industrial Robotics: Emerging Technologies, Challenges, and Key Research Directions. ArXiv, Cilt. abs/2010.14537. DOI: 10.1561/2300000065.

9. ISO. (2012). ISO 8373: 2012 (en) Robots and robotic devices–Vocabulary. Tech. rep. International Organization for Standardization.
10. Hentout, A., Aouache, M., Maoudj, A., & Akli, I. (2019). Human–robot interaction in industrial collaborative robotics: a literature review of the decade 2008–2017. Advanced Robotics, Cilt. 33(15-16), s. 764-799. DOI: 10.1080/01691864.2019.1636714.
11. Coupeté, E., Moutarde, F., & Manitsaris, S. (2016). A user-adaptive gesture recognition system applied to human-robot collaboration in factories. The 3rd International Symposium on Movement and Computing, 5-6 Temmuz, Selanik, Yunanistan, 1-7.
12. Barattini, P., Morand, C., & Robertson, N. M. (2012). A proposed gesture set for the control of industrial collaborative robots. IEEE RO-MAN: The 21st IEEE International Symposium on Robot and Human Interactive Communication, 9-13 Eylül, Paris, Fransa, 132-137.
13. El Makrini, I., Merckaert, K., Lefeber, D., & Vanderborght, B. (2017). Design of a collaborative architecture for human-robot assembly tasks. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 24-28 Eylül, Vancouver, BC, Kanada, 1624-1629.
14. Roy, R. N., Drougard, N., Gateau, T., Dehais, F., & Chanel, C. P. (2020). How Can Physiological Computing Benefit Human-Robot Interaction?. Robotics, Cilt. 9(4), s. 100. DOI: 10.3390/robotics9040100.
15. Wang, W., Chen, Y., Li, R., & Jia, Y. (2019). Learning and comfort in human–robot interaction: A review. Applied Sciences, Cilt. 9(23), s. 5152, 2019.DOI: 10.3390/app9235152.
16. Rani, P., & Sarkar, N. (2004). Emotion-sensitive robots-a new paradigm for human-robot interaction. 4th IEEE/RAS International Conference on Humanoid Robots, 10-12 Kasım, Santa Monica, CA, ABD, 149-167.
17. Yan, H., Ang, M. H., & Poo, A. N. (2014). A survey on perception methods for human–robot interaction in social robots. International Journal of Social Robotics, Cilt. 6(1), s. 85-119. DOI: 10.1007/s12369-013-0199-6.
18. Wurm, K. M., Hennes, D., Holz, D., Rusu, R. B., Stachniss, C., Konolige, K., & Burgard, W. (2011). Hierarchies of octrees for efficient 3d mapping. IEEE/RSJ International Conference on Intelligent Robots and Systems, 25-30 Eylül, San Francisco, CA, ABD ,4249-4255.
19. Hornung, A., Wurm, K. M., Bennewitz, M., Stachniss, C., & Burgard, W. (2013). OctoMap: An efficient probabilistic 3D mapping framework based on octrees. Autonomous robots, Cilt. 34(3), s. 189-206. DOI: 10.1007/s10514-012-9321-0.
20. Nuitrack. (2021) 3D BODY (SKELETAL) TRACKING MIDDLEWARE. https://nuitrack.com/. (Erişim Tarihi: 17.11.2021.)
21. Cubemos. (2021). Skeleton Tracking SDK. https://www.cubemos.com/skeleton-tracking-sdk. (Erişim Tarihi: 17.11.2021.)
22. Katalonya Politeknik Üniversitesi BARSELONATEK Sinyal Teorisi ve Haberleşme Bölümü Görüntü İşleme Grubu. (2015). Body pose dataset. https://imatge.upc.edu/web/resources/body-pose-dataset. (Erişim Tarihi: 17.11.2021.)
23. Nikolakis, N., Maratos, V., & Makris, S. (2019). A cyber physical system (CPS) approach for safe human-robot collaboration in a shared workplace. Robotics and Computer-Integrated Manufacturing, Cilt. 56, s. 233-243. DOI: 10.1016/j.rcim.2018.10.003.