İç Ortamlarda Robot Konumlarının Anlamsal Sınıflandırılması için 2B Lazer Verisi ile PointNet++ Uygulaması

Öz

Son yıllarda, robotlar tarafından yapılması beklenen görevlerin çeşidi ve sayısı her geçen gün artmaktadır. Örneğin, hastane ve okul gibi büyük iç ortamlarda bir nesnenin bir konumdan başka bir konuma taşınması ya da insanlara gitmek istedikleri yere kadar rehberlik edilmesi gibi görevler bunlardan bazılarıdır. Robot konumlarının anlamsal olarak sınıflandırılması, bu görevlerin başarı ile gerçekleştirilmesine katkıda bulunabilir. İç ortamlarda robotun bulunabileceği temel anlamsal sınıflar; oda, koridor, kapı, hol, asansör ve merdiven olarak kabul edilebilir. Geçmiş çalışmalarda, robotun bulunduğu konumun anlamsal sınıfını tespit etmek amacıyla 2B lazer verisi kümeleme, denetimli ve denetimsiz makine öğrenmesi teknikleri ile kullanılmıştır. Bu çalışmada, geçmiş çalışmalardan farklı olarak nokta tabanlı derin öğrenme mimarisi PointNet++, robot konumlarının oda ya da koridor anlamsal sınıflarından hangisinde olduğunu belirlemek amacıyla kullanılmıştır. Bunu yapabilmek için 2B lazer mesafe ölçerden elde edilen ham mesafe verileri nokta bulutuna dönüştürülmüş ve PointNet++ mimarisine girdi olarak verilmiştir. Ayrıca, mimarinin oda ve koridor sınıflarının karakteristiklerini boyutlardan bağımsız olarak öğrenmesi amacıyla ham veri ölçeklendirilerek veri artırımı (data augmentation) yapılmıştır. Gerçeklenen yöntemin başarısının test edilmesi için farklı boyutlarda oda ve koridorlara sahip Freiburg 79, Freiburg 52, ESOGÜ ve SDR-B binalarından toplanan örneklerin oluşturduğu veri kümeleri kullanılmıştır. Test sonuçları sınıflandırma doğruluğu, duyarlılık, kesinlik ve F1 ölçütü ile değerlendirilmiştir. 

Anahtar Kelimeler

• Anlamsal konum sınıflandırması
• 2B lazer
• PointNet++
• Gezgin robotlar
• İç ortam
• Derin öğrenme

An Application of PointNet++ for Semantic Classification of Robot Locations via 2D Laser Data in Indoor Environments

Abstract

In recent years, the variety and number of tasks that expected to perform by robots have been increasing. For example, some of these tasks are to carry an object from a location to another one or to guide people where they desire to reach in large indoor environments such as school and hospital. The semantic classification of the robot locations may contribute to the robots while performing these tasks successfully. In indoor environments, room, corridor, door, hall, elevator, and stair could be considered as the semantic classes that the robot can locate. In previous studies, clustering, supervised, and unsupervised machine learning techniques used with 2D laser data to classify robot locations semantically. In this work, apart from the previous studies, the point-based deep learning architecture PointNet++ was utilized to determine the room or corridor semantic classes. To do that, the raw distance data acquired with the 2D laser range finder was converted to point cloud and the resultant data is used to feed the PointNet++ architecture. Besides, data augmentation was applied to raw point cloud data by means of scaling operation to learn the characteristics of the room and corridor classes regardless of dimensions. The Freiburg 79, Freiburg 52, ESOGU, and SDR-B datasets that include rooms and corridors which have different sizes were used to test the effectiveness of the implemented method. The test results were evaluated with accuracy, recall, precision, and F1 score metrics.

Keywords

• Semantic place classification,
• 2D laser,
• PointNet++,
• Mobile robots,
• Indoor,
• Deep learning,

Kaynakça

1. Gazebo Robot Simulation (2020). Open source robotics foundation (OSRF). http://gazebosim.org/. Erişim: 25.06.2020.
2. Goeddel, R. ve Olsom, E. (2016). Learning semantic place labels from occupancy grids using CNNs. IEEE/RSJ International Conference on Intelligent Robots and Systems, s: 3999-4004.
3. Guo, J. Y., Wang, H., Hu, Q., Liu, H., Liu. L ve Bennamoun, M. (2019). Deep learning for 3D point clouds: A survey. arXiv: 1912.1203.
4. Kaleci, B., Şenler, Ç.M., Dutağacı, H. ve Parlaktuna, O. (2020). Semantic classification of mobile robot locations through 2D laser scans. Intel Serv Robotics, Cilt:13, s:63–85.
5. Liao, Y., Kodagoda, S., Wang, Y., Shi, L. ve Liu, Y. (2017). Place Classification With a Graph Regularized Deep Neural Network. IEEE Transactions on Cognitive and Developmental Systems, Cilt:9, No:4, s:304-315.
6. Maturana, D. ve Scherer, S. (2015). VoxNet: A 3D Convolutional Neural Network for real-time object recognition. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), s:. 922-928, doi: 10.1109/IROS.2015.7353481.
7. Mozos, O. M. (2010). Semantic Labeling of Places with Mobile Robots. Springer Tracts in Advanced Robotics (STAR), Cilt:61.
8. Mozos, O. M. (2020). Semantic Place Labeling Datasets. http://www2.informatik.uni-freiburg.de/~omartine/place_data_sets.html, Erişim: 25.06.2020.

9. Mozos, O. M. ve Burgard, W. (2006). Supervised learning of topological maps using semantic information extracted from range data. IEEE/RSJ international conference on intelligent robots and systems, s:2772–2777.
10. Mozos, O. M., Stachniss, C. ve Burgard, W. (2005). Supervised learning of places from range data using adaboost. IEEE International Conference on Robotics and Automation, s:1730-1735.
11. Nikdel , P. ve Vaughan, R. (2019). Recognizing and Tracking High-Level, Human-Meaningful Navigation Features of Occupancy Grid Maps. ArXiv abs/1903.03669.
12. Pioner P3-AT Mobile Robot (2020). https://www.generationrobots.com/media/Pioneer3AT-P3AT-RevA-datasheet.pdf, Erişim: 25.06.2020.
13. Premebida C., Faria D. R., Souza F. A. ve Nunes U. (2015). Applying probabilistic mixture models to semantic place classification in mobile robotics. IEEE/RSJ international conference on intelligent robots and systems (IROS), s:4265–4270.
14. Qi, C. R., Su, H., Mo, K. ve Guibas L. J. (2016). PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. arXiv preprint arXiv:1612.00593.
15. Qi, C. R., Yi, l. E., Su, H., Mo, K. ve Guibas L. J. (2017). PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space. arXiv preprint arXiv:1706.02413.
16. Robot Operating System (2020). Open source robotics foundation (OSRF). http://ros.org/. Erişim: 25.06.2020.
17. Shi, L. ve Kodagoda, S. (2013). Towards generalization of semisupervised place classification over generalized Voronoi graph, Robotics and Autonomous Systems. Cilt:61, No:8, s:785-796.
18. Shi L., Kodagoda S. ve Dissanayake G. (2010). Laser range data based semantic labeling of places. IEEE/RSJ international conference on intelligent robots and systems, s:5941–5946.
19. Soares, S. ve Araújo, R. (2014). Semantic place labeling using a probabilistic decision list of adaboost classifiers. Int. J. Comput. Inf. Syst. Ind. Manag. Appl., Cilt:6, s:548–559.
20. Sousa P., Araújo R. ve Nunes U. (2007). Real-time labeling of places using support vector machines. IEEE international symposium on industrial electronics, s:2022–2027.
21. Su, H., Maji, S, Kalogerakis, E. ve Learned-Miller, E. (2015). Multi-view Convolutional Neural Networks for 3D Shape Recognition. Proceedings of ICCV.