ROBOTIC SURFACE MATERIAL RECOGNITION SYSTEM USING SENSOR NETWORK

Abstract

Object recognition usually includes colour, shape and material types. This paper presents a methodology for surface material recognition by a tool which is tapped on an object for robotic applications. Recognition of a surface material can be explored by scratching the tip of the tool over the surface. To classify surface types, many different sensors such as acceleration, force, reflectance, image and audio were used via automated robot movements. For this purpose, 28 different surface materials including such as metals and papers were used. It should be emphasized that the properties of surface materials are also different. 22 different classifiers were trained with these surfaces using Matlab Classification Learner Application. The data which is collected ten times from sensors were examined also in different combinations. First, all data (combination of acceleration, force and reflectance) except image and audio data was observed. Then; only image, only audio and dual combinations of all data subsets were evaluated. In the end, classification accuracy of fused data including all sensors was compared to the rest of the results. The proposed fusion of all features provides a classification accuracy of 98.2% in our experiments when combined with a Bagged Trees classifier. 

Keywords

• Surface material,Recognition,Machine learning,Pattern recognition,Data fusion,Multi-sensor

SENSÖR AĞI KULLANARAK ROBOTİK YÜZEY MALZEME TANIMA SİSTEMİ

Abstract

Nesne tanıma genellikle renk, şekil ve malzeme tiplerini içerir. Bu çalışma, robotik uygulamalarda kullanılmak amacıyla üzerinde çeşitli sensörler bulunduran kontrollü bir araçla birleştirilmiş yüzey materyali tanıma yöntemi sunmaktadır. Yüzey tiplerini sınıflandırmak için, otomatik robot hareketleri ile hızlanma, kuvvet, yansıma, görüntü ve ses gibi birçok farklı sensör kullanılmıştır. Çalışmada taş, ahşap yüzey, kumaş, plastik, metal ve kâğıt gibi farklı yapıdaki malzemeleri içeren 28 yüzey malzemesi kullanılmıştır. Matlab Sınıflandırıcı Uygulaması kullanılarak bu yüzeylerle 22 farklı sınıflandırıcı eğitilmiş ve sonuçlar analiz edilmiştir. Veriler sensörlerden farklı zamanlarda ve farklı kombinasyonlarda toplanmıştır. İlk olarak, görüntü ve ses verileri hariç tüm veriler (hızlanma, kuvvet ve yansıtma kombinasyonu) gözlemlenmiş; daha sonra sadece görüntü, sadece ses ve bu verilerin ikili kombinasyonları değerlendirilmiştir. Sonuçta, tüm sensörler dâhil olmak üzere birleştirilmiş verilerin sınıflandırma doğruluğu, sonuçların geri kalanıyla karşılaştırılmıştır. Tüm özelliklerin önerilen birleşimi ve Torbalı Ağaç sınıflandırıcısı yöntemi kullanıldığında 98.2% oranında bir sınıflandırma doğruluğu elde edilmiştir.  

Keywords

• Yüzey malzeme tanıma,Makine öğrenmesi,Nesne tanıma,Veri füzyonu,Çoklu sensör

References

1. Chen, H., Wolff, L.B., 1998. Polarization phase-based method for material classification in computer vision. Int. J. Comput. Vision 28, 73-83. URL: http://dx.doi.org/10.1023/A:1008054731537, doi:10.1023/A:1008054731537.
2. Cho, Y., Kim, S.U., Joung, M.C., Lee, J.J., 2014. Haptic cushion: Automatic generation of vibro-tactile feedback based on audio signal for immersive interaction with multimedia.
3. Cochran, W., Cooley, J., Favin, D., Helms, H., Kaenel, R., Lang, W., Maling, G., Nelson, D., Rader, C., Welch, P., 1967. What is the fast fourier transform? IEEE Transactions on Audio and Electroacoustics 15, 45-55. doi:10.1109/TAU.1967.1161899.
4. Gao, Y., Hendricks, L.A., Kuchenbecker, K.J., Darrell, T., 2016. Deep learning for tactile understanding from visual and haptic data, in: 2016 IEEE International Conference on Robotics and Automation (ICRA), pp. 536-543. doi: 10.1109/ICRA.2016.7487176.
5. Bharati, Manish H. and John F. MacGregor, 2000. Texture analysis of images using Principal Component Analysis.
6. Lemp, D., Weidner, U., 2005. Improvements of roof surface classification using hyperspectral and laser scanning data.
7. Omer, R., Fu, L., 2010. An automatic image recognition system for winter road surface condition classification, in: 13th International IEEE Conference on Intelligent Transportation Systems, pp. 1375-1379. doi:10.1109/ITSC.2010.5625290.
8. Palluel-Germain, R., Bara, F., de Boisferon, A.H., Hennion, B., Gouagout, P., Gentaz, E., 2007. A visuo-haptic device-telemaque-increases kindergarten children's handwriting acquisition, in: Second Joint EuroHaptics Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems (WHC’07), pp. 72-77. doi:10.1109/WHC.2007.13.

9. Romano, J.M., Kuchenbecker, K.J., 2012. Creating realistic virtual textures from contact acceleration data. EEE Trans. Haptics 5, 109-119. URL: http://dx.doi.org/10.1109/TOH.2011.38, doi:10.1109/TOH.2011.38.
10. Sgambelluri, N., Valenza, G., Ferro, M., Pioggia, G., Scilingo, E.P., Rossi, D.D., Bicchi, A., 2007. An artificial neural network approach for haptic discrimination in minimally invasive surgery, in: Robot and Human interactive Communication, 2007. RO-MAN 2007. The 16th IEEE International Symposium. p. 25-30.
11. Strese, M., Schuwerk, C., Iepure, A., Steinbach, E., 2015. On the retrieval of perceptually similar haptic surfaces, in: International Workshop on Quality of Multimedia Experience. (QoMEX), Costa Navarino, Greece.
12. Strese, M., Schuwerk, C., Steinbach, E., 2015. On the retrieval of perceptually similar haptic surfaces, in: International Workshop on Quality of Multimedia Experience. (QoMEX), Costa Navarino, Greece.
13. Tappen, M.F., Freeman, W.T., Adelson, E.H., 2005. Recovering intrinsic images from a single image. IEEE Trans. Pattern Anal. Mach. Intell. 27, 1459-1472. URL: http://dx.doi.org/10.1109/TPAMI.2005.185, doi:10.1109/TPAMI.2005.185.
14. Wang, O., Gunawardane, P., Scher, S., Davis, J., 2009. Material classification using brdf slices.
15. Weinmann, M., Gall, J., Klein, R., 2014. Material classification based on training data synthesized using btf database.
16. Wolff, L.B., 1990. Polarization-based material classification from specular reflection. IEEE Transactions on Pattern Analysis and Machine Intelligence 12, 1059-1071. doi:10.1109/34.61705.
17. Zheng, H., Fang, L., Ji, M., Strese, M., Özer, Y.Y., Steinbach, E., 2016. Deep learning for surface material classification using haptic and visual information. IEEE Transactions on Multimedia 18, 2407-2416.