TY  - JOUR
T1  - ROBOTIC SURFACE MATERIAL RECOGNITION SYSTEM USING SENSOR NETWORK
TT  - SENSÖR AĞI KULLANARAK ROBOTİK YÜZEY MALZEME TANIMA SİSTEMİ
AU  - Kahraman, Nihan
AU  - Gökcan, Salih Ertuğrul
PY  - 2019
DA  - March
Y2  - 2018
DO  - 10.21923/jesd.452153
JF  - Mühendislik Bilimleri ve Tasarım Dergisi
JO  - MBTD
PB  - Süleyman Demirel University
WT  - DergiPark
SN  - 1308-6693
SP  - 81
EP  - 89
VL  - 7
IS  - 1
LA  - en
AB  - Object recognition usually includes colour, shape andmaterial types. This paper presents a methodology for surface materialrecognition by a tool which is tapped on an object for robotic applications.Recognition of a surface material can be explored by scratching the tip of thetool over the surface. To classify surface types, many different sensors suchas acceleration, force, reflectance, image and audio were used via automatedrobot movements. For this purpose, 28 different surface materials includingsuch as metals and papers were used. It should be emphasized that theproperties of surface materials are also different. 22 different classifierswere trained with these surfaces using Matlab Classification LearnerApplication. The data which is collected ten times from sensors were examinedalso in different combinations. First, all data (combination of acceleration,force and reflectance) except image and audio data was observed. Then; onlyimage, only audio and dual combinations of all data subsets were evaluated. Inthe end, classification accuracy of fused data including all sensors wascompared to the rest of the results. The proposed fusion of all featuresprovides a classification accuracy of 98.2% in our experiments when combinedwith a Bagged Trees classifier.
KW  - Surface material
KW  - Recognition
KW  - Machine learning
KW  - Pattern recognition
KW  - Data fusion
KW  - Multi-sensor
N2  - Nesne tanıma genellikle renk, şekil ve malzeme tipleriniiçerir. Bu çalışma, robotik uygulamalarda kullanılmak amacıyla üzerinde çeşitlisensörler bulunduran kontrollü bir araçla birleştirilmiş yüzey materyali tanımayöntemi sunmaktadır. Yüzey tiplerini sınıflandırmak için, otomatik robothareketleri ile hızlanma, kuvvet, yansıma, görüntü ve ses gibi birçok farklısensör kullanılmıştır. Çalışmada taş, ahşap yüzey, kumaş, plastik, metal ve kâğıtgibi farklı yapıdaki malzemeleri içeren 28 yüzey malzemesi kullanılmıştır.Matlab Sınıflandırıcı Uygulaması kullanılarak bu yüzeylerle 22 farklısınıflandırıcı eğitilmiş ve sonuçlar analiz edilmiştir. Veriler sensörlerdenfarklı zamanlarda ve farklı kombinasyonlarda toplanmıştır. İlk olarak, görüntüve ses verileri hariç tüm veriler (hızlanma, kuvvet ve yansıtma kombinasyonu)gözlemlenmiş; daha sonra sadece görüntü, sadece ses ve bu verilerin ikilikombinasyonları değerlendirilmiştir. Sonuçta, tüm sensörler dâhil olmak üzerebirleştirilmiş verilerin sınıflandırma doğruluğu, sonuçların geri kalanıylakarşılaştırılmıştır. Tüm özelliklerin önerilen birleşimi ve Torbalı Ağaçsınıflandırıcısı yöntemi kullanıldığında 98.2% oranında bir sınıflandırmadoğruluğu elde edilmiştir.
CR  - Chen, H., Wolff, L.B., 1998. Polarization phase-based method for material classification in computer vision. Int. J. Comput. Vision 28, 73-83. URL: http://dx.doi.org/10.1023/A:1008054731537, doi:10.1023/A:1008054731537.
CR  - Cho, Y., Kim, S.U., Joung, M.C., Lee, J.J., 2014. Haptic cushion: Automatic generation of vibro-tactile feedback based on audio signal for immersive interaction with multimedia.
CR  - Cochran, W., Cooley, J., Favin, D., Helms, H., Kaenel, R., Lang, W., Maling, G., Nelson, D., Rader, C., Welch, P., 1967. What is the fast fourier transform? IEEE Transactions on Audio and Electroacoustics 15, 45-55. doi:10.1109/TAU.1967.1161899.
CR  - Gao, Y., Hendricks, L.A., Kuchenbecker, K.J., Darrell, T., 2016. Deep learning for tactile understanding from visual and haptic data, in: 2016 IEEE International Conference on Robotics and Automation (ICRA), pp. 536-543. doi: 10.1109/ICRA.2016.7487176.
CR  - Bharati, Manish H. and John F. MacGregor, 2000. Texture analysis of images using Principal Component Analysis.
CR  - Lemp, D., Weidner, U., 2005. Improvements of roof surface classification using hyperspectral and laser scanning data.
CR  - Omer, R., Fu, L., 2010. An automatic image recognition system for winter road surface condition classification, in: 13th International IEEE Conference on Intelligent Transportation Systems, pp. 1375-1379.  doi:10.1109/ITSC.2010.5625290.
CR  - Palluel-Germain, R., Bara, F., de Boisferon, A.H., Hennion, B., Gouagout, P., Gentaz, E., 2007. A visuo-haptic device-telemaque-increases kindergarten children's handwriting acquisition, in: Second Joint EuroHaptics Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems (WHC’07), pp. 72-77. doi:10.1109/WHC.2007.13.
CR  - Romano, J.M., Kuchenbecker, K.J., 2012. Creating realistic virtual textures from contact acceleration data. EEE Trans. Haptics 5, 109-119. URL: http://dx.doi.org/10.1109/TOH.2011.38, doi:10.1109/TOH.2011.38.
CR  - Sgambelluri, N., Valenza, G., Ferro, M., Pioggia, G., Scilingo, E.P., Rossi, D.D., Bicchi, A., 2007. An artificial neural network approach for haptic discrimination in minimally invasive surgery, in: Robot and Human interactive Communication, 2007.  RO-MAN 2007. The 16th IEEE International Symposium. p. 25-30.
CR  - Strese, M., Schuwerk, C., Iepure, A., Steinbach, E., 2015. On the retrieval of perceptually similar haptic surfaces, in: International Workshop on Quality of Multimedia Experience. (QoMEX), Costa Navarino, Greece.
CR  - Strese, M., Schuwerk, C., Steinbach, E., 2015. On the retrieval of perceptually similar haptic surfaces, in: International Workshop on Quality of Multimedia Experience. (QoMEX), Costa Navarino, Greece.
CR  - Tappen, M.F., Freeman, W.T., Adelson, E.H., 2005. Recovering intrinsic images from a single image. IEEE Trans. Pattern Anal. Mach. Intell. 27, 1459-1472. URL: http://dx.doi.org/10.1109/TPAMI.2005.185, doi:10.1109/TPAMI.2005.185.
CR  - Wang, O., Gunawardane, P., Scher, S., Davis, J., 2009. Material classification using brdf slices.
CR  - Weinmann, M., Gall, J., Klein, R., 2014. Material classification based on training data synthesized using btf database.
CR  - Wolff, L.B., 1990. Polarization-based material classification from specular reflection. IEEE Transactions on Pattern Analysis and Machine Intelligence 12, 1059-1071. doi:10.1109/34.61705.
CR  - Zheng, H., Fang, L., Ji, M., Strese, M., Özer, Y.Y., Steinbach, E., 2016. Deep learning for surface material classification using haptic and visual information. IEEE Transactions on Multimedia 18, 2407-2416.
UR  - https://doi.org/10.21923/jesd.452153
L1  - https://dergipark.org.tr/en/download/article-file/678195
ER  -