Otonom Taşıyıcı Araçlardaki Hataların Teşhisi için Evrişimli Sinir Ağları Tabanlı Çoklu Heterojen Sensörlerin Füzyon Yöntemi

Year 2022, Volume: 34 Issue: 1, 203 - 213, 20.03.2022

Sergen Aşık Emine Deniz Eyüp Çinar

https://doi.org/10.35234/fumbd.1003341

Abstract

Bu çalışma, çok sensörlü veri füzyonu ve darboğaz katmanı ile optimize edilmiş evrişimli sinir ağı tabanlı otonom taşıyıcı araçlar için yeni bir hata tespit yöntemi sunmaktadır. Daha zengin öznitelikler elde etmek için tek sensörden gelen sinyal verileri yerine çoklu heterojen sensörlerden gelen sinyal verilerini resimlere dönüştüren bir dönüştürme yönteminden yararlanılmıştır. Çoklu heterojen sensör verilerinin dönüşümü ile elde edilen resimler kullanılarak yeni bir evrişimli sinir ağı oluşturulmuştur. Önerilen yaklaşımın etkinliğini doğrulamak için otonom taşıyıcı araç kullanılarak sensörlerden veriler toplanmış ve gerçek bir fiziksel ortamda çeşitli hata senaryoları oluşturulmuştur. Tek sensör kullanarak ortalama %85 ve çoklu heterojen sensör kullanılarak ortalama %93 hata tahmin doğruluğu elde edilmiştir. Sonuçlarda gösterildiği gibi önerilen evrişimli sinir ağı, daha yüksek tanıma doğruluğu elde etmektedir.

Keywords

Fault diagnosis, Convolutional neural networks, Multi-sensor data fusion, Autonomous transport vehicle

Supporting Institution

TÜBİTAK

Project Number

118C252

Thanks

Bu çalışma, Türkiye Bilimsel ve Teknolojik Araştırma Kurumu’nun (TÜBİTAK) 118C252 numaralı 2232 Uluslararası Lider Araştırmacılar Programı projesi tarafından desteklenmiştir.

References

• Referans1 Lu S, Xu C, Zhong R, Wang L. A RFID-enabled Positioning System in Automated Guided Vehicle for Smart Factories. Journal of Manufacturing Systems 2017; 44: 179-190.
• Referans2 De Ryck M, Versteyhe M, Debrouwere F. Automated guided vehicle systems, state-of-the-art control algorithms and techniques. Journal of Manufacturing Systems 2020; 54: 152-173.
• Referans3 Sabattini, L, Aikio M, Beinschob P, Boehning M, Cardarelli E, Digani V, Krengel A, Magnani M, Mandici S, Oleari F. Advanced Automated Guided Vehicle Systems for Industrial Logistics. 2017.
• Referans4 Stetter R, Marcin W, Marcin P.Virtual diagnostic sensors design for an automated guided vehicle. Applied Sciences 2018; 8(5): 702.
• Referans5 Dares M, Goh W, Koh S, Yeong F, Su E, Tan H. Development of AGV as Test Bed for Fault Detection. International Conference on Control, Automation and Robotics (ICCAR) 2020; 6: 379-383.
• Referans6 Örnek Ö, Gülbandılar E, Yazıcı A. Akıllı Fabrikalardaki Otonom Taşıyıcılar İçin Bulanık Mantık Tabanlı Anomali Tespiti. Eskişehir Osmangazi Üniversitesi Mühendislik ve Mimarlık Fakültesi Dergisi 2020; 28(1), 53-61.
• Referans7 Zhang X, Huang T, Wu B, Hu Y, Huang S, Zhou Q, Zhang X. Multi-model ensemble deep learning method for intelligent fault diagnosis with high-dimensional samples. Frontiers of Mechanical Engineering 2021; 1-13.
• Referans8 Hoang D-T, Kang H-J. A survey on deep learning based bearing fault diagnosis. Neurocomputing 2019; 327-335.
• Referans9 Yang, X., ve diğerleri Automatic pixel-level crack detection and measurement using fully convolutional network. Comput.-Aided Civ. Infrastruct. Eng. 2018, 33, 1090–1109.
• Referans10 Maeda, H., ve diğerleri Road damage detection and classification using deep neural networks with smartphone images. Comput.-Aided Civ. Infrastruct. Eng. 2018, 33, 1127–1141.
• Referans11 Baldini, G., ve diğerleri (2020). On the Application of Time Frequency Convolutional Neural Networks to Road Anomalies Identification with Accelerometers and Gyroscopes. Sensors, 20(22), 6425.
• Referans12 Jing, L., ve diğerleri (2017). "An Adaptive Multi-Sensor Data Fusion Method Based on Deep Convolutional Neural Networks for Fault Diagnosis of Planetary Gearbox." Sensors 17(2): 414.
• Referans13 Gong, W., ve diğerleri (2019). "A novel deep learning method for intelligent fault diagnosis of rotating machinery based on improved CNN-SVM and multichannel data fusion." Sensors 19(7): 1693.
• Referans14 Wang, X., ve diğerleri (2021). "Bearing fault diagnosis based on vibro-acoustic data fusion and 1D-CNN network." Measurement 173: 108518.
• Referans15 V. Chandola, A. Banerjee, ve V. Kumar, “Anomaly detection: A survey,” ACM Comput. Surv., vol. 41, no. 3, pp. 1–58, Jul. 2009.
• Referans16 M. Realpe, B. Vintimilla, and L. Vlacic, “Sensor fault detection and diagnosis for autonomous vehicles,” in Proc. MATEC Web Conf., vol. 30, 2015, Art. no. 04003.
• Referans17 N. D. Gingras Pous and D. Gruyer, “Intelligent vehicle embedded sensors fault detection and isolation using analytical redundancy and nonlinear transformations,” J. Control Sci. Eng., vol. 2017, pp. 1–10, Jan. 2017.
• Referans18 Fang, Y., Min, H., Wang, W., Xu, Z., & Zhao, X. (2020). A Fault Detection and Diagnosis System for Autonomous Vehicles Based on Hybrid Approaches. IEEE Sensors Journal, 20(16), 9359-9371.
• Referans19 Kwon, D., Kim, H., Kim, J., Suh, S. C., Kim, I., & Kim, K. J. (2019). A survey of deep learning-based network anomaly detection. Cluster Computing, 22(1), 949-961.
• Referans20 Chalapathy, R., & Chawla, S. (2019). Deep learning for anomaly detection: A survey. arXiv preprint arXiv:1901.03407.
• Referans21 Y. LeCun, Y. Bengio, and G. Hinton,“Deep Learning”, Nature, Vol. 521, No.7553, pp. 436-444, 2015.
• Referans22 Zhao, R., ve diğerleri (2019). Deep learning and its applications to machine health monitoring. Mechanical Systems and Signal Processing, 115, 213-237.
• Referans23 Shao, H., ve diğerleri (2018). Rolling bearing fault detection using continuous deep belief network with locally linear embedding. Computers in Industry, 96, 27-39.
• Referans24 Yuan, M.,ve diğerleri (2016, October). Fault diagnosis and remaining useful life estimation of aero engine using LSTM neural network. In 2016 IEEE international conference on aircraft utility systems (AUS) (pp. 135-140). IEEE.
• Referans25 Tang, G., ve diğerleri (2018). Multivariable LS-SVM with moving window over time slices for the prediction of bearing performance degradation. Journal of Intelligent & Fuzzy Systems, 34(6), 3747-3757.
• Referans26 Z. Chen & W. Li, ‘‘Multisensor feature fusion for bearing fault diagnosis using sparse autoencoder and deep belief network,’’ IEEE Trans. Instrum. Meas., vol. 66, no. 7, pp. 1693–1702, Jul. 2017.
• Referans27 H. Pan, ve diğerleri ‘‘An improved bearing fault diagnosis method using one-dimensional CNN and LSTM,’’ J. Mech. Eng., vol. 64, nos. 7–8, pp. 443–452, May 2018.
• Referans 28 T. Ince, ve diğerleri Real-time motor fault detection by 1-D convolutional neural networks, IEEE Trans. Ind. Electron. 63 (11) (2016) 7067– 7075.
• Referans29 C. Liu, ve diğerleri Planetary gears feature extraction and fault diagnosis method based on VMD and CNN, Sensors 18 (5) (2018).
• Referans30 X. Ding & Q. He, Energy-fluctuated multiscale feature learning with deep ConvNet for intelligent spindle bearing fault diagnosis, IEEE Trans. Instrum. Meas. 66 (8) (2017) 1926–1935.
• Referans31 Z. Chen & W. Li, Multisensor feature fusion for bearing fault diagnosis using sparse autoencoder and deep belief network, IEEE Trans. Instrum. Meas. 66 (7) (2017) 1693–1702.
• Referans32 O. Janssens ve diğerleri ‘‘Convolutional neural network based fault detection for rotating machinery,’’ J. Sound Vib., vol. 377, pp. 331–345, Sep. 2016.
• Referans33 C. Lu, ve diğerleri ‘‘Intelligent fault diagnosis of rolling bearing using hierarchical convolutional network based health state classifification,’’Adv. Eng. Informat., vol. 32, pp. 139–151, Apr. 2017.