Açıklanabilir Yapay Zekâ Tabanlı Denetimsiz Öğrenme ile Ray Kusur Tespiti

Year 2023, Issue: 18, 1 - 13, 31.07.2023

Selçuk Sinan Kırat İlhan Aydın

https://doi.org/10.47072/demiryolu.1231751

Cited By: 2

Abstract

Demiryolları insanı ve yükünü geçmişten günümüze kadar taşımış, artan ilgi ve talep nedeniyle gelecekte de taşımaya devam edecektir. Demiryollarında güvenli seyir için ray sağlamlığının otonom olarak tespit edilip önceden önlem alınması önem arz etmektedir. Yapay zekâ tabanlı bilgisayarlı görü uygulamaları kapsamında derin öğrenme modelleri ile otonom kusur tespiti yapılabilmektedir. Son yıllarda açıklanabilir yapay zeka yaklaşımı kusur (anomali) tespitinde popüler olmuştur. Sistem tarafından tespit edilen kusurun, niçin kusurlu olduğunun asıl karar verici olan insana açıklanması gerekmektedir. Bu çalışmada ray yüzey kusurlarını içeren etiketsiz görüntü veri seti ile sınıflandırıcı katmanları özelleştirilmiş Vgg16 ve MobileNetV3 Small ağları eğitilmiştir. Denetimsiz öğrenme ile etiketsiz verilerden sağlam rayların özelliklerini öğrenen ağlara, test için verilen görüntülerdeki kusurlar tespit ettirilmiştir. Kusurlar açıklama haritaları ile kullanıcıya gösterilmiştir. Ağların sınıflandırma başarısında Vgg16 %98, MobileNetV3 Small %96 doğruluk seviyesine ulaşırken, kusurlu bölgenin işaretlenmesini sağlayan açıklama haritalarında Vgg16’nin daha isabetli çıkarımlar yaptığı gözlemlenmiştir.

Keywords

Açıklanabilir yapay zeka, Denetimsiz öğrenme, Transfer öğrenme, Kusur tespiti, Vgg16, MobileNetV3 Small.

Supporting Institution

Fırat Üniversitesi Bilimsel Araştırma Projeleri Birimi

Project Number

ADEP.22.02

Thanks

Bu çalışma Fırat Üniversitesi Bilimsel Araştırma Projeleri tarafından ADEP.22.02 proje numarası ile desteklenmiştir.

Rail Defect Detection with Explainable Artificial Intelligence Based Unsupervised Learning

Abstract

Railways have carried people and their loads from the past to the present, and will continue to carry them in the future due to the increasing interest and demand. For safe transportation on railways, it is important to determine the rail strength autonomously and to take precautions beforehand. Within the scope of artificial intelligence-based computer vision applications, autonomous defect detection can be done with deep learning models. In recent years, the explainable artificial intelligence approach has become popular in defect (anomaly) detection. The defect that is detected by the system should be explained to the person who is the main decision maker, why it is faulty. In this study, Vgg16 and MobileNetV3 Small networks with customized classifier layers are trained with an unlabeled image dataset containing rail surface defects. With unsupervised learning, the networks that learned the properties of solid rails from unlabeled data were detected in the images given for testing. Defects are shown to the user with annotation maps. While Vgg16 reached 98% accuracy and MobileNetV3 Small 96% accuracy in the classification success of the networks, it was observed that Vgg16 made more accurate inferences in the annotation maps that marked the defective region.

Keywords

Açıklanabilir yapay zeka, Denetimsiz öğrenme, Transfer öğrenme, Kusur tespiti, Vgg16, MobileNetV3 Small.

Project Number

ADEP.22.02

References

• [1] V. Çakmak and A. Altaş, “Sosyal Medya Etkileşiminde Tren Yolculukları: DOĞU EKSPRESİ İle İlgili Youtube Paylaşım Videolarının Analizi,” Journal of Tourism and Gastronomy Studies, vol. 6, no. 1, pp. 390–408, Mar. 2018, doi: 10.21325/jotags.2018.194.
• [2] P. Ravishankar, X. Zhang, and S. Hwang, “Detecting Defects of Railway Tracks by Using Computer Vision Methodology,” in IIE Annual Conference. Proceedings. Institute of Industrial and Systems Engineers (IISE), 2021, pp. 572–577.
• [3] O. Yaman, “Demiryolu Rayları İçin Gerçek Zamanlı Bulanık Otomata ile Görme Tabanlı Arıza Teşhis Sisteminin Geliştirilmesi,” Doktora Tezi, Fırat Üniversitesi, Fen Bilimleri Enstitüsü, 2018.
• [4] J. McCarthy, What is AI?, 2007. [Online]. Available: http://www-formal.stanford.edu/jmc/
• [5] M. S. Bingöl, Ç. Kaymak, and A. Uçar, “Derin Öğrenme Kullanarak Otonom Araçların İnsan Sürüşünden Öğrenmesi,” Fırat Üniversitesi Mühendislik Bilimleri Dergisi, vol. 31, no. 1, pp. 177–185, 2019.
• [6] J. Gleichauf, J. Vollet, C. Pfitzner, P. Koch, and S. May, “Sensor Fusion Approach for an Autonomous Shunting Locomotive,” in Lecture Notes in Electrical Engineering, vol. 495, no. January, Springer International Publishing, 2020, pp. 603–624. doi: 10.1007/978-3-030-11292-9_30.
• [7] R. A. S. Deliloğlu and A. Çakmak Pehlivanlı, “Hibrit Açıklanabilir Yapay Zeka Tasarımı ve LIME Uygulaması,” European Journal of Science and Technology, no. 27, pp. 228–236, Aug. 2021, doi: 10.31590/ejosat.959030.
• [8] R. Terzi, “Sağlık Sektöründe Açıklanabilir Yapay Zeka,” in Yapay Zeka ve Büyük Veri Çalışmaları, Siber Güvenlik ve Mahremiyet, Ş. Sağıroğlu and U. Demirezen, Eds. Ankara: Nobel Akademik Yayıncılık, 2021, pp. 157–175.
• [9] H. U. Dike, Y. Zhou, K. K. Deveerasetty, and Q. Wu, “Unsupervised Learning Based On Artificial Neural Network : A Review,” in 2018 IEEE International Conference on Cyborg and Bionic Systems (CBS), 2018, pp. 322–327.
• [10] Z. Ghahramani, “Unsupervised Learning,” in Summer School on Machine Learning, 2003, pp. 72–112.
• [11] M. Bilgin, “Gerçek Veri Setlerinde Klasik Makine Öğrenmesi Yöntemlerinin Performans Analizi,” Breast, vol. 2, no. 9, pp. 683–688, 2017.
• [12] C. Mızrak, “Peridinamik Tabanlı Bulanık Mantık Algoritması Yardımıyla Ray Yüzeyindeki Kusurların Tam Spektrum Görüntü İşleme ile Tespiti,” Düzce Üniversitesi Bilim ve Teknoloji Dergisi, vol. 9, pp. 16–27, Jan. 2020, doi: 10.29130/dubited.831852.
• [13] A. Çelik, “Demiryolu Ray ve Kusurlarını Tespit Etmek İçin Geliştirilen İki Yeni Yöntem,” Demiryolu Mühendisliği, no. 12, pp. 52–63, Jul. 2020, doi: 10.47072/demiryolu.737624.
• [14] İ. Aydın, S. S. Kırat, and E. Akın, “Detection of Rail Surface Defects with Two Deep Learning Methods: Comparative Analysis,” in 2022 30th Signal Processing and Communications Applications Conference (SIU), May 2022, pp. 1–4. doi: 10.1109/SIU55565.2022.9864863.
• [15] Y. Wu, Y. Qin, Y. Qian, F. Guo, Z. Wang, and L. Jia, “Hybrid deep learning architecture for rail surface segmentation and surface defect detection,” Computer-Aided Civil and Infrastructure Engineering, vol. 37, no. 2, pp. 227–244, Feb. 2022, doi: 10.1111/mice.12710.
• [16] D. Zhang, K. Song, J. Xu, Y. He, M. Niu, and Y. Yan, “MCnet: Multiple Context Information Segmentation Network of No-Service Rail Surface Defects,” IEEE Transactions on Instrumentation and Measurement, vol. 70, pp. 1–9, 2021, doi: 10.1109/TIM.2020.3040890.
• [17] M. Nieniewski, “Morphological Detection and Extraction of Rail Surface Defects,” IEEE Transactions on Instrumentation and Measurement, vol. 69, no. 9, pp. 6870–6879, Sep. 2020, doi: 10.1109/TIM.2020.2975454.
• [18] J. H. Feng, H. Yuan, Y. Q. Hu, J. Lin, S. W. Liu, and X. Luo, “Research on deep learning method for rail surface defect detection,” IET Electrical Systems in Transportation, vol. 10, no. 4, pp. 436–442, Dec. 2020, doi: 10.1049/iet-est.2020.0041.
• [19] H. Wang, M. Li, and Z. Wan, “Rail surface defect detection based on improved Mask R-CNN,” Computers and Electrical Engineering, vol. 102, no. April, p. 108269, Sep. 2022, doi: 10.1016/j.compeleceng.2022.108269.
• [20] X. Ni, H. Liu, Z. Ma, C. Wang, and J. Liu, “Detection for Rail Surface Defects via Partitioned Edge Feature,” IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 6, pp. 5806–5822, Jun. 2022, doi: 10.1109/TITS.2021.3058635.
• [21] H. Zhang et al., “MRSDI-CNN: Multi-Model Rail Surface Defect Inspection System Based on Convolutional Neural Networks,” IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 8, pp. 11162–11177, Aug. 2022, doi: 10.1109/TITS.2021.3101053.
• [22] F. Guo, Y. Qian, D. Rizos, Z. Suo, and X. Chen, “Automatic Rail Surface Defects Inspection Based on Mask R-CNN,” Transportation Research Record: Journal of the Transportation Research Board, vol. 2675, no. 11, pp. 655–668, Nov. 2021, doi: 10.1177/03611981211019034.
• [23] L. Kou, “A Review of Research on Detection and Evaluation of the Rail Surface Defects,” Acta Polytechnica Hungarica, vol. 19, no. 3, pp. 167–186, 2022, doi: 10.12700/APH.19.3.2022.3.14.
• [24] K. Simonyan and A. Zisserman, “Very Deep Convolutional Networks for Large-Scale Image Recognition,” 3rd International Conference on Learning Representations, ICLR 2015 - Conference Track Proceedings, pp. 1–14, Sep. 2014, [Online]. Available: http://arxiv.org/abs/1409.1556
• [25] B. Zhou, A. Khosla, A. Lapedriza, A. Oliva, and A. Torralba, “Learning Deep Features for Discriminative Localization,” in 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Jun. 2016, vol. 2016-Decem, pp. 2921–2929. doi: 10.1109/CVPR.2016.319.
• [26] A. F. Agarap, “Deep Learning using Rectified Linear Units (ReLU),” no. 1, pp. 2–8, Mar. 2018, [Online]. Available: http://arxiv.org/abs/1803.08375
• [27] G. Özbulak and H. K. Ekenel, “Initialization of convolutional neural networks by Gabor filters,” in 2018 26th Signal Processing and Communications Applications Conference (SIU), May 2018, no. May, pp. 1–4. doi: 10.1109/SIU.2018.8404757.
• [28] K. Fırıldak and M. F. Talu, “Evrişimsel Sinir Ağlarında Kullanılan Transfer Öğrenme Yaklaşımlarının İncelenmesi,” Anatolian Journal of Computer Science, vol. 4, no. 2, pp. 88–95, 2019.
• [29] A. Howard et al., “Searching for MobileNetV3,” in 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Oct. 2019, vol. 2019-Octob, pp. 1314–1324. doi: 10.1109/ICCV.2019.00140.