Classification of Railway Fasteners by Deep Learning Methods

Abstract

In ensuring the safety of railway transport, computer vision-based methods have become important to ensure railway safety. Increased rail traffic can cause partial wear of railway components and serious accidents. Detection of defects in the railway line has become an important issue. In this study, a deep learning-based system is proposed for the classification of defects in defective fasteners. The proposed approach produces defective data using healthy rail fastener images. An image segmentation method was used to obtain a new image. Then, healthy and defective railway fastener images were classified with deep learning models. The Unet model was used for the segmentation process. CNN, VGG-16, and ResNet50 models were used to train the dataset and classify the defects of the fasteners. The proposed method was compared with other models in the literature and better results were obtained in terms of classification performance. The proposed method has achieved 100% accuracy.

Keywords

• Railways
• Fastener
• Defect Detection
• Computer Vision
• Unet
• Deep Learning Algorithms

Derin Öğrenme Yöntemleri ile Demiryolu Bağlantı Elemanlarının Sınıflandırılması

Öz

Demiryolu taşımacılığının güvenliğini sağlamada, bilgisayarlı görmeye dayalı yöntemler, demiryolu güvenliğini sağlamak için önemli bir hale gelmiştir. Artan demiryolu trafiği demiryolu bileşenlerin de kısmen aşınmaya ve ciddi kazalara neden olabilmektedir. Demiryolu hattındaki kusurlarının tespit edilmesi önemli bir konu haline gelmiştir. Bu çalışmada, demiryolu bağlantı elemanlarındaki kusurların sınıflandırılması için derin öğrenme tabanlı bir sistem önerilmiştir. Önerilen yaklaşım, sağlıklı demiryolu bağlantı elemanı görüntülerini kullanarak kusurlu veriler üretmektedir. Yeni görüntü elde etmek için bir görüntü bölütleme yöntemi kullanılmıştır. Ardından derin öğrenme modelleriyle sağlıklı ve kusurlu demiryolu bağlantı elemanı görüntüleri sınıflandırılmıştır. Bölütleme işlemi için Unet modeli kullanılmıştır. Veri seti eğitimi ve bağlantı elemanlarının kusurlarını sınıflandırmak için CNN, VGG-16 ve ResNet50 modelleri kullanılmıştır. Önerilen yöntem literatürdeki diğer modellerle karşılaştırılmış ve sınıflandırma performansı açısından daha iyi sonuçlar elde edilmiştir. Önerilen yöntem %100 doğruluk oranı yakalamıştır.

Anahtar Kelimeler

• Demiryolu
• Demiryolu Bağlantı Elemanları
• Kusur Tespiti
• Bilgisayarlı Görme
• Unet
• Derin Öğrenme Algoritmaları

References

1. Clark, R. (2004). Rail flaw detection: overview and needs for future developments. Ndt & E International 37. 111-118.
2. Liu, J., Teng, Y., Ni, X. & Liu H. (2021). A Fastener Inspection Method Based on Defective Sample Generation and Deep Convolutional Neural Network. IEEE Sensors Journal, vol. 21, no. 10, pp. 12179-12188, doi: 10.1109/JSEN.2021.3062021.
3. Guo, F., Qian, Y., & Shi, Y. (2021). Real-time railroad track components inspection based on the improved YOLOv4 framework. Autom. Construct., vol. 125, Art. No. 103596.
4. Gibert, X., Patel, V. M., & Chellappa, R. (2017). Deep Multitask Learning for Railway Track Inspection. IEEE Transactions on Intelligent Transportation Systems, vol. 18, no. 1, pp. 153-164, doi: 10.1109/TITS.2016.2568758.
5. Min, Y., Xiao, B., & Dang, J. (2018). Real time detection system for rail surface defects based on machine vision. EURASIP Journal on Image and Video Processing, 3. https://doi.org/10.1186/s13640-017-0241-y.
6. Qi, H., Xu, T., Wang, G., Cheng, Y., & Chen C. (2020). MYOLOv3-Tiny: A new convolutional neural network architecture for real-time detection of track fasteners. Computers in Industry. 123. 103303. 10.1016/j.compind.2020.103303.
7. Güçlü, E., Aydın, İ., Şahbaz, K., Akın, E., & Karaköse M. (2021). Demiryolu bağlantı elemanlarında bulunan kusurların YOLOv4 ve bulanık mantık kullanarak tespiti. Demiryolu Mühendisliği, vol. 14, 249-262, doi:10.47072/demiryolu.939830.
8. Aydın, İ., Akın, E., Karaköse, M. (2021). Defect classification based on deep features for railway tracks in sustainable transportation. Applied Soft Computing, vol. 111, 107706, doi:10.1016/j.asoc.2021.107706.

9. Ronneberger, O., Fischer, P., & Brox, T. (2015). U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical image computing and computer-assisted intervention 234–241.
10. Türk, F., & Lüy, M. (2019). Böbrek Tümör Segmentasyonu İçin Unet ve Unet-ResNet Modellerinin Karşılaştırılması. 1-5. 10.1109/ISMSIT.2019.8932725.
11. Sevi, M., & Aydın, İ. (2020). COVID-19 Detection Using Deep Learning Methods. 2020 International Conference on Data Analytics for Business and Industry: Way Towards a Sustainable Economy (ICDABI), pp. 1-6, doi: 10.1109/ICDABI51230.2020.9325626.
12. Çetintaş, D. (2019). Derin Öğrenme ve Tıbbi Uygulamaları. Doktora Semineri, Fırat Üniversitesi.
13. Gündüz, G., & Cedimoğlu, İ. H. (2019). Derin Öğrenme Algoritmalarını Kullanarak Görüntüden Cinsiyet Tahmini. Sakarya Unıversıty Journal Of Computer And Informatıon Scıences, 2, 9-17.
14. İnik, Ö., & Ülker, E. (2017). Derin Öğrenme ve Görüntü Analizinde Kullanılan Derin Öğrenme Modelleri. Gaziosmanpaşa Bilimsel Araştırma Dergisi.
15. Ekrem, Ö., Salman, Ö.K.M., Aksoy, B., & İnan, S.A. (2020). Yapay Zekâ Yöntemleri Kullanilarak Kalp Hastaliğinin Tespiti. Mühendislik Bilimleri ve Tasarım Dergisi, vol. Uluslararası Mühendislikte Yapay Zekâ ve Uygulamalı Matematik Konferansı (UMYMK 2020), pp. 241-254, doi: 10.21923/jesd.824703.
16. Alan, A., & Karabatak, M. (2020). Veri Seti-Sınıflandırma İlişkisinde Performansa Etki Eden Faktörlerin Değerlendirilmesi. Fırat Üniversitesi Mühendislik Bilimleri Dergisi. 531-540. 10.35234/fumbd.738007.
17. Feng, H., Jiang, Z., Xie, F., Yang, P., Shi, J., & Chen, L. (2013). Automatic fastener classification and defect detection in vision-based railway inspection systems. IEEE transactions on instrumentation and measurement, 63(4), 877-888.
18. Liu, J., Huang, Y., Zou, Q., Tian, M., Wang, S., Zhao, X., & Ren, S. (2019). Learning visual similarity for inspecting defective railway fasteners. IEEE Sensors Journal, 19(16), 6844-6857.
19. Dou, Y., Huang, Y., Li, Q., & Luo, S. (2014). A Fast Template Matching-Based Algorithm for Railway Bolts Detection. International Journal of Machine Learning and Cybernetics, vol. 5, pp. 835-844.
20. Liu, J., Teng, Y., Ni, X., & Li, H. (2021). A Fastener Inspection Method Based on Defective Sample Generation and Deep Convolutional Neural Network. IEEE Sensors Journal, vol. 21, no. 10, pp. 12179-12188.
21. Özçelik, Y. B., & Altan, A. (2021). Diyabetik Retinopati Teşhisi için Fundus Görüntülerinin Derin Öğrenme Tabanlı Sınıflandırılması. Avrupa Bilim ve Teknoloji Dergisi, (29), 156-167.