Detection of Foreign Objects Around the Railway Line with YOLOv8

Year 2023, Volume: IDAP-2023 : International Artificial Intelligence and Data Processing Symposium Issue: IDAP-2023, 19 - 23, 18.10.2023

Mehmet Sevi İlhan Aydın

https://doi.org/10.53070/bbd.1346317

Abstract

This study proposes a deep learning-based method to detect foreign objects around the railway line. It is important to make this determination with high accuracy for rail transport safety, but traditional methods are disadvantageous in terms of time and cost. In the proposed method, the RailSem19 dataset was used, and a YOLOv8-based model was designed. YOLOv8 is a prominent algorithm in the literature with its fast and accurate object detection capability. In the study, the dataset was diversified using image enhancement techniques. The training, validation, and testing stages used manually labeled data for human and car classes. The training process was carried out through Google Colab and different YOLOv8 sub-architectures were evaluated. The results showed that the YOLOv8m sub-architecture had higher mAP50 values than the other sub-architectures and showed a successful performance in the validation phase. The YOLOv8m model was able to clearly distinguish people and cars around the railway line. The YOLOv8m sub-architecture achieved a mAP50 value of 88.8%. This study presents an automated and efficient method to improve rail transport safety. The high success of the YOLOv8-based model with the RailSem19 dataset can be considered an effective solution to detect potential risks around the railway line.

Keywords

Object Detection, YOLOv8, Deep Learning, Railway

Supporting Institution

Fırat Üniversitesi Bilimsel Araştırma Projeleri Birimi

Project Number

ADEP.22.02

Thanks

This work was supported by The FUBAP (Fırat University Scientific Research Projects Unit) under grant no: ADEB.2022.02.

YOLOv8 ile Demiryolu Hattı Çevresindeki Yabancı Cisimlerin Tespiti

Abstract

Bu çalışmada, demiryolu hattı çevresindeki yabancı cisimlerin tespitini sağlamak amacıyla derin öğrenme tabanlı bir yöntem önerilmiştir. Demiryolu ulaşımı güvenliği için bu tespitin yüksek doğrulukla yapılması önemlidir, ancak geleneksel yöntemler zaman ve maliyet açısından dezavantajlıdır. Önerilen yöntemde RailSem19 veri seti kullanılmış ve YOLOv8 tabanlı bir model tasarlanmıştır. YOLOv8, hızlı ve doğru nesne algılama yeteneği ile literatürde öne çıkan bir algoritmadır. Çalışmada görüntü artırma teknikleri kullanılarak veri seti çeşitlendirilmiş ve eğitim, doğrulama ve test aşamalarında insan ve araç sınıfları için elle etiketlenmiş veriler kullanılmıştır. Eğitim süreci, Google Colab aracılığıyla gerçekleştirilmiş ve farklı YOLOv8 alt mimarileri değerlendirilmiştir. Sonuçlar, YOLOv8m alt mimarisinin diğer alt mimarilere göre daha yüksek mAP50 değerlerine sahip olduğunu ve doğrulama aşamasında başarılı bir performans sergilediğini göstermiştir. YOLOv8m modeli, demiryolu hattı çevresindeki insan ve araçları net bir şekilde ayırt edebilmiştir. YOLOv8m alt mimarisi %88.8’lik mAP50 değeri yakalamıştır. Bu çalışma, demiryolu ulaşım güvenliğini artırmak amacıyla otomatik ve verimli bir yöntem sunmaktadır. YOLOv8 tabanlı modelin RailSem19 veri seti ile yüksek başarı elde etmesi, demiryolu hattı çevresindeki potansiyel riskleri tespit etmek için etkili bir çözüm olarak değerlendirilebilir.

Keywords

Nesne Algılama, YOLOv8, Derin Öğrenme, Demiryolu.

Project Number

ADEP.22.02

References

• Çağlayan, A., Yıldız, A., & Yıldız, A. B. (2013). Türkiye’de Demiryolu Güzergâhlari Jeomorfoloji İlişkisi. Marmara Coğrafya Dergisi, (28), 466-486.
• Güçlü, E., Aydın, İ., Şahbaz, K., Akın, E., & Karaköse, M. (2021). Demiryolu bağlantı elemanlarında bulunan kusurların YOLOv4 ve bulanık mantık kullanarak tespiti. Demiryolu Mühendisliği, (14), 249-262.
• Aydemir, H. (2016). Türkiye’nin ulaştırma politakaları çerçevesinde demiryolu ulaştırma sisteminin genel durumunun irdelenmesi ve geleceğine bakış. Demiryolu Mühendisliği, (3), 41-46.
• Hyde, P., Ulianov, C., Liu, J., Banic, M., Simonovic, M., & Ristic-Durrant, D. (2022). Use cases for obstacle detection and track intrusion detection systems in the context of new generation of railway traffic management systems. Proceedings of the Institution of Mechanical Engineers, Part F: Journal of Rail and Rapid Transit, 236(2), 149-158.
• Tastimur, C., Karakose, M., & Akin, E. (2017). Image processing based level crossing detection and foreign objects recognition approach in railways. International Journal of Applied Mathematics Electronics and Computers, (Special Issue-1), 19-23.
• Han, Y., Liu, Z., Lee, D. J., Liu, W., Chen, J., & Han, Z. (2018). Computer vision–based automatic rod-insulator defect detection in high-speed railway catenary system. International Journal of Advanced Robotic Systems, 15(3), 1729881418773943.
• Cao, Z., Qin, Y., Xie, Z., Liu, Q., Zhang, E., Wu, Z., & Yu, Z. (2022). An effective railway intrusion detection method using dynamic intrusion region and lightweight neural network. Measurement, 191, 110564.
• Chen, Z., Wang, Q., Yu, T., Zhang, M., Liu, Q., Yao, J., ... & He, Q. (2022). Foreign object detection for railway ballastless trackbeds: A semisupervised learning method. Measurement, 190, 110757.
• Zendel, O., Murschitz, M., Zeilinger, M., Steininger, D., Abbasi, S., & Beleznai, C. (2019). Railsem19: A dataset for semantic rail scene understanding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (pp. 0-0).
• Sevi, M., Aydın, İ., & Akın, E. (2023). YOLOv5 ile Topluluk Öğrenmesine Dayalı Olarak Ray Yüzeyindeki Kusurların Tespiti. Demiryolu Mühendisliği, (17), 115-132.
• Ju, R. Y., & Cai, W. (2023). Fracture Detection in Pediatric Wrist Trauma X-ray Images Using YOLOv8 Algorithm. arXiv preprint arXiv:2304.05071.
• Kılıç, Ö. D., Aydemir, M. E., & Özdemir, P. Ö. Uçak Görüntülerinin Sınıflandırılmasında Farklı Yapay Zekâ Algoritmalarının Performansı.
• Ristić-Durrant, D., Haseeb, M. A., Franke, M., Banić, M., Simonović, M., & Stamenković, D. (2020). Artificial intelligence for obstacle detection in railways: Project smart and beyond. In Dependable Computing-EDCC 2020 Workshops: AI4RAILS, DREAMS, DSOGRI, SERENE 2020, Munich, Germany, September 7, 2020, Proceedings 16 (pp. 44-55). Springer International Publishing.
• Jahan, K., Niemeijer, J., Kornfeld, N., & Roth, M. (2021, December). Deep Neural Networks for Railway Switch Detection and Classification Using Onboard Camera Images. In 2021 IEEE Symposium Series on Computational Intelligence (SSCI) (pp. 01-07). IEEE.
• Klammsteiner, M., Döller, M., Golec, P., Kohlegger, M., Mayr, S., & Rashid, E. (2023, May). Vision Based Stationary Railway Track Monitoring System. In 2023 33rd Conference of Open Innovations Association (FRUCT) (pp. 325-330). IEEE.
• Evain, A., Mauri, A., Garnier, F., Kounouho, M., Khemmar, R., Haddad, M., ... & Ahmedali, S. (2023). Improving the Efficiency of 3D Monocular Object Detection and Tracking for Road and Railway Smart Mobility. Sensors, 23(6), 3197.
• Chen, Y., Zhu, N., Wu, Q., Wu, C., Niu, W., & Wang, Y. (2022). MRSI: A multimodal proximity remote sensing data set for environment perception in rail transit. International Journal of Intelligent Systems, 37(9), 5530-5556.