Detection of Pantograph Horn Defects Based on Deep Learning and Image Processing

Year 2022, Issue: 16, 102 - 115, 31.07.2022

Mahmut Ömer Baştürk , Veysel Yüksel , Yusuf Engin Tetik , Mehmet Yılmaz , Mustafa Güner , Tolgahan Kaya

https://doi.org/10.47072/demiryolu.1132123

Cited By: 3

Abstract

Automated anomaly and defect detection via images finds its place more and more in predictive maintenance applications, especially for rail transport. While traditional maintenance techniques include manual solutions that cannot be fully trusted for trains, today more robust solutions are produced thanks to image processing. In this way, maintenance costs and maintenance times are also reduced. Because trains travel long distances, it is quite possible for systems on the train to be damaged along the way. One of these systems with a high risk of damage is pantograph-catenary systems. The part of the pantograph that contacts the catenary is carbon strip which receives electricity from catenary and transmits it to the train. Therefore, pantograph horns are needed to protect the carbon strip from damaging external factors such as tree branches. It is important to know if the pantograph horns need maintenance or not since they are damaged instead of carbon strips. Detection of damaged horns can be realized using image processing and deep learning techniques. In this study, 34 simulation videos containing pantograph horns with and without defects in different environmental conditions were created. Obtained frames from these videos are processed separately. Thanks to image processing, background objects other than the pantograph were removed, pantograph horn regions were detected with the deep learning model, and the horn was classified as healthy or defected via convolutional neural network. With the created method, 95.36% correct decision is made whether a pantograph horn is faulty or healthy. This new method, which works with high accuracy, makes an important contribution to the literature on pantograph horn analysis.

Keywords

Deep learning, Pantograph horn, Image processing, Background subtraction, Classification, Convolutional Neural Network

Pantograf Boynuz Hatalarının Derin Öğrenme ve Görüntü İşleme Teknikleri ile Tespiti

Abstract

Görüntüler üzerinden hata ve anomalilerin otomatik tespiti, özellikle demiryolu taşımacılığı için kestirimci bakım uygulamalarında gün geçtikçe daha fazla yer bulmaktadır. Geleneksel bakım teknikleri, trenler için tam olarak güvenilemeyecek manuel çözümler içerirken; günümüzde görüntü işleme sayesinde daha sağlam çözümler üretilmektedir. Bu sayede bakım maliyetleri ve bakım süreleri de azalmaktadır. Trenler uzun mesafeler kat ettiğinden, trendeki sistemlerin yol boyunca zarar görmesi çok olasıdır. Hasar görme riski yüksek olan bu sistemlerden bir tanesi de pantograf-katener sistemidir. Pantografın katener ile temas eden bölgesi karbon şerittir ve katener sistemdeki elektriği trene iletmesi sebebiyle trene bağlı bileşenlerden en önemlilerinden bir tanesidir. Bu öneminden dolayı, karbon şeridi ağaç dalları gibi hasar verebilecek dış etkenlerden korumak için pantograf boynuzlarına ihtiyaç vardır. Karbon şerit yerine pantograf boynuzları hasar gördüğü için pantograf boynuzlarının bakıma ihtiyacının olup olmadığının bilinmesi önemlidir. Hasarlı boynuzların tespiti, görüntü işleme ve derin öğrenme tekniklerinden yararlanılarak otomatik olarak yapılabilir. Bu çalışmada, farklı çevresel koşullarda farklı hatalara sahip olan ve olmayan pantograf boynuzlarını içeren 34 adet simülasyon videosu oluşturulmuştur. Bu videolardan elde edilen kareler ayrı ayrı işlenmiştir. Temel görüntü işleme teknikleri sayesinde pantograf dışındaki arka plan nesneleri kaldırılmış, derin öğrenme modeli ile pantograf boynuz bölgeleri tespit edilmiş ve evrişimli sinir ağı sayesinde bir boynuzun hatalı olup olmadığı sınıflandırılmıştır. Oluşturulan metot ile bir pantograf boynuzunun hatalı veya sağlıklı olmasına %95,36 oranında doğru karar verilmektedir. Yüksek doğrulukla çalışan bu yeni yöntem, pantograf boynuz analizi üzerine literatüre önemli bir katkı sağlamaktadır.

Keywords

Derin öğrenme, Pantograf boynuzu, Görüntü işleme, Arka plan çıkarma, Sınıflandırma, Evrişimli Sinir Ağı

References

• [1] S. Judek and L. Jarzebowicz, "Algorithm for automatic wear estimation of railway contact strips based on 3D scanning results," 2014 International Conference and Exposition on Electrical and Power Engineering (EPE), 2014, pp. 724-729, doi: 10.1109/ICEPE.2014.6970004.
• [2] E. Di Stefano, C. A. Avizzano, M. Bergamasco, P. Masini, M. Menci and D. Russo, "Automatic inspection of railway carbon strips based on multi-modal visual information," 2017 IEEE International Conference on Advanced Intelligent Mechatronics (AIM), 2017, pp. 178-184, doi: 10.1109/AIM.2017.8014015.
• [3] L. Jarzebowicz and S. Judek, "3D machine vision system for inspection of contact strips in railway vehicle current collectors," 2014 International Conference on Applied Electronics, 2014, pp. 139-144, doi: 10.1109/AE.2014.7011686.
• [4] P. Capece et al., "PANTOBOT-3D: An automatic vision-based inspection system for locomotive pantographs," 7th IET Conference on Railway Condition Monitoring 2016 (RCM 2016), 2016, pp. 1-5, doi: 10.1049/cp.2016.1208.
• [5] E. Karakose, M. T. Gencoglu, M. Karakose, I. Aydin and E. Akin, "A New Experimental Approach Using Image Processing-Based Tracking for an Efficient Fault Diagnosis in Pantograph–Catenary Systems," in IEEE Transactions on Industrial Informatics, vol. 13, no. 2, pp. 635-643, April 2017, doi: 10.1109/TII.2016.2628042.
• [6] D. Li, "A high-efficiency method of pantograph collector strip wearing inspection based on stereo vision," 2019 2nd International Conference on Information Systems and Computer Aided Education (ICISCAE), 2019, pp. 389-392, doi: 10.1109/ICISCAE48440.2019.221659.
• [7] X. Yao, Z. Xing, A. Sheng and Y. Chen, "An Image-Based Online Monitoring System for Pantograph Wear and Attitude," in IEEE Transactions on Instrumentation and Measurement, vol. 71, pp. 1-12, 2022, Art no. 5013812, doi: 10.1109/TIM.2022.3178466.
• [8] O. Yaman, M. Karaköse, İ. Aydın and E. Akın, "Detection of pantograph geometric model based on fuzzy logic and image processing," 2014 22nd Signal Processing and Communications Applications Conference (SIU), 2014, pp. 686-689, doi: 10.1109/SIU.2014.6830322.
• [9] Karaköse, M. , Yaman, O. , Aydın, İ. & Akın, E. (2017). Pantograf Katener Sistemlerde Görüntü Segmantasyon Tabanlı Adaptif Ark Tespiti . Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi , 10 (2) , 53-63 . Retrieved from https://dergipark.org.tr/tr/pub/tbbmd/issue/33390/283899.
• [10] D. Zhang, S. Gao, L. Yu, G. Kang, D. Zhan and X. Wei, "A Robust Pantograph–Catenary Interaction Condition Monitoring Method Based on Deep Convolutional Network," in IEEE Transactions on Instrumentation and Measurement, vol. 69, no. 5, pp. 1920-1929, May 2020, doi: 10.1109/TIM.2019.2920721.
• [11] L. Chang, Z. Liu and Y. Shen, "On-line Detection of Pantograph Offset Based on Deep Learning," 2018 IEEE 3rd Optoelectronics Global Conference (OGC), 2018, pp. 159-164, doi: 10.1109/OGC.2018.8529918.
• [12] Shen, Yuan and Pan, Xiao and Chang, Luonan, “Online Intelligent Perception of Pantograph and Catenary System Status Based on Parameter Adaptation,” Applied Sciences, 2021, no. 4, doi: 10.3390/app11041948.
• [13] Q. Chen, L. Liu, R. Han, J. Qian and D. Qi, "Image identification method on high-speed railway contact network based on YOLO v3 and SENet," 2019 Chinese Control Conference (CCC), 2019, pp. 8772-8777, doi: 10.23919/ChiCC.2019.8865153.
• [14] Lowe, D.G. Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision 60, 91–110 (2004). https://doi.org/10.1023/B:VISI.0000029664.99615.94
• [15] Ronneberger, O.; Fischer, P. & Brox, T. (2015), 'U-Net: Convolutional Networks for Biomedical Image Segmentation' , cite arxiv:1505.04597Comment: conditionally accepted at MICCAI 2015
• [16] D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” arXiv [cs.LG], 2014.