demiryolu mühendisliği Demiryolu Mühendisliği 2149-1607 2687-2463 Demiryolu Mühendisleri Derneği 10.47072/demiryolu.1336812 Data Communications Veri İletişimleri Comparative Analysis of Deep Learning-Based Methods for Making Sense of Railway and Its Environment Demiryolu Ray ve Çevresinin Anlamlandırılması için Derin Öğrenme Tabanlı Yöntemlerin Karşılaştırmalı Analizi https://orcid.org/0000-0001-6880-4935 Aydın İlhan FIRAT ÜNİVERSİTESİ https://orcid.org/0000-0002-9846-967X Şener Taha Kubilay FIRAT UNIVERSITY https://orcid.org/0000-0001-6952-8880 Sevi Mehmet MUŞ ALPARSLAN ÜNİVERSİTESİ 01 31 2024 19 1 16 08 02 2023 09 14 2023 Copyright © 2014, Demiryolu Mühendisliği 2014 Demiryolu Mühendisliği

Rail safety in railways is very important for the prevention of train accidents. Objects around and on the rails pose a danger to the train. Therefore, the safe operation of trains by detecting unauthorized access to the railway is very important for smart transportation systems. In this study, image segmentation-based approaches are compared in order to make sense of the rail environment in railway systems, and the objects around the rail are detected. UNet, BiseNetV2, DeepLabV3, and PP-LiteSeg models were analyzed comparatively to segment of the rail and its environment based on image segmentation. In addition, YOLOv7 has been applied to detect objects around the rail. Thus, it was evaluated how successful the models were in real-world scenarios. As a result of the experiments, it was determined that the PP-LiteSeg model, which stands out with its lightweight structure, showed high segmentation performance. It has been seen that the training phase is important in object detection, and it has been concluded that PP-LiteSeg can be successfully applied on single circuit boards such as Jetson Nano. Another model in the study, YOLOv7, has been optimized to run in parallel using the TensorRT library. A special control mechanism has been developed to use memory areas independently. According to the results obtained, it was seen that the PP-LiteSeg model achieved higher accuracy and mIoU values than other models. The study includes important results for the selection of segmentation models for fast and accurate object detection in rail systems. The study proved that with the use of the PP-LiteSeg model, high-quality object detection can be achieved even in environments with limited resources.

Demiryollarında ray güvenliği tren kazalarının önlenmesi için oldukça önemlidir. Ray çevresinde ve üzerinde bulunan nesneler tren için tehlike arz etmektedir. Dolayısıyla demiryoluna izinsiz girişlerin tespit edilerek trenlerin güvenli çalışması akıllı ulaşım sistemleri için oldukça önemlidir. Bu çalışmada raylı sistemlerde ray çevresinin anlamlandırılması amacıyla görüntü bölütleme tabanlı yaklaşımlar karşılaştırılmış ve ray çevresindeki nesnelerin tespiti sağlanmıştır. Görüntü bölütleme tabanlı ray ve çevresinin anlamlandırılması için UNet, BiSeNetV2, DeepLabV3 ve PP-LiteSeg modelleri karşılaştırmalı olarak analiz edilmiştir. Ayrıca ray çevresindeki nesnelerin tespitinde YOLOv7 uygulanmıştır. Böylece, modellerin gerçek dünya senaryolarında ne kadar başarılı olduğu değerlendirilmiştir. Deneyler sonucunda, hafif yapısıyla dikkat çeken PP-LiteSeg modelinin yüksek segmentasyon performansı gösterdiği tespit edilmiştir. Eğitim aşamasının nesne tespitinde önemli olduğu görülmüş ve PP-LiteSeg'in Jetson Nano gibi tek devre kartlarda başarılı bir şekilde uygulanabildiği sonucuna ulaşılmıştır. Çalışmadaki bir diğer model YOLOv7, TensorRT kütüphanesi kullanılarak paralel çalışacak şekilde optimize edilmiş ve hafıza alanlarının bağımsız olarak kullanılabilmesi için özel bir kontrol mekanizması geliştirilmiştir. Elde edilen sonuçlara göre, PP-LiteSeg modelinin diğer modellere göre daha yüksek doğruluk ve mIoU değerleri elde ettiği görülmüştür. Yapılan çalışma raylı sistemlerde hızlı ve doğru nesne tespiti için segmentasyon modellerinin seçimine yönelik önemli sonuçlar içermektedir. Çalışma PP-LiteSeg modelinin kullanımıyla birlikte sınırlı kaynağa sahip ortamlarda bile yüksek kalitede nesne tespiti yapılabileceğini kanıtlamıştır.

 Derin öğrenme Demiryolu Nesne tespiti Akıllı ulaşım YOLO Semantik segmentasyon Deep learning Railway Object detection Intelligent transportation YOLO Semantic segmentation Fırat Üniversitesi Bilimsel Araştırma Projeleri Birimi ADEP.22.02 [1] T. Zhu, & JMMS. De Pedro, ”Railway traffic conflict detection via a state transition prediction approach,” IEEE Transactions on Intelligent Transportation Systems, vol. 18, no. 5, pp. 1268-1278. [2] T. Ye, Z. Zheng, X. Li, Z. Zhao, & XZ. Gao, “An efficient few-shot object detection method for railway intrusion via fine-tune approach and contrastive learning,” IEEE Transactions on Instrumentation and Measurement. [3] Y. Li, Y. Qin, Z. Xie, Z. Cao, L. Jia, Z. Yu & E. Zhang, “Efficient SSD: a real-time intrusion object detection algorithm for railway surveillance,” In 2020 International Conference on Sensing, Diagnostics, Prognostics, and Control (SDPC), pp. 391-395. IEEE [4] Z. Zheng, W. Liu, R. Liu, L. Wang, L. Mao, Q. Qiu, & G. Ling, “Anomaly detection of metro station tracks based on sequential updatable anomaly detection framework,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 32, no. 11, pp. 7677-7691 [5] X. Ding, X. Cai, Z. Zhang, W. Liu, & W. Song, “Railway foreign object intrusion detection based on deep learning,” In 2022 International Conference on Computer Engineering and Artificial Intelligence (ICCEAI), pp. 735-739. IEEE. [6] SS. Kırat & İ. Aydın, "Açıklanabilir Yapay Zekâ Tabanlı Denetimsiz Öğrenme ile Ray Kusur Tespiti", Demiryolu Mühendisliği, vol. 18, pp. 1-13. doi:10.47072/demiryolu.1231751. [7] M. Sevi, İ. Aydın, E. Akın, “Detection of rail surface defects based on ensemble learning of YOLOv5,” Demiryolu Mühendisliği, vol. 17, pp. 115-132. doi: 10.47072/demiryolu.1205483. [8] D. Çetintaş & T. Tuncer, “Determining the type of document read using eye movement properties by hybrid CNN method,” Traitement du Signal, vol. 39, no. 4, pp. 1099. [9] X. Gong, X, Chen, Z. Zhong & W. Chen, “Enhanced few-shot learning for intrusion detection in railway video surveillance,” IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 8, pp. 11301-11313. [10] X. Li, L. Zhu, Z. Yu, B. Guo, & Y. Wan, “Vanishing point detection and rail segmentation based on deep multi-task learning,” IEEE Access, vol. 8, pp. 163015-163025. [11] X. Ding, X. Cai, Z. Zhang, W. Liu, & W. Song, “Railway foreign object intrusion detection based on deep learning,” In 2022 International Conference on Computer Engineering and Artificial Intelligence (ICCEAI), pp. 735-739. IEEE. [12] H. Huang, G. Zhao, Y. Bo, J. Yu, L. Liang, Y. Yang, & K. Ou, ”Railway intrusion detection based on refined spatial and temporal features for UAV surveillance scene,” Measurement, vol. 211, 112602. [13] Z. Cao, Y. Qin, Z. Xie, Q. Liu, E. Zhang, Z. Wu & Z. Yu, ”An effective railway intrusion detection method using dynamic intrusion region and lightweight neural network,” Measurement, vol. 191, 110564. [14] M. Sevi, İ. Aydın, “Improving Unet segmentation performance using an ensemble model in images containing railway lines,” Turk J Elec Eng & Comp Sci, vol. 34, no. 4, pp. 739-750. [15] O. Ronneberger, P. Fischer, & T. Brox, “U-net: convolutional networks for biomedical image segmentation,” In Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015: 18th International Conference, Munich, Germany, 2015, Proceedings, Part III 18, pp. 234-241. [16] LC. Chen, G. Papandreou, F. Schroff & H. Adam, “Rethinking atrous convolution for semantic image segmentation,” arXiv preprint arXiv:1706.05587. [17] C. Yu, C. Gao, J. Wang, G. Yu, C. Shen & N. Sang, “Bisenet v2: Bilateral network with guided aggregation for real-time semantic segmentation,” International Journal of Computer Vision, vol. 129, pp. 3051-3068. [18] J. Peng, Y. Liu, S. Tang, Y. Hao, L. Chu, G. Chen, & Y. Ma, “Pp-liteseg: A superior real-time semantic segmentation model,” arXiv preprint arXiv:2204.02681. [19] CY. Wang, A. Bochkovskiy & HYM. Liao, “YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors,” arXiv 2022. arXiv preprint arXiv:2207.02696. [20] O. Zendel, M. Murschitz, M. Zeilinger, D. Steininger, S. Abbasi, S & C. Beleznai, “Railsem19: a dataset for semantic rail scene understanding,” In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, pp. 0-0. [21] J. Redmon, S. Divvala, R. Girshick & A. Farhadi, “You only look once: Unified, real-time object detection,” In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 779-788. [22] P. Li, H. Xiong, J. Fan, “Sun dfanet: Deep feature aggregation for real-time semantic segmentation,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition 2019, pp. 9522-9531 [23] E. Romera, JM. Alvarez, LM. Bergasa, R. Arroyo, “Erfnet: efficient residual factorized convnet for real-time semantic segmentation,” IEEE Transactions on Intelligent Transportation Systems 2017: 19, pp. 263-272. [24] RP. Poudel, S. Liwicki, R. Cipolla, “Fast-scnn: fast semantic segmentation network,” arXiv preprint arXiv:1902.04502 2019. [25] H. Zhao, X. Qi, X. Shen, J. Shi & J. Jia, “Icnet for real-time semantic segmentation on high-resolution images,” In: Proc. European Conference on Computer Vision (ECCV) 2018, pp. 405– 420.