Analysis of Deep Learning and Tree Based Machine Learning Models in Leak Detection using LeakDB Benchmark

Abstract

Physical leakage accounts for a substantial share of the treated water lost from distribution networks, reaching approximately 44% in Turkey, yet conventional detection approaches are limited either by the impracticality of manual inspection at scale or by the cost of dense sensor deployment. This study examines whether machine learning applied to the pressure and flow data already recorded by SCADA systems can detect leaks with sufficient accuracy for operational use, and which class of model is best suited to such data. A sliding window of 48 time steps, corresponding to one diurnal demand cycle, was applied to the LeakDB Hanoi benchmark, which comprises 1,000 randomized one-year scenarios across 66 pressure and flow channels. Each window was reduced to a 466-dimensional feature vector formed from seven per-channel statistics together with cyclic encodings of time of day and day of week. Four algorithms received this representation and were evaluated across six classification metrics: Random Forest, XGBoost, LSTM, and 1D-CNN. Random Forest performed best, achieving 90.00% accuracy, an AUC-ROC of 0.9507, 77.59% recall, and 93.71% specificity, followed by XGBoost (82.49% accuracy, AUC-ROC 0.8904). Both deep learning models discriminated poorly, with AUC-ROC values of 0.5426 for the LSTM and 0.5110 for the 1D-CNN. The comparable degradation of a recurrent and a convolutional architecture indicates that the limiting factor is the pre-aggregated feature representation rather than any individual network design. Existing SCADA infrastructure, combined with statistical feature extraction and a tree-based ensemble, therefore offers a low-cost route to operational leak detection.

Keywords

• Water distribution networks
• leak detection
• SCADA
• machine learning
• Random Forest

LeakDB Kıyaslama Veri Kümesi Kullanılarak Su Kaçaklarının Tespitinde Derin Öğrenme ve Ağaç Tabanlı Makine Öğrenmesi Modellerinin Analizi

Abstract

Fiziksel su kaçakları, içme suyu dağıtım şebekelerinde arıtılmış su kayıplarının önemli bir bölümünü oluşturmakta olup, Türkiye'de bu oran yaklaşık %44'e ulaşmaktadır. Bununla birlikte, geleneksel kaçak tespit yöntemleri ya geniş ölçekli şebekelerde manuel saha incelemelerinin uygulanabilir olmaması ya da yoğun sensör altyapısının yüksek kurulum maliyetleri nedeniyle sınırlı kalmaktadır. Bu çalışmada, SCADA sistemleri tarafından hâlihazırda kaydedilen basınç ve debi verilerine uygulanan makine öğrenmesi yöntemlerinin işletme koşullarında yeterli doğrulukla kaçak tespiti yapıp yapamayacağı ve bu veri yapısı için hangi model sınıfının daha uygun olduğu araştırılmıştır. Çalışmada, 66 basınç ve debi kanalından oluşan ve rastgele oluşturulmuş 1000 adet bir yıllık senaryo içeren LeakDB Hanoi kıyaslama veri kümesi kullanılmıştır. Bir günlük talep döngüsünü temsil eden 48 zaman adımlık kayan pencere yaklaşımı uygulanmış, her pencere kanal başına hesaplanan yedi istatistiksel özellik ile günün saati ve haftanın günü için oluşturulan çevrimsel kodlamaların birleştirilmesiyle elde edilen 466 boyutlu bir öznitelik vektörüne dönüştürülmüştür. Elde edilen gösterim üzerinde Random Forest, XGBoost, LSTM ve 1D-CNN olmak üzere dört farklı algoritma eğitilmiş ve altı farklı sınıflandırma metriği kullanılarak değerlendirilmiştir. En yüksek performansı %90.00 doğruluk, 0.9507 AUC-ROC, %77.59 duyarlılık (recall) ve %93.71 özgüllük (specificity) değerleriyle Random Forest modeli göstermiştir. Bu modeli %82.49 doğruluk ve 0.8904 AUC-ROC değeriyle XGBoost izlemiştir. Buna karşılık, her iki derin öğrenme modeli de düşük ayırt edicilik sergilemiş; LSTM için AUC-ROC değeri 0.5426, 1D-CNN için ise 0.5110 olarak elde edilmiştir. Tekrarlayan (recurrent) ve evrişimsel (convolutional) mimarilerin benzer biçimde performans göstermesi, temel sınırlayıcı unsurun kullanılan ağ mimarisinden ziyade önceden özetlenmiş öznitelik gösterimi olduğunu ortaya koymaktadır. Sonuçlar, mevcut SCADA altyapısının istatistiksel öznitelik çıkarımı ve ağaç tabanlı topluluk öğrenmesi yöntemleri ile birleştirilmesinin, düşük maliyetli ve uygulanabilir bir su kaçağı tespit çözümü sunduğunu göstermektedir.

Keywords

• Su dağıtım şebekeleri
• su kaçağı tespiti
• SCADA
• makine öğrenmesi
• Random Forest

References

1. [1] A. Shiklomanov, "World fresh water resources," in Water in Crisis: A Guide to the World's Fresh Water Resources, P. H. Gleick, Ed. Oxford: Oxford University Press, 1993, pp. 13–24. doi: 10.2307/2623756
2. [2] UN Water, Summary Progress Update 2021: SDG 6 Water and Sanitation for All. Geneva: United Nations, 2021.
3. [3] USGS, "The distribution of water on Earth," U.S. Geological Survey, 2023.
4. [4] Turkish Water Institute, Report on Water Loss and Leakage in Drinking Water Networks in Turkey. May 2021.
5. [5] "Infrastructure failures at the root of Mardin water crisis," Mardinolay.com.tr, 2025.
6. [6] J. A. Coelho, A. Glória, and P. Sebastião, "Precise water leak detection using machine learning and real-time sensor data," IoT, vol. 1, no. 2, pp. 474–493, 2020. doi: 10.3390/iot1020026
7. [7] L. Romero-Ben et al., "Leak detection and localization in water distribution networks: Review and perspective," Annu. Rev. Control, vol. 55, pp. 392–419, 2023, doi: 10.1016/j.arcontrol.2023.03.012.
8. [8] H. Shen and C. S. Cheng, "A tree-based machine learning method for pipeline leakage detection," J. Water Resour. Plan. Manag., 2022. doi: 10.3390/w14182833

9. [9] M. Ullah et al., "Pipeline leakage detection using acoustic emission and machine learning algorithms," Sensors, 2024. doi: 10.3390/s23063226
10. [10] Y. Liu et al., "Water pipeline leakage detection based on machine learning and wireless sensor networks," Sensors, vol. 19, no. 23, p. 5086, 2019. doi: 10.3390/s19235086
11. [11] S. Teruhi et al., "Water leakage detection system for underground pipes by using wireless sensors and machine learning," J. Disaster Res., vol. 12, no. 3, pp. 557–568, 2017. doi: 10.20965/jdr.2017.p0557
12. [12] L. A. Rossman, "EPANET 2 Users Manual," U.S. Environmental Protection Agency, Office of Research and Development, Rep. EPA/600/R-00/057, 2000.
13. [13] G. Yadav and K. Paul, "Architecture and security of SCADA systems: A review," arXiv preprint arXiv:2001.02925, 2020.
14. [14] M. Bartos, B. Wong, and B. Kerkez, "Open storm: A complete framework for sensing and control of urban watersheds," arXiv preprint arXiv:1708.05172, 2017.
15. [15] X. Fan, X. Zhang, and X. Yu, "Machine learning model and strategy for fast and accurate detection of leaks in water supply network," J. Infrastruct. Preserv. Resil., vol. 2, no. 1, p. 10, 2021. doi: 10.1186/s43065-021-00021-6
16. [16] N. Mashhadi et al., "Use of machine learning for leak detection and localization in water distribution systems," Smart Cities, vol. 4, no. 4, pp. 1293–1315, 2021. doi: 10.3390/smartcities4040069
17. [17] S. G. Vrachimis et al., "LeakDB: A benchmark dataset for leakage diagnosis in water distribution networks," WDSA/CCWI Joint Conf., 2018.
18. [18] K. B. Adedeji et al., "Towards achieving a reliable leakage detection and localization algorithm for application in water piping networks: An overview," IEEE Access, vol. 5, pp. 20272–20285, 2017. doi: 10.1109/ACCESS.2017.2752802
19. [19] S. G. Vrachimis et al., "Battle of the leakage detection and isolation methods," J. Water Resour. Plan. Manag., vol. 148, no. 12, p. 04022068, 2022. doi: 10.1061/(ASCE)WR.1943-5452.0001601
20. [20] L. Breiman, "Random forests," Mach. Learn., vol. 45, no. 1, pp. 5–32, 2001. doi: https://doi.org/10.1023/A:1010933404324
21. [21] T. Chen and C. Guestrin, "XGBoost: A scalable tree boosting system," Proc. 22nd ACM SIGKDD Int. Conf. Knowl. Discov. Data Min., pp. 785–794, 2016. doi: 10.48550/arXiv.1603.02754
22. [22] S. Hochreiter and J. Schmidhuber, "Long short-term memory," Neural Comput., vol. 9, no. 8, pp. 1735–1780, 1997. doi: 10.1162/neco.1997.9.8.17