A Comparative Study of MLOps-Driven Machine Learning Approaches for Network Traffic Anomaly Detection

Öz

Research Problem/Questions – Network traffic anomaly detection plays a critical role in cybersecurity systems. This study investigates how the performance of different machine learning modules varies in the context of network traffic anomaly detection and aims to determine which model provides the most balanced performance. Short Literature Review – In the literature, various machine learning and AutoML approaches have been proposed for network traffic anomaly detection. Gradient boosting-based methods and AutoML solutions stand out due to their high performance. However, existing studies often use different datasets and experimental setups, limiting the direct comparability of models. This highlights the importance of conducting comparative analyses within a standardized MLOps environment. Methodology – In this study, TensorFlow Decision Forests (TFDF), LightGBM, System AutoML, and H2O AutoML modules were evaluated on an end-to-end MLOps platform using the same dataset and experimental protocol. Model performance was assessed using multiple evaluation metrics, including Accuracy, AUC, Precision, Recall, F1-score, Kappa, and MCC. Results and Conclusions – Experimental results show that the TFDF Gradient Boosted Trees model achieved the most balanced performance with an accuracy score of 92.50%. The findings indicate that relying solely on accuracy is insufficient for model selection, especially in cybersecurity applications, where Recall and F1-score are of critical importance. Furthermore, the use of an MLOps platform significantly improves the reproducibility and comparability of experiments.

Anahtar Kelimeler

• Network Traffic Anomaly Detection
• MLOps
• Machine Learning
• AutoML
• Cybersecurity
• Gradient Boosting

Destekleyen Kurum

This study was not supported by any institution or organization.

Etik Beyan

The data used in this study were obtained from publicly available datasets, and the study does not involve any experimental procedures on human or animal subjects. Therefore, ethics committee approval is not required. Scientific research and publication ethics principles were followed in all stages of the study.

Teşekkür

The authors would like to thank Fırat University for providing the computational infrastructure used in this study.

Ağ Trafiği Anomali Tespitinde MLOps Tabanlı Makine Öğrenmesi Yaklaşımlarının Karşılaştırmalı Analizi

Öz

Ağ trafiği anomali tespiti, siber güvenlik sistemlerinde kritik bir rol oynamaktadır. Bu çalışmada ağ trafiği anomali tespiti problemi için farklı makine öğrenmesi modüllerinin performansı, uçtan uca bir MLOps platformu üzerinde karşılaştırmalı olarak değerlendirilmiştir. Çalışma kapsamında TensorFlow Decision Forests (TFDF), LightGBM, System AutoML ve H2O AutoML modülleri aynı veri seti ve deney protokolü kullanılarak analiz edilmiştir. Modellerin performansı Accuracy, AUC, Precision, Recall, F1, Kappa ve MCC metrikleri ile değerlendirilmiştir. Deneysel sonuçlar, TFDF Gradient Boosted Trees modelinin %92.50 doğruluk skoru ile en dengeli performansı sağladığını göstermektedir. Çalışma, model seçiminin yalnızca doğruluk metriğine göre yapılmasının yeterli olmadığını ve özellikle güvenlik uygulamalarında Recall ve F1 dengesinin kritik önem taşıdığını ortaya koymaktadır. Ayrıca MLOps platformu üzerinde çalışan farklı modüllerin deneylerin tekrarlanabilirliğini ve karşılaştırılabilirliğini artırdığı gösterilmiştir.

Anahtar Kelimeler

• Ağ Trafiği Anomali Tespiti
• MLOps
• Makine Öğrenmesi
• AutoML
• Gradyan Artırma
• Siber Güvenlik

Destekleyen Kurum

Bu çalışma herhangi bir kurum veya kuruluş tarafından desteklenmemiştir.

Etik Beyan

Bu çalışmada kullanılan veriler kamuya açık veri kümelerinden elde edilmiş olup, çalışma insan veya hayvan denekleri üzerinde herhangi bir deneysel uygulama içermemektedir. Bu nedenle etik kurul onayı gerektirmemektedir. Çalışmanın tüm aşamalarında bilimsel araştırma ve yayın etiği ilkelerine uyulmuştur.

Teşekkür

Yazarlar, çalışmanın yürütülmesinde sağladığı hesaplama altyapısı için Fırat Üniversitesi'ne teşekkür eder.

Kaynakça

1. [1] V. Chandola, A. Banerjee, ve V. Kumar, "Anomaly detection: A survey," ACM Computing Surveys, c. 41, s. 3, ss. 1–58, 2009.
2. [2] S. Kaur ve M. Singh, "Hybrid intrusion detection and signature generation using deep recurrent neural networks," Neural Computing and Applications, c. 32, ss. 7859–7877, 2020.
3. [3] D. Sculley ve ark., "Hidden technical debt in machine learning systems," Advances in Neural Information Processing Systems, c. 28, 2015.
4. [4] Kumar, LK Suresh, et al. "Anomaly-based intrusion detection on benchmark datasets for network security: a comprehensive evaluation." Scientific Reports 16.1 (2026): 8507.
5. [5] Zoppi, Tommaso, Stefano Gazzini, and Andrea Ceccarelli. "Anomaly-based error and intrusion detection in tabular data: No DNN outperforms tree-based classifiers." Future Generation Computer Systems 160 (2024): 951-965.
6. [6] Shwartz-Ziv, Ravid, and Amitai Armon. "Tabular data: Deep learning is not all you need." Information fusion 81 (2022): 84-90.
7. [7] McElfresh, Duncan, et al. "When do neural nets outperform boosted trees on tabular data?." Advances in Neural Information Processing Systems 36 (2023): 76336-76369.
8. [8] L. Prokhorenkova, G. Gusev, A. Vorobev, A. V. Dorogush, ve A. Gulin, "CatBoost: Unbiased boosting with categorical features," NeurIPS, 2018.

9. [9] T. Chen ve C. Guestrin, "XGBoost: A scalable tree boosting system," KDD, ss. 785–794, 2016.
10. [10] Guillame-Bert, Mathieu, et al. "Yggdrasil decision forests: A fast and extensible decision forests library." Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2023.
11. [11] M. Passos, "TensorFlow Decision Forests," Google Research, 2021. [Çevrimiçi].
12. [12] Hutter, Frank, Lars Kotthoff, and Joaquin Vanschoren. Automated machine learning: methods, systems, challenges. Springer, 2019.
13. [13] LeDell, Erin, and Sebastien Poirier. "H2o automl: Scalable automatic machine learning." Proceedings of the AutoML Workshop at ICML. Vol. 2020.
14. [14] Ke, Guolin, et al. "Lightgbm: A highly efficient gradient boosting decision tree." Advances in neural information processing systems 30 (2017).
15. [15] Network Traffic Anomaly Detection Dataset, Kaggle, 2024. Erişim: https://www.kaggle.com/datasets/ziya07/network-traffic-anomaly-detection-dataset
16. [16] T. Akiba, S. Sano, T. Yanase, T. Ohta, ve M. Koyama, "Optuna: A next-generation hyperparameter optimization framework," KDD, ss. 2623–2631, 2019.