Çok Sınıflı Ağ Saldırısı Tespiti için AutoGluon Tabanlı Performans Analizi

Abstract

Siber tehditlerin artan karmaşıklığı ve kritik doğası, etkili saldırı tespit sistemlerinin önemini artırmıştır. Bu çalışmada, çok sınıflı ağ saldırısı tespiti için çeşitli makine öğrenmesi algoritmaları (SVM, KNN, Lojistik Regresyon, Rastgele Orman, XGBoost), derin öğrenme modelleri (CNN, LSTM, DNN) ve AutoML tabanlı AutoGluon çerçevesi sistematik olarak karşılaştırılmıştır. Deneylerde UNSW-NB15 veri seti kullanılmıştır. Veri setindeki dengesiz sınıf dağılımı nedeniyle, bazı analizlerde SMOTE tekniği kullanılarak sınıf dengesi sağlanmıştır. Tüm modeller, Doğruluk, Kesinlik, Duyarlılık, F1-skoru ve ROC-AUC gibi yaygın sınıflandırma ölçütleri kullanılarak değerlendirilmiştir. Elde edilen bulgular, AutoGluon’un otomatik modelleme ve topluluk (ensemble) tabanlı yaklaşımı sayesinde en yüksek performansı sağladığını ortaya koymuştur. Bu sonuçlar, otomatik modelleme tekniklerinin geleneksel yöntemlere kıyasla daha rekabetçi ve etkili olabileceğini göstermektedir. Çalışma, saldırı tespit sistemlerinde farklı modelleme stratejilerinin performansını sistematik olarak analiz ederek, gelecekteki güvenlik çözümlerinin geliştirilmesine yönelik yol gösterici olmayı amaçlamaktadır.

Keywords

• AutoGluon
• AutoML
• Derin Öğrenme
• Makine Öğrenmesi
• Ağ Saldırısı Tespiti

AutoGluon-Based Performance Analysis for Multi-Class Network Attack Detection

Abstract

The increasing complexity and critical nature of cyber threats have heightened the importance of effective attack detection systems. In this study, various machine learning algorithms (SVM, KNN, Logistic Regression, Random Forest, XGBoost), deep learning models (CNN, LSTM, DNN), and the AutoML-based AutoGluon framework are systematically compared for multi-class network attack detection. The experiments utilize the UNSW-NB15 dataset. Due to the imbalanced class distribution in the dataset, class balancing was applied in certain analyses using the SMOTE technique. All models were evaluated using commonly adopted classification metrics, including Accuracy, Precision, Recall, F1-score, and ROC-AUC. The findings indicate that AutoGluon achieved the highest performance, owing to its automated modeling and ensemble-based approach. These results suggest that automated modeling techniques may offer greater competitiveness and effectiveness compared to traditional methods. By systematically analyzing the performance of different modeling strategies in intrusion detection systems, this study aims to provide guidance for the development of future security solutions.

Keywords

• AutoGluon
• AutoML
• Deep Learning
• Machine Learning
• Network Attack Detection

References

1. [1] Nour, M., Slay, J. UNSW-NB15: a comprehensive data set for network intrusion detection systems (UNSW-NB15 network data set). 2015 Military Communications and Information Systems Conference (MilCIS), IEEE, 2015.
2. [2] Chawla, N. V., Bowyer, K. W., Hall, L. O., Kegelmeyer, W. P. SMOTE: Synthetic Minority Over-sampling Technique, Journal of Artificial Intelligence Research, 16, 321–357, 2002.
3. [3] Fernández, A., García, S., Herrera, F., Chawla, N. V. SMOTE for learning from imbalanced data: progress and challenges, marking the 15-year anniversary. Journal of Artificial Intelligence Research. 61(1): 863–905, 2018.
4. [4] Türkyılmaz, Y., Şentürk, A. Saldırı tespitinde makine öğrenmesi yöntemlerinin performans analizi. Avrupa Bilim ve Teknoloji Dergisi, (32), 107–112, 2021.
5. [5] Şimşek, M. M., Atılgan, E. DoS and DDoS Attacks on Internet of Things and Their Detection by Machine Learning Algorithms. European Journal of Science and Technology, 32, 107–112, 2021.
6. [6] Kurt Pehlivanoğlu, M., Kuyucu, A., Kaya, R., & Aydın, R. IoT Veri Kümelerinde Makine Öğrenmesine Dayalı Saldırı Tespiti. Avrupa Bilim ve Teknoloji Dergisi, 52, 19–26, 2023.
7. [7] Ata, O., Kadhim, K. Network Intrusion Detection Using Machine Learning Techniques. Aurum Journal of Engineering Systems and Architecture, 2(1), 115–123, 2018.
8. [8] Amarouche, S., Küçük, K. Machine and deep learning-based intrusion detection and comparison in Internet of Things. Journal of Naval Sciences and Engineering, 18(2), 333–361, 2022.

9. [9] Çimen, F. M., Sönmez, Y., İlbaş, M. Performance analysis of machine learning algorithms in intrusion detection systems. Düzce University Journal of Science and Technology, 9, 251–258, 2021.
10. [10] Keskin, S., Okatan, E. Machine learning methods for intrusion detection in computer networks: A comparative analysis. International Journal of Engineering and Innovative Research, 5(3), 268–279, 2023.
11. [11] Erçin, M. S., Yolaçan, E. N. SQLi ve XSS saldırı tespitinde kullanılan yeni bir özellik çıkarma yöntemi. Uluslararası Bilgi Güvenliği Mühendisliği Dergisi, 8(1), 1–11, 2021.
12. [12] Biçakçı, M. S., Toklu, S. Bilgisayar ağı güvenliği için hibrit öznitelik azaltma ile makine öğrenmesine dayalı bir saldırı tespit sistemi tasarımı. GBAD – Uluslararası Bilgi Güvenliği Mühendisliği Dergisi, 11(3), 203–220, 2022.
13. [13] Koyuncu, M. D., Ünlü, N. Yapay zekâ tekniklerinin saldırı tespit sistemlerinde kullanımı. Beykoz Akademi Dergisi, 10(1), 78–87, 2022.
14. [14] Maalouf, M. Logistic regression in data analysis: an overview. International Journal of Data Analysis Techniques and Strategies, 3(3), 281-299, 2011.
15. [15] Pisner, D. A., Schnyer, D. M. Support vector machine. In Machine learning. Academic Press, pp. 101-121, 2020.
16. [16] Zhang, Z. Introduction to machine learning: k-nearest neighbors. Annals of translational medicine, 4(11), 218, 2016.
17. [17] Belgiu, M., & Drăguţ, L. Random Forest in remote sensing: A review of applications and future directions. ISPRS journal of photogrammetry and remote sensing, 114, 24-31, 2016.
18. [18] Osman, A. I. A., Ahmed, A. N., Chow, M. F., Huang, Y. F., El-Shafie, A. Extreme gradient boosting (Xgboost) model to predict the groundwater levels in Selangor Malaysia. Ain Shams Engineering Journal, 12(2), 1545-1556, 2021.
19. [19] Pelt, D. M., & Sethian, J. A. A mixed-scale dense convolutional neural network for image analysis. Proceedings of the National Academy of Sciences, 115(2), 254-259, 2018.
20. [20] Purwono, P., Ma'arif, A., Rahmaniar, W., Fathurrahman, H. I. K., Frisky, A. Z. K., & ul Haq, Q. M. Understanding of convolutional neural network (CNN): A review. International Journal of Robotics and Control Systems, 2(4), 739-748, 2022.
21. [21] Graves, A., & Graves, A. Long short-term memory. Supervised sequence labelling with recurrent neural networks, 37-45. 2012.
22. [22] Erickson, N., Mueller, J., Shirkov, A., Zhang, H., Larroy, P., Li, M., Smola, A. Autogluon-tabular: Robust and accurate automl for structured data. arXiv preprint arXiv:2003.06505, 2020.
23. [23] Borandağ, E. LSRM: A New Method for Turkish Text Classification. Appl. Sci. 14, 11143, .2024.
24. [24] Cheng, W. C., Mai, T. H., Lin, H. T. From SMOTE to Mixup for Deep Imbalanced Classification. In: Lee, C. Y., Lin, C. L., Chang, H. T. (eds) Technologies and Applications of Artificial Intelligence. TAAI 2023. Communications in Computer and Information Science, vol 2074. Springer, Singapore, 2024.