Öznitelik Seçme Yöntemlerinin Makine Öğrenmesi Tabanlı Saldırı Tespit Sistemi Performansına Etkileri

Year 2021, , 743 - 755, 31.12.2021

Sura Emanet , Gözde Karataş Baydoğmuş , Önder Demir

https://doi.org/10.24012/dumf.1051340

Cited By: 3

Abstract

Artan İnternet tabanlı teknolojilerin kullanımı insanlara ve kurumlara önemli avantajlar sağlamanın yanı sıra bir takım dezavantajları da beraberinde getirmiştir. Bunlardan en önemlisi siber saldırılardır. Siber saldırıların çeşitlenmesi ve artmasıyla, büyük miktarlara ulaşan kritik verilerin silme, değiştirilme, ifşa edilme gibi eylemlere karşı korunması her geçen gün daha zor hale gelmektedir. Bu sebeple bilgi sistemlerinin güvenliğinin sağlanması amaçlı geliştirilen araçlardan biri olan Saldırı Tespit Sistemleri çok önemli yere sahip bir çalışma alanı olmuştur. Bu çalışmada, CSE-CIC-IDS2018 veri kümesi üzerinde literatürde önerilen çeşitli öznitelik seçim yöntemleri ve makine öğrenmesi teknikleri kullanılarak, öznitelik seçiminin Saldırı Tespit Sistemi başarım ve performansı üzerindeki etkisi incelenmiştir. Orijinal veri kümesini temsil edebilecek en iyi alt kümeyi belirlemek için Ki-Kare Testi, Spearman‘ın Sıralama Korelasyon Katsayısı ve Özyinelemeli Öznitelik Eliminasyonu yöntemleri kullanılmıştır. Yeni veri kümeleri Adaptif Yükseltme, Karar Ağacı, Lojistik Regresyon, Çok Katmanlı Algılayıcı, Ekstra Ağaçlar, Pasif-Agresif ve Gradyan Artırma makine öğrenmesi yöntemleri ile sınıflandırılarak performans sonuçlarının karşılaştırmalı bir analizi yapılmıştır. Performansların objektif değerlendirilebilmesi için K-Fold kullanılmıştır. K-Fold işleminin hesaplama ve zaman yönünden maliyetli olması sebebiyle paralleştirme uygulanarak işlem süresi düşürülmüştür. Elde edilen deneysel sonuçlara göre Ki-Kare Testi ve Spearman’ın Sıralama Korelasyon Katsayısı öznitelik seçim yöntemleri veri boyutunun indirgenmesinden dolayı işlem yükünü azaltarak işlem süresini %45 oranında kısaltmış fakat hata oranını sırasıyla %14,46 ve %10,52 artırmıştır. Ayrica, Özyinelemeli Öznitelik Eliminasyonu yönteminin uygun ayar parametreleri kullanıldığında, işlem süresini %38 oranında kısaltması ile birlikte sistemin hata oranını da %2,95’e kadar düşürdüğü görülmüştür.

Keywords

Saldırı tespit sistemi, makine öğrenmesi, öznitelik seçimi, öznitelik filtreleme ve saldırı tespiti

References

• [1] K. Kwangjo, E. A. Muhammad, C. T. Harry, “Network Intrusion detection using deep learning,” SpringerBriefs on Cyber Security Systems and Networks, 2018
• [2] M. Preeti, V. Vijay, T. Uday, S. P. Emmanuel, “A detailed investigation and analysis of using machine learning technique for intrusion detection,” IEEE, 2018.
• [3] G. Xianwei, S. Chun, H. Changzen, “An adaptive ensemble machine learning model for intrusion detection,” IEEE, 2019.
• [4] S. Aljawarneh, M. Aldawairi, M. B. Yassein, “Anomaly-based Intrusion Detection System Through Feature Selection Analysis and Build Hybrid Efficient Model”, Journal of Computational Science,2018.
• [5] M. H. Sazlı ve H. Tanrıkulu, “Saldırı Tespit Sistemlerinde Yapay Sinir Ağlarının Kullanılması”, sunulan XII. “Türkiye’de İnternet” Konferansı, 2007
• [6] R. Sommer, V. Paxson, “Outside the Closed World: On Using machine Learning for Network Intrusion Detection”, IEEE Symposium on security and Privacy. 2010.
• [7] Iman Sharafaldin, Arash Habibi Lashkari, and Ali A. Ghorbani, “Toward Generating a New Intrusion Detection Dataset and Intrusion Traffic Characterization”, in ICISSP, Prague, Czech Republic, 2018, pp. 108-116
• [8] S. Wankhede and D. Kshirsagar, "DoS Attack Detection Using Machine Learning and Neural Network," 2018 Fourth International Conference on Computing Communication Control and Automation (ICCUBEA), Pune, India, 2018, pp. 1-5. Conference on Information Systems Security and Privacy (ICISSP), Portugal, January 2018.
• [9] Qianru Z and Dimitrios P., “Evaluation of Machine Learning Classifier for Zero-Day Intrusion detection-An Analysis on CIC AWS 2018 Dataset”. School of Computing Science, University of Glasgow, 2019.
• [10] V. Kanimozhi and T. Prem Jacob. “Artificial Intelligence based Network Intrusion Detection with Hyper-Parameter Optimization Tuning on The Realistic Cyber Dataset CSE-CIC-IDS2018 using Cloud Computing”. International Conference on Communication and Signal Processing. 2019.
• [11] Yulianto, Arif & Sukarno, Parman & Anggis Suwastika, Novian, “Improving AdaBoost-based Intrusion Detection System (IDS) Performance on CIC IDS 2017 Dataset,” Journal of Physics: Conference Series, 1192.
• [12] A. R. Wani, Q. P. Rana, U. Saxena and N. Pandey, "Analysis and Detection of DDoS Attacks on Cloud Computing Environment using Machine Learning Techniques," 2019 Amity International Conference on Artificial Intelligence (AICAI), Dubai, United Arab Emirates, 2019, pp. 870-875.
• [13] McKay, Rob & Pendleton, Brian & Britt, James & Nakhavanit, Ben, “Machine Learning Algorithms on Botnet Traffic: Ensemble and Simple Algorithms,” The International Conference on Compute and Data Analysis 2019 (ICCDA), 2019.
• [14] V. Kanimozhi, T. Prem Jacob. “Calibration of Various Optimized Machine Learning Classifiers in Network Intrusion Detection System on the Realistic Cyber Dataset CSE-CIC-IDS2018 Using Cloud Computing”. International Journal of Engineering AppliedSciencesandTechnology,2019 Vol.4, Issue 6, ISSN No. 2455-2143, Pages 209-213, 2019.
• [15] Ferrag, M.A.; Maglaras, L. DeliveryCoin: An IDS and Blockchain-Based Delivery Framework for Drone-Delivered Services. Computers 2019, 8, 58. 2019.
• [16] Atay, R., Odabaş, D. E., & Pehlivanoğlu, M. K. (2019). İki Seviyeli Hibrit Makine Öğrenmesi Yöntemi İle Saldırı Tespiti. Dergipark, 258-272.
• [17] Francisco Sales de Lima Filho, Frederico A. F. Silveira, Agostinho de Medeiros Brito Junior, Genoveva Vargas-Solar, and Luiz F. Silveira, “Smart Detection: An Online Approach for DoS/DDoS Attack Detection Using Machine Learning,” Security and Communication Networks, vol. 2019, Article ID 1574749, 15 pages, 2019.
• [18] Yuyang Z, guang C, Shanqing J, Mian D. “An Efficient Network Intrusion Detection System Based on Feature Selection and Ensemble Classifier”. 2019.
• [19] Q. R. S. Fitni and K. Ramli, "Implementation of ensemble learning and feature selection for performance improvements in anomaly-based intrusion detection systems", Proc. IEEE Int. Conf. Ind. 4.0 Artif. Intell. Commun. Technol. (IAICT), pp. 118-124, Jul. 2020.
• [20] Cil, A. E., Yildiz, K., & Buldu, A. (2021). Detection of DDoS attacks with feed forward based deep neural network model. Expert Systems with Applications, 169, 114520.
• [21] ARSLAN, R. S. (2021). FastTrafficAnalyzer: An Efficient Method for Intrusion Detection Systems to Analyze Network Traffic. Dicle Üniversitesi Mühendislik Fakültesi Mühendislik Dergisi, 12(4), 565-572.
• [22] Emhan, Ö., & Mehmet, A. K. I. N. (2019). Filtreleme tabanlı öznitelik seçme yöntemlerinin anomali tabanlı ağ saldırısı tespit sistemlerine etkisi. Dicle Üniversitesi Mühendislik Fakültesi Mühendislik Dergisi, 10(2), 549-559.
• [23] Thomas, R. and Pavithran, D. 2018. "A Survey of Intrusion Detection Models based on NSL-KDD Data Set," 2018 Fifth HCT Information Technology Trends (ITT), Dubai, United Arab Emirates, 286-291.
• [24] Athmaja, S., Hanumanthappa, M. and Kavitha, V. 2017. "A survey of machine learning algorithms for big data analytics," 2017 International Conference on Innovations in Information, Communication Coimbatore, 1-4.
• [25] Sahingoz, O, Çebi, C, Bulut, F, Fırat, H, Karataş, G. "Saldırı Tespit Sistemlerinde Makine Öğrenmesi Modellerinin Karşılaştırılması”. Erzincan Üniversitesi Fen Bilimleri Enstitüsü Dergisi 12 (2019): 1513-1525
• [26] Amrita MA (2013) Performance analysis of different feature selection methods in intrusion detection. Int J Sci Technol Res 2(6):225–231
• [27] Yuyang Z, guang C, Shanqing J, Mian D. “An Efficient Intrusion Detection System Based on Feature Selection and Ensemble Classifier”. 2019.
• [28] CSE-CIC-IDS-2018 dataset from University of NewBrunswick, available online: https://www.unb.ca/cic/datasets/ids-2018.html
• [29] CICFlowMeter: Network Traffic Flow Analyzer,http://netflowmeter.ca/netflowmeter.html, Accessed 28 July 2018.
• [30] Saeys, Y., Inza, I., Larranaga, P. 2007. A review of feature selection techniques in bioinformatics, Bioinformatics, 23(19), 2507-2517.
• [31] Bisyron W, Kalamullah R, and Hendri M, “Implementation and Analysis of Combined Machine Learning Method for Intrusion Detection System”. International Journal of Communication Networks and Information Security, 2018.
• [32] Wen Yao Zhang, Zong Wen Wei, Bing Hing Wang, Xiao Pu Han, “Measuring Mixing Patterns in Complex Neteorks by Spearman rank correlation coefficient”, 2016, Physica A 451.
• [33] Solomatine, DP., Shrestha, DL. AdaBoost. RT: a boosting algorithm for regression problems, Neural Networks, Vol 2, 1163 – 1168, 2004.
• [34] Bauer, E., Kohavi, R. An Empirical Comparison of Voting Classification Algorithms: Bagging, Boosting, and Variants, Machine Learning., Volume 36, Issue 1, pp 105-139, 1999.
• [35] Geurts, P., Ernst, D., & Wehenkel, L. (2006). "Extremely randomized trees." Machine learning 63(1): 3-42.
• [36] Ç. Çatal, L. Özyılmaz, Analysis of Multiple Myeloma Gene Expression Data by Multilayer Perceptron