Topluluk sınıflandırıcı kullanarak zararlı url tespiti

Öz

Teknolojinin gelişmesi ve internet kullanıcı sayısındaki artışla orantılı olarak siber suçlarda da artış gözlemlenmiştir. Birçok farklı siber saldırı tekniği bulunmaktadır. Bu saldırı tekniklerinden biri olan kötü amaçlı web siteleri, siber saldırılar ve dolandırıcılık olaylarında önemli rol oynamaktadır. İnternette masum görünen bir bağlantıya tıklamak veya e-posta ve mesaj yoluyla gönderilen bir web sayfasını ziyaret etmek arka planda sistemimizde kimlik avı kampanyalarının başlatılmasına, kötü amaçlı yazılımların, casus yazılımların, fidye yazılımların indirilmesine ve ciddi parasal kayıplar oluşmasına yol açar. Dolayısıyla bu tehditlerin etkin bir şekilde tespit edilmesi ve önlenmesi bireyler, kurumlar ve hükümetler için oldukça önemli bir konu haline gelmiştir. Kara listeye dayalı yöntemler, kötü amaçlı URL'leri tanımlamak için kullanılan standart yöntemlerden biridir. Ancak kara listeler hiçbir zaman kapsamlı değildir ve yeni oluşturulan URL'leri algılama yeteneğinden yoksundur. Kara listeye dayalı yöntemlerin mevcut ihtiyacı ve eksiklikleri de göz önünde bulundurularak bu çalışmada toplulukla öğrenme yöntemleri kullanılarak bir sınıflandırma yaklaşımı önerilmiştir. Çalışmada iyi huylu ve kötü huylu URL’lerden elde edilmiş 79 sözcüksel özellik içeren Kanada Siber Güvenlik Enstitüsü'nün URL veriseti (ISCX-URL-2016) üzerinde çalışılmıştır. Verisetinde benign, spam, phishing, malware ve defacement olmak üzere beş farklı URL türü bulunmaktadır. Toplam 7781 iyi huylu ve 28.917 tane zararlı URL kaydı üzerinde zararlı, zararsız etiketleri kullanılarak ikili sınıflandırma işlemi ve beş farklı etiket bilgisi kullanılarak çoklu sınıflandırma işlemi gerçekleştirilmiştir. Makine öğrenmesi yöntemlerinden Rastgele Orman algoritması uygulanan yöntemin başarısının sınanması için 10-katlamalı çapraz doğrulama (10-fold cross validation) ile birlikte kullanılmıştır ve 10 temel bileşen kullanılarak ikili sınıflandırma problemi için ortalama %99.42, çoklu sınıflandırma problemi için ortalama %95.68 doğruluk değeri elde edilmiştir. Böylece sisteme her gün yenilerinin katıldığı, dinamik ortamdaki kötü niyetli tasarlanmış web sitelerinden korunmaya yönelik yüksek başarım oranına sahip bir model önerisi sunulmuştur.

Anahtar Kelimeler

• Kötü niyetli URL
• siber güvenlik
• makine öğrenmesi
• sıradışı veri
• rastgele orman

Malicious urls detection using ensemble classifier

Öz

In parallel with the development of technology and the increase in the number of internet users, an increase in cybercrime has been observed. There are many different cyberattack techniques. Malicious websites, one of these attack techniques, play an important role in cyberattacks and fraud events. Clicking on an innocent-looking link on the Internet or visiting a web page sent via email or text will result in phishing campaigns being launched on our system in the background, downloading malware, spyware, ransomware, and serious monetary losses. Therefore, effective detection and prevention of these threats has become a very important issue for individuals, institutions and governments. Blacklist-based methods are one of the standard methods used to identify malicious URLs. However, blacklists are never comprehensive and lack the ability to detect newly created URLs. Considering the current needs and deficiencies of blacklist-based methods, a machine learning based classification approach was used in this study to combat malicious URLs. In the study, the URL data set of the Canadian Cyber Security Institute (ISCX-URL-2016) was studied, which contains 79 lexical features obtained from benign and malignant URLs. There are five different URL types in the dataset: benign, spam, phishing, malware and defacement. A binary classification process using harmless, malicious labels and a multi-classification process using five different labels information was performed on a total of 7781 benign, harmless and 28,917 malicious URL records. Random Forest algorithm, one of the machine learning methods, used together with 10-fold cross validation to validate the success of the applied method, and an average accuracy value of 99.42% for the binary classification problem and 95.68% for the multiple classification problem was obtained. Thus, a model proposal with a high-performance rate is presented to protect from maliciously designed websites in a dynamic environment, where new ones join the system every day.

Anahtar Kelimeler

• Malicious URL
• cyber security
• machine learning
• outlier data
• random forest

Kaynakça

1. R. A. Dwan Jr., A. M. Tavares, “Predictive Analysis: Machine Learning Models for URL Classification”, Faculty of Worcester Polytechnic Institute, 2019.
2. D. K. McGrath and M. Gupta, "Behind phishing: An examination of phisher modi operandi", Proc. LEET, pp. 4, April 2008.
3. J. Ma, L. K. Saul, S. Savage and G. M. Voelker, "Identifying suspicious URLs: An application of large-scale online learning", Proc. Int. Conf. Mach. Learn., 681-688, 2009.
4. K. Thomas, C. Grier, J. Ma, V. Paxson and D. Song, "Design and Evaluation of a Real-Time URL Spam Filtering Service," 2011 IEEE Symposium on Security and Privacy, 447-462, 2011.
5. H Choi, B B Zhu and H. Lee, "Detecting malicious web links and identifying their attack types[C]", Usenix Conference on Web Application Development, 11-11, 2011.
6. M. Lin, C. Chiu, Y. Lee and H. Pao, "Malicious URL filtering—A big data application", Proc. IEEE Int. Conf. Big Data, 589-596, 2013.
7. W. Chu, B. B. Zhu, F. Xue, X. Guan and Z. Cai, "Protect sensitive sites from phishing attacks using features extractable from inaccessible phishing urls", 2013 IEEE International Conference on Communications (ICC)., 2013, 1990-1994.
8. M. S. I. Mamun, M. A. Rathore, A. H. Lashkari, N. Stakhanova and A. A. Ghorbani, "Detecting malicious URLs using lexical analysis", Proc. Int. Conf. Netw. Syst. Secur, 467-482, 2016.

9. A. Joshi, L. Lloyd, P. Westin and S. Seethapathy, "Using lexical features for malicious url detection – a machine learning approach", 2019.
10. A. Powell, D. Bates, C. Van Wyk, and A. Darren de Abreu, “A crosscomparison of feature selection algorithms on multiple cyber security data-sets,” Stellenbosch University, 2019.
11. S. Singhal, U. Chawla and R. Shorey, "Machine Learning & Concept Drift based Approach for Malicious Website Detection", 2020 12th International Conference on Communication Systems & Networks, 582-585, 2020.
12. S. Wang, Y. Wang and M. Tang, "Auto Malicious Websites Classification Based on Naive Bayes Classifier," 2020 IEEE 3rd International Conference on Information Systems and Computer Aided Education (ICISCAE), 443-447, 2020.
13. O. K. Sahingoz, E. Buber, O. Demir and B. Diri, "Machine learning based phishing detection from urls", Expert Syst. Appl., vol. 117, pp. 345-357, 2019.
14. Canadian Instıtute for CyberSecurity, “URL Dataset (ISCX-URL-2016)”, https://www.unb.ca/cic/datasets/url-2016.html, 2016, (5 Mayıs 2020).
15. Principal Component Analysis Tutorial,, https://www.dezyre.com/data-science-in-python-tutorial/principal-component-analysis-tutorial, (20 Haziran 2020).
16. Y. Sun, H. Zhang, T. Zhao, Z. Zou, B. Shen and L. Yang, "A new convolutional neural network with random forest method for hydrogen sensor fault diagnosis", IEEE Access, vol. 8, 85421-85430, 2020