Metaheuristic Algorithm Based Feature Selection for Improving the Performance of Machine Learning Algorithms

Öz

In a world of increasing data, the success of machine learning (ML) algorithms depends heavily on the process of feature selection. Feature selection aims to create a smaller and more meaningful feature set by eliminating redundant, unlabeled, or noisy features. The aim of this study is to obtain the most meaningful features from data sets with metaheuristic algorithms and to ensure that ML algorithms achieve better performance according to different evaluation metrics. In this context, metaheuristic algorithms for feature selection, Binary Particle Swarm Optimization, and Genetic Algorithms are used for experimental research on two different datasets. In the Sonar and Breast Cancer datasets, K-Nearest Neighbor, Support Vector Machine, and Decision Tree classification algorithms were used as the objective function. For both algorithms, feature selection was performed at high iterations with different population sizes, and then the best-selected features were evaluated with different ML models (Logistic Regression, Naive Bayes, Extreme Gradient Boosting, Artificial Neural Networks, Convolutional Neural Networks, and Long Short Term Memory). The results show that Binary Particle Swarm Optimization and Genetic Algorithm methods lead to significant increases in model accuracy after feature selection. The results obtained are aimed at contributing to researchers using metaheuristic algorithms to improve the feature selection process. These findings support the effectiveness of metaheuristics in the feature selection process and the potential for performance improvement when combined with various ML models.

Anahtar Kelimeler

• Metaheuristic algorithms
• Feature selection
• Machine learning algorithms

Makine Öğrenmesi Algoritmalarının Performansını Artırmak için Metasezgisel Algoritma Tabanlı Öznitelik Seçimi

Öz

Artan veri dünyasında, makine öğrenmesi (ML) algoritmalarının başarısı büyük ölçüde öznitelik seçimi süreçlerine bağlıdır. Öznitelik seçimi, gereksiz, etiketsiz veya gürültülü öznitelikleri eleyerek daha küçük ve anlamlı bir öznitelik kümesi oluşturmayı hedefler. Bu çalışmanın amacı, metasezgisel algoritmalar sayesinde veri kümelerinden en anlamlı öznitelikleri elde ederek ML algoritmalarının farklı kıyaslama ölçütlerine göre daha iyi performans elde etmesini sağlamaktır. Bu kapsamda, öznitelik seçimi için metasezgisel algoritmalardan İkili Parçacık Sürü Optimizasyonu ve Genetik Algoritma kullanılarak iki farklı veri seti üzerinde deneysel araştırmalar gerçekleştirilmiştir. Sonar ve Meme Kanseri veri setlerinde, K-En Yakın Komşu, Destek Vektör Makinesi ve Karar Ağaçları sınıflandırma algoritmaları amaç fonksiyonu olarak kullanılmıştır. Her iki algoritma için de farklı popülasyon büyüklüğünde yüksek iterasyonlarda öznitelik seçimi yapılmış, ardından seçilen en iyi öznitelikler farklı ML modeli (Lojistik Regresyon, Naive Bayes, Aşırı Gradyan Arttırma, Yapay Sinir Ağları, Evrişimsel Sinir Ağları ve Uzun Kısa Süreli Bellek) ile değerlendirilmiştir. Sonuçlar, İkili Parçacık Sürü Optimizasyon ve Genetik Algoritma yöntemlerinin öznitelik seçimi sonrası model doğruluklarında anlamlı artışlara yol açtığını göstermiştir. Elde edilen sonuçların metasezgisel algoritmalar kullanarak özellik seçim sürecini geliştiren araştırmacılara katkı sağlaması amaçlanmaktadır. Bu bulgular, metasezgisel algoritmaların öznitelik seçimi sürecinde etkinliğini ve çeşitli ML modelleri ile birleşmesinin performans iyileştirmedeki potansiyelini desteklemektedir.

Anahtar Kelimeler

• Metasezgisel algoritmalar
• Öznitelik seçimi
• Makine öğrenmesi algoritmaları

Kaynakça

1. Akinola OO, Ezugwu AE, Agushaka JO, Zitar RA, Abualigah L. Multiclass feature selection with metaheuristic optimization algorithms: a review. Neural Comput Appl 2022; 34(22): 19751-19790.
2. Kaur S, Kumar Y, Koul A, Kamboj SK. A systematic review on metaheuristic optimization techniques for feature selections in disease diagnosis: open issues and challenges. Arch Comput Methods Eng 2023; 30(3): 1863-1895.
3. El-Kenawy EM, Mirjalili S, Alassery F, Zhang Y, Eid MM, El-Mashad SY, Aloyaydı BA, Ibrahim A ve diğerleri. Novel meta-heuristic algorithm for feature selection, unconstrained functions and engineering problems. IEEE Access 2022; 10: 40536-40555.
4. Nssibi M, Manita G, Korbaa O. Advances in nature-inspired metaheuristic optimization for feature selection problem: A comprehensive survey. Comput Sci Rev. 2023; 49: 100559.
5. Sharma M, Kaur P. A comprehensive analysis of nature-inspired meta-heuristic techniques for feature selection problem. Arch Comput Methods Eng 2021; 28: 1103-1127.
6. Kumar L, Bharti KK. A novel hybrid BPSO–SCA approach for feature selection. Natural Computing 2021; 20(1): 39-61.
7. Yılmaz Ö, Gumustas E, Pehlivanlı AÇ. A Hybrid Metaheuristic based Feature Selection Framework for In-silico Mutagenicity Prediction. Journal of Intelligent Systems: Theory and Applications 2024; 7(2); 116-128.
8. Efeoğlu E. An Artificial Intelligence-Based Hybrid Approach to Detect the Type of Buried Objects with Broad Frequency Band Antenna Systems. Firat University Journal of Experimental and Computational Engineering 2024: 3(3); 362-378.

9. Gedikli E, Yurdusever T. EEG Sinyallerinden Meta-Sezgisel Optimizasyon Algoritmalarına Dayalı Özellik Seçimi. Black Sea Journal of Engineering and Science 2024; 7(4): 717-723.
10. Açar İ, Aydilek İB. Geleneksel Makine Öğrenmesi Yöntemleri e Metasezgisel Yöntemlerle Öznitelik Seçim Yöntemlerinin Karşılaştırılması. Dicle Üniversitesi Mühendislik Fakültesi Mühendislik Dergisi 2024; 15(2): 397-409.
11. Ciran A, Özbay E. Derin Öğrenme ve Özellik Seçimi Yaklaşımları Kullanılarak Göz Hastalıkları Tespiti. Dicle Üniversitesi Mühendislik Fakültesi Mühendislik Dergisi 2024; 15(2): 421-433.
12. Gümüş B, Çoban M, Tezcan SS. Metasezgisel Tabanlı Özellik Seçim Algoritmalarının Güç Kalitesi Olaylarının Sınıflandırılmasına Etkisinin İncelenmesi. IJERD 2024; 16(2): 646-658.
13. Mishra AK, Roy P, Bandyopadhyay S. Binary particle swarm optimization based feature selection (bpso-fs) for improving breast cancer prediction. In Proceedings of International Conference on Artificial Intelligence and Applications 2021; 2020: 373-384.
14. Abualigah L, Dulaimi AJ. A novel feature selection method for data mining tasks using hybrid sine cosine algorithm and genetic algorithm. Clust Comput 2021; 24 2161-2176.
15. Ewees AA, Al-qaness MAA, Abualigah L, Oliva D, Algamal ZY, Anter AM, Ibrahim RA, Ghoniem RM ve diğerleri. Boosting arithmetic optimization algorithm with genetic algorithm operators for feature selection: case study on cox proportional hazards model. Mathematics 2021; 9(18): 2321.
16. Maleki N, Zeinali Y, Niaki STA. A k-NN method for lung cancer prognosis with the use of a genetic algorithm for feature selection. Expert Syst Appl 2021; 164: 113981.
17. Donuk K, Arı A, Özdemir MF, Hanbay D. Deep feature selection for facial emotion recognition based on BPSO and SVM. Politeknik Dergisi 2023; 26(1): 131-142.
18. Luo C, Wang S, Li T, Chen H, Lv J, Yi Z. Large-scale meta-heuristic feature selection based on BPSO assisted rough hypercuboid approach. IEEE Trans Neural Netw Learn 2022; 34(12): 10889-10903.
19. Kennedy J, Eberhart R. Particle swarm optimization. In: Proceedings of IEEE international conference on neural networks 1995; 4: 1942-1948.
20. Salman OKM, Aksoy B. Rasgele orman ve ikili parçacık sürü zekâsı yöntemiyle kalp yetmezliği hastalığındaki ölüm riskinin tahminlenmesi. International Journal of 3D Printing Technologies and Digital Industry 2022; 6(3): 416-428.
21. Molajou A, Nourani V, Afshar A, Khosravi M, Brysiewicz A. Optimal design and feature selection by genetic algorithm for emotional artificial neural network (EANN) in rainfall-runoff modeling. Water Resour Manag 2021; 35(8): 2369-2384.
22. Bülbül MA. A New Artificial Intelligence Supported Approach to Diagnosis and Prediction of Psoriasis. Gazi Journal of Engineering Sciences 2024; 10(2): 405-418.
23. Diler S, Demir Y. Çoklu Doğrusal Bağlantı Olması Durumunda Veri Madenciliği Algoritmaları Performanslarının Karşılaştırılması. Nicel Bilimler Dergisi 2024; 6(1): 40-67.
24. Çiftci F. Türkiye'de Buğday Üretim Miktarının Geleceğini Tahmin Etmede Veri Madenciliği Yöntemlerinin Etkinliğinin Karşılaştırılması. Wheat Studies 2024; 13(1): 1-11.
25. Berus Y, Yakut YB. Derin Öğrenme (1D-CNN, RNN, LSTM, BiLSTM) ile Enerji Tüketim Tahmini: Diyarbakır AVM Örneği. Dicle Üniversitesi Mühendislik Fakültesi Mühendislik Dergisi 2024; 15(2): 311-322.
26. Özbay E, Çinar A, Özbay FA. 3D Human Activity Classification with 3D Zernike Moment Based Convolutional, LSTM-Deep Neural Networks. Traitement du Signal 2021; 38(2): 269-280.
27. Özbay E, Özbay FA. Derin Öğrenme ve Sınıflandırma Yaklaşımları ile BT görüntülerinden Covid-19 Tespiti. Dicle Üniversitesi Mühendislik Fakültesi Mühendislik Dergisi 2021; 12(2); 211-219.
28. Abbasoğulları EG, Gunay FB. Talasemi Hastalığı Tahmini İçin Farklı Makine Öğrenmesi Yöntemlerinin Kullanılması ve Karşılaştırılması. Karadeniz Fen Bilimleri Dergisi 2024; 14(4): 1990-2007.
29. Sonar 2022. https://www.kaggle.com/datasets/rupakroy/sonarcsv.
30. Breast Cancer Wisconsin (Diagnostic) Data Set 2017. https://www.kaggle.com/datasets/uciml/breast-cancer-wisconsin-data.