Comparıson Of Tradıtıonal Machıne Learnıng Methods And Metaheurıstıc Methods For Attrıbute Selectıon

Year 2024, Volume: 15 Issue: 2, 397 - 409, 30.06.2024

İsmail Açar , İbrahim Berkan Aydilek

https://doi.org/10.24012/dumf.1451945

Abstract

Feature selection methods are very important for machine learning. As the size of the dataset increases, the performance of the machine learning model decreases. The feature selection method can also be considered as an optimization process. Success can be improved by eliminating noisy or irrelevant attributes for the model. In this study, 3 different datasets from the UCI repository were used and 5 different machine learning algorithms were used to measure the performance and runtime of the algorithms using 10-fold cross-validation. As feature selection methods, traditional machine learning feature selection methods and meta-heuristic algorithms were used for feature selection. The feature selection methods used are as follows; Correlation Analysis, Lasso, Hypothesis testing and metaheuristic algorithms Genetic Algorithm and Particle Swarm Optimization Algorithm. As a result of the experiments, it is seen that the performance increases with the application of feature selection methods. It was observed that feature selection with metaheuristic algorithms is more suitable in terms of performance and runtime.

Keywords

Feature selection, Metaheuristic Algorithms, Machine Learning, Genetic Algorithms, Particle Swarm Optimization Algorithm

Geleneksel Makine Öğrenmesi Yöntemleri Ve Metasezgisel Yöntemlerle Öznitelik Seçim Yöntemlerinin Karşılaştırılması

Abstract

Öznitelik seçim yöntemleri, makine öğrenmesi için çok önemli bir yere sahiptir. Veri kümesinin boyutu arttıkça makine öğrenmesi modelinin performansı düşmektedir. Öznitelik seçim yöntemi aynı zamanda bir optimizasyon süreci olarak düşünülebilmektedir. Gürültülü olan ya da model için alakasız olan öznitelikler elenince başarı artabilmektedir. Bu çalışma kapsamında UCI veri deposundan 3 farklı veri kümesi kullanılmış ve 5 farklı makine öğrenmesi algoritması kullanılarak 10 katlı çapraz doğrulama yöntemiyle algoritmaların başarımları ve çalışma süreleri ölçülmüştür. Öznitelik seçim yöntemi olarak geleneksel makine öğrenmesi ile öznitelik seçim yöntemleri ve meta sezgisel algoritmalar kullanılarak öznitelik seçim işlemleri gerçekleştirilmiştir. Kullanılan öznitelik seçim yöntemleri şu şekildedir; Korelasyon Analizi, Lasso, Hipotez testi ve metasezgisel algoritmalardan Genetik Algoritma ve Parçacık Sürü Optimizasyon Algoritması yöntemleri kullanılmıştır. Yapılan deneyler sonucunda öznitelik seçim yöntemlerinin uygulanması ile birlikte başarımın arttığı görülmektedir. Metasezgisel algoritmalarla yapılan öznitelik seçiminin başarım ve çalışma süresi bakımından daha uygun olduğu gözlemlenmiştir.

Keywords

Öznitelik seçimi, metasezgisel algoritmalar, makine öğrenmesi, genetik algoritmalar, parçacık sürü optimizasyon algoritması

References

• 1] Koşan, Muhammed Ali, Coşkun, Aysun, Karacan, Hacer. 2019. “Yapay Zekâ Yöntemlerinde Entropi”, Bilişim Sistemleri ve Yönetim Araştırmaları Dergisi, Cilt 1, S.1, sf. 15-21
• [2] Kaynar, Oğuz, Arslan, Halil, Görmez, Yasin, Işık, Yunus Emre. 2018. “Makine Öğrenmesi ve Öznitelik Seçim Yöntemleriyle Saldırı Tespiti”, Bilişim Teknolojileri Dergisi, Cilt 11, S. 2, sf.175-185
• [3] Kaynar, Oğuz, Arslan, Halil, Görmez, Yasin, Işık, Yunus Emre. 2018. “Makine Öğrenmesi ve Öznitelik Seçim Yöntemleriyle Saldırı Tespiti”, Bilişim Teknolojileri Dergisi, Cilt 11, S. 2, sf.175-185
• [4] Onay, Funda Kutlu. 2023. “Öznitelik Seçimi Problemleri İçin İkili Beyaz Köpekbalığı Optimizasyon Algoritması”, Gümüşhane Üniversitesi Fen Bilimleri Dergisi, Cilt 13, S.2, sf. 281-298
• [5] Vatansever, Berna, Aydın, Hakan, Çetinkaya, Ali. 2021. “Heart Disease Prediction with Machine Learning Algorithm Using Feature Selection by Genetic Algorithm”, Bilim, Teknoloji ve Mühendislik Araştırmaları Dergisi, Cilt 2, S.2, sf. 67-80
• [6] Şengür, Dönüş. 2021. “Öğretmenlerde Etkili Psikososyal Risk Düzeylerinin Belirlenmesi için Parçacık Sürü Optimizasyonu Tabanlı Öznitelik Seçme”, Türkiye Eğitim Dergisi, Cilt 6, S. 2, sf. 488-496
• [7] Çelik, Ceyhun, Bilge Hasan Şakir. 2015. “Ağırlıklandırılmış Koşullu Karşılıklı Bilgi İle Öznitelik Seçimi”, Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, Cilt 30, S. 4, sf.585-596
• [8] Şağbaş, Ensar Arif, Gökalp Osman, Uğur Aybars. 2019. “Yüz İfadesi Tanıma için Mesafe Oranlarına Dayalı Öznitelik Çıkarımı ve Genetik Algoritmalar İle Seçimi”, Veri Bilim Dergisi, Cilt 2, S.1, sf.19-29
• [9] Abbasoğlu, Ferda, Gülcü, Ayla, Ulvi, Başpınar. 2021. “EEG Sinyallerinin Sınıflandırılmasında Evrimsel Öznitelik Seçim Metotlarının Kullanılması”, International Journal of Advances in Engineering and Pure Sciences, C.33, S.2, sf.171-179
• [10] Bilen, Abdulkadir, Özer, Ahmet Bedri. 2021. “Siber Saldırılar için Rastgele Orman Algoritması Kullanılarak Öznitelik Seçimi”, Fırat Üniversitesi Fen Bilimler Dergisi, C.34, S.1, sf.31-37
• [11] Sağbaş, Ensar Arif. 2023. “Filtre Tabanlı Öznitelik Seçim Yöntemleri Kullanılarak Metinlerde Duygu Sınıflandırılması Üzerine Karşılaştırmalı Bir Çalışma”, Fırat Üniversitesi Mühendislik Bilimleri Dergisi, C.35, S.1, sf.239-250
• [12] Yağmur, Ece, Yağmur, Sercan. 2022. “Rüzgâr Gücü Tahmininde Genetik Algoritma ile Öznitelik Seçimi”, Afyon Kocatepe Üniversitesi Fen ve Mühendislik Bilimleri Dergisi, C.22, S.5, sf.1028-1040
• [13] Narin, Ali. 2020. “Parkinson Hastalarının Tespitinde Karınca Koloni Algoritması ile Seçilen Özniteliklerin Performansa Etkisi”, Düzce Üniversitesi Bilim ve Teknoloji Dergisi, C.8, S.4, sf. 2443-2454
• [14] Can, Celal, Kaya, Yasin, Kılıç, Fatih. 2021. “Salp Sürü Algoritması ile Öznitelik Seçimi ve Sınıflandırıcı Performans Değerlendirmesi”, Avrupa Bilim ve Teknoloji Dergisi, C.30, sf.12-16
• [15] Xue Wen, Chen and Michael, Wasikowski. “Fast: a roc-based feature selection metric for small samples and imbalanced data classification problems”, In Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining, Las Vegas, USA, 2008, pp.124-132
• [16] Cengiz, Mehmet Ali, Terzi, Yüksel. 2018. Hipotez Testleri Ders Notları, On Dokuz Mayıs Üniversitesi Fen-Edebiyat Fakültesi İstatistik Bölümü.
• [17] Orhan, Hikmet, Vergili, Merve. 2022. “Genomik Veri Setlerinin LASSO ve Elastik Net Regresyon Yöntemleri ile Analizi”, Süleyman Demirel Üniversitesi Sağlık Bilimleri Dergisi, Cilt 13, Sayı 3, sf.485 – 496
• [18] Karaboğa, Derviş. 2020. “Yapay Zeka Optimizasyon Algoritmaları”, Nobel Akademik Yayıncılık, sf.75
• [19] Karaboğa, Derviş. 2020. “Yapay Zeka Optimizasyon Algoritmaları”, Nobel Akademik Yayıncılık, sf.76-82
• [20] Karaboğa, Derviş. 2020. “Yapay Zeka Optimizasyon Algoritmaları”, Nobel Akademik Yayıncılık, sf.182
• [21] Karaboğa, Derviş. 2020. “Yapay Zeka Optimizasyon Algoritmaları”, Nobel Akademik Yayıncılık, sf.183-189
• [22] Ozkan, Yalçın. 2020. “Veri Madenciliği Yöntemleri”, Papatya Yayıncılık, sf. 39-40
• [23] Breiman Leo, “Consistency For A Simple Model of Random Forests”, Berkeley, USA. Sep.9,2004. https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=2a42f39add8332a7139d44a6e77496c0571e4f24
• [24] Friedman, Jerome Harold. 2001. “Greedy Function Approximation: A Gradient Boosting Machine”, The Annals of Statistics, C. 29, S. 5, sf.1189-1232
• [25] Alsharı, Haithm, Saleh, Abdulrazak Yahya, Odabaş, Alper. 2021. “Comparison of Gradient Boosting Decision Tree Algorithms for CPU Performance”, Erciyes Üniversitesi Fen Bilimleri Enstitüsü Dergisi, Cilt 37, S. 1, sf. 157-168
• [26] Chen, Tianqi and Guestrin, Carlos. “XGBoost: A Scalable Tree Boosting System”, Uluslararası Bilgi Keşfi ve Veri Madenciliği Konferansı Bildirileri, Washinghton, USA,2016, sf. 785-794