An Approach for Variable Selection in Classification with Entropy-Based Grey Relational Analysis

Öz

Nowadays, there has been a rapid increase in data size due to developments in information and measurement technologies. Due to the high dimensionality, many analyses, such as classification and clustering, require the use of data reduction methods before analysis. Variable selection plays an important role in interpreting the classification and clustering results of the data set and obtaining successful results with fewer variables. In this study, the variable selection problem to be used in classification is considered a multi-criteria decision-making (MCDM) problem. The decision matrix was created by taking variables as alternatives and filtering-based variable selection algorithms as criteria. This decision matrix was analyzed using the Grey Relational Analysis (GRA) method, which is one of the MCDM methods. Thus, a new approach for ranking and selecting variables has been proposed. In addition, entropy, which is an objective method, is used for weighting the criteria. The proposed method is applied to the Wine and Ionosphere datasets, which are frequently used in the classification literature, and compared with the classification success of filtering-based variable selection algorithms. As a result, successful results were obtained with fewer variables using the proposed approach.

Anahtar Kelimeler

• Entropy
• Filter-based variable selection
• Grey Relational Analysis (GRA)
• Multi-criteria decision making (MCDM)

Entropi Tabanlı Gri İlişkisel Analiz ile Sınıflamada Değişken Seçimi İçin Bir Yaklaşım

Öz

Günümüzde bilgi ve ölçüm teknolojilerindeki gelişmelere bağlı olarak veri boyutlarında da hızlı bir artış olmuştur. Yüksek boyutluluk nedeniyle özellikle sınıflandırma ve kümeleme gibi birçok analiz için, analiz öncesi veri indirgeme yöntemlerinin kullanılması gerekmektedir. Veri setinin sınıflandırma ve kümeleme sonuçlarının yorumlanması ve daha az değişken ile başarılı sonuçlar elde edilmesi için değişken seçimi önemli rol oynamaktadır. Bu çalışmada, sınıflandırmada kullanılacak değişken seçimi problemi çok kriterli karar verme (ÇKKV) problemi olarak düşünülmüştür. Alternatif olarak değişkenler, kriterler ise filtreleme tabanlı değişken seçim algoritmaları alınarak karar matrisi oluşturulmuş. Bu karar matrisi, ÇKKV yöntemlerinden birisi olan Gri İlişkisel Analiz (GİA) yöntemi kullanarak analiz edilmiştir. Böylelikle değişkenlerin sıralanması ve seçimi için yeni bir yaklaşım ortaya konulmuştur. Ayrıca kriterlerin ağırlıklandırılmasında objektif bir yöntem olan Entropi den yararlanılmıştır. Önerilen yöntem sınıflandırma literatüründe sıkça kullanılan Wine (Şarap) ve Ionosphere (İyonosfer) veri setlerinde uygulanmış olup, filtreleme tabanlı değişken seçim algoritmalarının sınıflandırma başarılarıyla karşılaştırılmıştır. Sonuç olarak önerilen yaklaşım kullanılarak az değişken ile başarılı sonuçlar elde edilmiştir.

Anahtar Kelimeler

• Çok kriterli karar verme (ÇKKV)
• Entropi
• Filtreleme tabanlı değişken seçimi
• Gri İlişkisel Analiz (GİA).

Kaynakça

1. Akbulut, O. Y. (2020). Gri entropi temelli PSI ve ARAS ÇKKV yöntemleriyle Türk mevduat bankalarının performans analizi. Finans Ekonomi ve Sosyal Araştırmalar Dergisi, 5(2), 171-187.
2. Akmaz, D. (2022). Stockwell Dönüşümü, ONE-R özellik seçme yöntemi ve rastgele orman algoritması ile güç kalitesi bozulumu sinyallerinin sınıflandırılması. Fırat Üniversitesi Mühendislik Bilimleri Dergisi, 34(1), 267-276.
3. Akoğul, S., Erişoğlu, M., & Erişoğlu, Ü. (2020). Çok değişkenli normal dağılımların karmasına dayalı kümelemede TOPSIS yöntemiyle ile küme sayısının belirlenmesi. Erciyes Üniversitesi Fen Bilimleri Enstitüsü Fen Bilimleri Dergisi, 36(3), 472-480.
4. Allaire, J. (2012). RStudio: Integrated development environment for R. Boston, MA, 770(394), 165-171.
5. Altıntaş, F. F. (2020). İnovasyon performanslarının Entropi tabanlı gri ilişkisel analiz yöntemi ile değerlendirilmesi: G7 Grubu Ülkeleri Örneği. Adnan Menderes Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 7(2), 151-172.
6. Bircan, H. (2020). Çok kriterli karar verme problemlerinde kriter ağırlıklandırma yöntemleri. Nobel Yayınevi.
7. Breiman, L. (2017). Classification and regression trees. Routledge.
8. Breiman, L. (2001). Random forests. Machine Learning, 45(1), 5-32.

9. Budak, H. (2018). Özellik seçim yöntemleri ve yeni bir yaklaşım. Süleyman Demirel Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 22, 21-31.
10. Bulut, C., Altuğlu, T. B., & Yetkin, E. F. (2023). Filtre modelli öznitelik seçim algoritmalarının EEG tabanlı beyin bilgisayar arayüzü sistemindeki karşılaştırmalı sınıflandırma performansları. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 38(4), 2397-2408.
11. Dash, M., & Liu, H. (1997). Feature selection for classification. Intelligent data analysis, 1(1-4), 131-156. https://doi.org/10.1016/S1088-467X(97)00008-5
12. Ecemiş, O., Akçan, F., & Abakay, U. (2021). Analysis of the performance of football teams via the entropy-gray relational analysis method: Turkish super league model. SPORMETRE Beden Eğitimi ve Spor Bilimleri Dergisi, 19(3), 51-59. https://doi.org/10.33689/spormetre.854446
13. Emhan, Ö., & Mehmet, A. (2019). Filtreleme tabanlı öznitelik seçme yöntemlerinin anomali tabanlı ağ saldırısı tespit sistemlerine etkisi. Dicle Üniversitesi Mühendislik Fakültesi Mühendislik Dergisi, 10(2), 549-559. https://doi.org/10.24012/dumf.565842
14. Ersoy, N. (2018). Entropy tabanlı bütünleşik ÇKKV yaklaşımı ile kurumsal sürdürülebilirlik performans ölçümü. Ege Akademik Bakış Dergisi, 18(3), 367-385. https://doi.org/10.21121/eab.2018339487
15. Eryılmaz, E. E., Şahin, D. Ö., & Kılıç, E. (2020). Türkçe istenmeyen e-postaların farklı öznitelik seçim yöntemleri kullanılarak makine öğrenmesi algoritmaları ile tespit edilmesi. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi, 13(2), 57-77.
16. Guyon, I., & Elisseeff, A. (2003). An introduction to variable and feature selection. Journal of Machine Learning Research, 3, 1157-1182.
17. Hashemi, A., Dowlatshahi, M. B., & Nezamabadi-Pour, H. (2020). MFS-MCDM: Multi-label feature selection using multi-criteria decision making. Knowledge-Based Systems, 206, 106365.
18. Hashemi, A., Dowlatshahi, M. B., & Nezamabadi-Pour, H. (2021). VMFS: A VIKOR-based multi-target feature selection. Expert Systems With Applications, 182, 115224.
19. Hashemi, A., Dowlatshahi, M. B., & Nezamabadi-Pour, H. (2022). Ensemble of feature selection algorithms: A multi-criteria decision-making approach. International Journal of Machine Learning and Cybernetics, 13(1), 49-69.
20. Haseki, M. İ., & Avşar, İ. İ. (2023). Avrupa Birliği ve seçili ülkelerinin teknoloji üretim odaklı verilerinin entropi ve gri ilişkiler analiz modelleriyle incelenmesi. Uluslararası İktisadi ve İdari İncelemeler Dergisi, 39, 154-169. https://doi.org/10.18092/ulikidince.1214069
21. Holte, R. C. (1993). Very simple classification rules perform well on most commonly used datasets. Machine Learning, 11, 63-91. https://doi.org/10.1023/A:1022631118932
22. Hornik, K., Buchta, C., Hothorn, T., Karatzoglou, A., Meyer, D., Zeıleıs, A., & Hornik, M. K. (2023). Package ‘RWeka’.
23. Karaatlı, M. (2016). Entropi-Gri ilişkisel analiz yöntemleri ile bütünleşik bir yaklaşım: Turizm sektöründe uygulama. Süleyman Demirel Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 21(1), 63-77.
24. Karegowda, A. G., Manjunath, A. S., & Jayaram, M. A. (2010). Comparative study of attribute selection using gain ratio and correlation based feature selection. International Journal of Information Technology and Knowledge Management, 2(2), 271-277.
25. Kaynar, O., Arslan, H., Görmez, Y., & Işık, Y. E. (2018). Makine öğrenmesi ve öznitelik seçim yöntemleriyle saldırı tespiti. Bilişim Teknolojileri Dergisi, 11(2), 175-185. https://doi.org/10.17671/gazibtd.368583
26. Ladha, L., & Deepa, T. (2011). Feature selection methods and algorithms. International Journal on Computer Science and Engineering, 3(5), 1787-1797.
27. Lichman, M. (2013). UCI Machine Learning Repository. Irvine, CA: University of California, School of Information and Computer Science. http://archive.ics.uci.edu/ml adresinden 6 Haziran 2023 tarihinde alınmıştır.
28. Liu, H., & Setiono, R. (1995). Chi2: Feature selection and discretization of numeric attributes. In Proceedings of 7th IEEE International Conference on Tools with Artificial Intelligence (p. 388-391). IEEE.
29. Lu, H. S., Chang, C. K., Hwang, N. C., & Chung, C. T. (2009). Grey relational analysis coupled with principal component analysis for optimization design of the cutting parameters in high-speed end milling. Journal of materials processing technology, 209(8), 3808-3817. https://doi.org/10.1016/j.jmatprotec.2008.08.030
30. Onan, A., & Korukoğlu, S. (2016). Metin sınıflandırmada öznitelik seçim yöntemlerinin değerlendirilmesi. Akademik Bilişim.
31. Özdemir, O., & Kılıçarslan, Ş. (2021). Entropi temelli gri ilişkisel analiz tekniği ile hayat ve emeklilik şirketlerinin finansal performansları üzerine bir araştırma. Süleyman Demirel Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 26(4), 413-434.
32. Quinlan, J. R. (1993). Programs for machine learning. Morgan Kaufmann Publishers.
33. Romanski, P., Kotthoff, L., & Kotthoff, M. L. (2013). Package “FSelector”. http://cran/r-project. org/web/packages/FSelector/index.html
34. Sağbaş, E. A. (2023). Filtre tabanlı öznitelik seçim yöntemleri kullanılarak metinlerde duygu sınıflandırması üzerine karşılaştırmalı bir çalışma. Fırat Üniversitesi Mühendislik Bilimleri Dergisi, 35(1), 239-250. https://doi.org/10.35234/fumbd.1195908
35. Shannon, C. E. (1948). A mathematical theory of communication. The Bell System Technical Journal, 27(3), 379-423. https://doi.org/10.1002/j.1538-7305.1948.tb01338.x
36. Song, H., Chen, X., Zhang, S., & Xu, L. (2022). Multi-objective optimization design of 6-ups parallel mechanism based on Taguchi method and entropy-weighted gray relational analysis. Applied Sciences, 12(12), 5836. https://doi.org/10.3390/app12125836
37. Şekkeli, F. E., & Güçlü, F. (2023). Katılım bankalarının finansal performanslarının entropi tabanlı gri ilişkisel analiz (GİA) yöntemiyle değerlendirilmesi. TESAM Akademi Dergisi, 10(2), 489-511. https://doi.org/10.30626/tesamakademi.1253985
38. Wu, X., Zhu, X., Wu, G. Q., & Ding, W. (2013). Data mining with big data. IEEE transactions on knowledge and data engineering, 26(1), 97-107.
39. Yıldırım, B. F., & Önder, E. (2015). Çok kriterli karar verme yöntemleri. Dora Basım.