Feature Selection and Evaluation of Model Performance in Environmental Attitude Classification

Year 2025, Volume: 8 Issue: 4, 963 - 969, 15.07.2025

Rukiye Uzun Arslan , İrem Şenyer Yapıcı , Fuat Alkan

https://doi.org/10.34248/bsengineering.1660516

Abstract

The environmental attitudes are one of the prominent indicators reflecting the sustainability and ecological awareness levels of individuals, and accurate prediction of these attitudes plays a critical role in increasing the effectiveness of environmental policies and awareness efforts. This study compares various machine learning (ML) algorithms and different feature selection methods to predict the environmental attitudes of individuals in this context. In the analyses, an open-access dataset obtained from 384 participants living in Türkiye has been used. Seven different ML algorithms (Random Forest, Logistic Regression, Support Vector Machines, K-Nearest Neighbours, Multi-Layer Perceptron, Naive Bayes, and Voting) and four feature selection methods (Extra Trees, Mutual Information, Principal Component Analysis, and Random Forest) have been analysed. The obtained results have indicated that the Principal Component Analysis method significantly improved the performance of the Multilayer Perceptron (MLP) and Logistic Regression algorithms. The highest accuracy rate (98.7%) and sensitivity value (100%) were obtained with the MLP algorithm. Furthermore, mutual information and random forest methods were found to improve the performance of support vector machines and voting algorithms. In conclusion, this study demonstrates the effectiveness of combinations of feature selection methods and ML algorithms in predicting environmental attitudes. The use of an open access dataset increased the transparency and reproducibility of the study. In future studies, the generalizability of the findings can be evaluated by analyses on larger and more diverse data sets.

Keywords

Environmental attitude prediction, Feature selection, Model performance, Classification algorithms

Çevresel Tutumların Sınıflandırılmasında Özellik Seçimi ve Model Performansının İncelenmesi

Abstract

Çevresel tutumlar, bireylerin sürdürülebilirlik ve ekolojik bilinç düzeylerini yansıtan önemli göstergelerden biridir ve bu tutumların doğru bir şekilde tahmin edilmesi, çevresel politikaların ve farkındalık çalışmalarının etkinliğini artırmada kritik bir rol oynamaktadır. Bu doğrultuda, bu çalışmada bireylerin çevresel tutumlarını tahmin etmek amacıyla çeşitli makine öğrenmesi (MÖ) algoritmaları ve farklı özellik seçimi yöntemleri karşılaştırılmıştır. Analizlerde, Türkiye’de yaşayan 384 katılımcıdan elde edilen açık erişimli bir veri seti kullanılmıştır. Çalışma kapsamında, yedi farklı MÖ algoritması (Rasgele Orman, Lojistik Regresyon, Destek Vektör Makineleri, K-En Yakın Komşu, Çok Katmanlı Algılayıcı, Naive Bayes ve Oylama) ile dört özellik seçimi yöntemi (Ekstra Ağaçlar, Karşılıklı Bilgi, Temel Bileşen Analizi ve Rasgele Orman) değerlendirilmiştir. Elde edilen bulgular, Temel Bileşen Analizi yönteminin Çok Katmanlı Algılayıcı (ÇKA) ve Lojistik Regresyon algoritmalarının performansını anlamlı ölçüde artırdığını göstermiştir. En yüksek doğruluk oranı (%98,7) ve duyarlılık değeri (%100) ÇKA algoritması ile elde edilmiştir. Ayrıca, Karşılıklı Bilgi ve Rasgele Orman yöntemlerinin, Destek Vektör Makineleri ve Oylama algoritmalarının performansını iyileştirdiği belirlenmiştir. Sonuç olarak, bu çalışma, çevresel tutumların tahmininde kullanılan özellik seçimi yöntemleri ile MÖ algoritmalarının kombinasyonlarının etkisini ortaya koymaktadır. Açık erişimli bir veri setinin kullanılması, çalışmanın şeffaflığını ve tekrarlanabilirliğini artırmıştır. Gelecekteki çalışmalarda, daha geniş ve çeşitli veri setleri üzerinde gerçekleştirilecek analizlerle elde edilen bulguların genellenebilirliği değerlendirilebilir.

Keywords

Çevresel tutum tahmini, Özellik seçimi, Model performansı, Sınıflandırma algoritmaları

References

• Arslan RU, İşler Y, Toksan M. 2020. Prediction of the success of wart treatment methods. Karaelmas Sci Eng J, 10(1): pp: 44-52.
• Arslan RU, Yapıcı İŞ. 2024. Farklı örnekleme tekniklerine ve farklı sınıflandırıcılara dayanarak kalp yetmezliği tanılı hastaların sağkalımlarının incelenmesi. EMO Bilimsel Dergi, 14(2): pp: 35-47.
• Beiser-McGrath LF, Huber RA. 2018. Assessing the relative importance of psychological and demographic factors for predicting climate and environmental attitudes. Clim Change, 149: pp: 335-347.
• Calculli C, D'Uggento AM, Labarile A, Ribecco N. 2021. Evaluating people's awareness about climate changes and environmental issues: A case study. J Clean Prod, 324: 129244.
• Chethana C. 2021. Prediction of heart disease using different KNN classifier. In: Proceedings of the 5th International Conference on Intelligent Computing and Control Systems (ICICCS), May 2021, IEEE, pp: 1186-1194.
• Değirmenci A. 2024. Comparison of K-Nearest Neighbors, Decision Tree and Support Vector Machines Methods in Predicting Environmental Attitudes. Emerg Trends Electr Electron Eng, 4: 69-78.
• Gifford R, Sussman R. 2012. Environmental attitudes. In: Clayton SD, ed. The Oxford Handbook of Environmental and Conservation Psychology. Oxford University Press, Oxford, UK, 1st ed., pp: 65-80. https://doi.org/10.1093/oxfordhb/9780199733026.013.0004.
• Koklu N, Sulak SA. 2024. Classification of environmental attitudes with artificial intelligence algorithms. Intell Methods Eng Sci, 3(2): pp: 54-62.
• Kollmuss A, Agyeman J. 2002. Mind the gap: why do people act environmentally and what are the barriers to pro-environmental behavior?. Environ Educ Res, 8(3): pp: 239-260.
• Kumari S, Kumar D, Mittal M. 2021. An ensemble approach for classification and prediction of diabetes mellitus using soft voting classifier. Int J Cogn Comput Eng, 2: pp: 40-46.
• Li C, Li L, Zheng J, Wang J, Yuan Y, Lv Z, Liu W. 2022. China’s public firms’ attitudes towards environmental protection based on sentiment analysis and random forest models. Sustainability, 14(9): pp: 5046.
• Lou X, Lin Y, Li LMW. 2022. Predicting priority of environmental protection over economic growth using macroeconomic and individual-level predictors: Evidence from machine learning. J Environ Psychol, 82: 101843.
• Milfont TL, Duckitt J. 2010. The environmental attitudes inventory: A valid and reliable measure to assess the structure of environmental attitudes. J Environ Psychol, 30(1): pp: 80-94. https://doi.org/10.1016/j.jenvp.2009.09.001.
• Uzun R, İşler Y, Toksan M. 2019. WEKA yazılım paketinin siğil tedavi yöntemlerinin başarısının tahmininde kullanımı. Düzce Univ Bilim Teknol Derg, 7(1): pp: 699-708.
• Wang Q, Kou Z, Sun X, Wang S, Wang X, Jing H, Lin P. 2022. Predictive analysis of the pro-environmental behaviour of college students using a decision-tree model. Int J Environ Res Public Health, 19(15): pp: 9407.
• Yapıcı İŞ, Arslan RU, Alkan F. 2023. Makine öğrenmesi tabanlı çevresel tutum sınıflandırmasında varyans analizi yaklaşımı. In: Proceedings of the 2nd International Colosseum Scientific Researches and Innovation Congress, February 22-23, Italy, pp: 6-16.