Bootstrap-Driven Feature Weighting For Stable k-NN Performance

Year 2025, Issue: Advanced Online Publication, 37 - 38

Noor Baha Aldin

https://doi.org/10.34248/bsengineering.1796638

Abstract

The k-Nearest Neighbors (k-NN) algorithm is widely used due to its simplicity, flexibility, but it often does not work well in the existence of irrelevant features. This article proposed a data driven lightweight feature selection (FS) method which uses the bootstrap sample and applies stability and predictive relevance estimates for each feature. It obtained aggregate mutual information (MI) values over resampled subsets, from which feature weights are derived and used to improve the distance metric in the k-NN, without the need for a complicated model training or tuning of any hyperparameters. Experiments on dataset show that the proposed method leads to better classification accuracy and robustness than standard k-NN. The method is fully interpretable and can be integrated into the framework of the k-NN.

Keywords

k-nearest neighbors , Feature weighting , Bootstrap resampling , Stable classification

Bootstrap-Driven Feature Weighting For Stable k-NN Performance

Abstract

k-En Yakın Komşular (k-NN) algoritması basitliği ve esnekliği nedeniyle yaygın olarak kullanılır, ancak alakasız özelliklerin varlığında çoğu zaman iyi çalışmaz. Bu makale, önyükleme örneğini kullanan ve her özellik için kararlılık ve tahmini alaka tahminleri uygulayan veri odaklı hafif bir özellik seçimi (FS) yöntemi önermektedir. Bu yöntem, karmaşık bir model eğitimi veya herhangi bir hiperparametrenin ayarlanmasına gerek kalmadan, özellik ağırlıklarının türetildiği ve k-NN'deki mesafe metriğini iyileştirmek için kullanıldığı yeniden örneklenen alt kümeler üzerinde toplu karşılıklı bilgi (MI) değerlerini elde etti. Veri setinde yapılan deneyler, önerilen yöntemin standart k-NN'den daha iyi sınıflandırma doğruluğu ve sağlamlığına yol açtığını göstermektedir. Yöntem tamamen yorumlanabilir ve k-NN çerçevesine entegre edilebilir.

Keywords

k-En Yakın Komşular , Özellik ağırlıklandırması , Önyükleme yeniden örneklemesi , Kararlı sınıflandırma

References

• Altman, N. (1992). An introduction to kernel and nearest-neighbor nonparametric regression. The American Statistician, 46, 175–185.
• Hanchuan, P., Fuhui, L., & Ding, C. (2005). Feature selection based on mutual information criteria of max-dependency, max-relevance, and min-redundancy. IEEE Transactions on Pattern Analysis and Machine Intelligence, 27, 1226–1238.