How to Achieve Consensus for Classification Problems about R&D Incentives with Multi-Criteria Decision Making Methods?
Öz
Multi-Criteria Decision Making (MCDM) methods include scientific approaches that play an active role in decision support systems from the first step to the last step of the data discovery process. In this study, the MCDM methods are used to reach a consensus on the results obtained using machine learning algorithms for classification problems. As each data feature has a different level of importance, MCDM methods are also used to weight these features. In this study, AHP, Entropy and CRITIC methods are used for feature weighting. Additionally, the following machine learning classification algorithms were applied to classify the weighted data: Logistic Regression, k-Nearest Neighbours, Support Vector Machines and Random Forest. Various performance measures, such as Accuracy, Precision, Sensitivity, F1-Score and AUC, were used to evaluate the performance of the classification methods. These criteria were adopted and a decision matrix was created. Each criterion was weighted using the IDOCRIW method. The rankings of the classification methods applied were calculated using various MCDM methods, such as TOPSIS, EDAS, CODAS and MABAC. The application considers a classification problem in the field of R&D incentives. All calculations were performed using the Python 3.11.3. PyDecision library. The results were analysed and discussed in detail. When the performances of the classification algorithms weighted with AHP, Entropy and CRITIC methods are ranked using different MCDM methods, it is concluded that the Random Forest algorithm is the preferred among all of the obtained results while the k-Nearest Neighbours algorithm is the least preferred one.
Anahtar Kelimeler
R&D Incentives, Classification Problem, Machine Learning Classification Algorithms, Multi Criteria Decision
Making Methods (MDCM), Performance Metrics
Ar-Ge Teşviklerine Yönelik Sınıflandırma Problemleri için Çok Kriterli Karar Verme Yöntemleriyle Uzlaşık Karar Verme Nasıl Sağlanır?
Öz
Çok Kriterli Karar Verme (ÇKKV) yöntemleri, veri keşfi sürecinin ilk adımından son adımına kadar her aşamada karar destek sistemlerinde aktif rol oynayan bilimsel yaklaşımları içerir. Bu çalışmada, ÇKKV yöntemleri, sınıflandırma problemlerinde makine öğrenmesi algoritmaları ile elde edilen sonuçların değerlendirilmesinde uzlaşık çözüm elde edilmesi amacıyla uygulanmıştır. Veriye ait her bir özellik farklı önem düzeylerine sahip olduğundan bu özelliklerin ağırlıklandırılmasında da ÇKKV yöntemleri kullanılmaktadır. Buna göre, çalışmada, özellik ağırlıklandırması amacıyla AHP, Entropi ve CRITIC yöntemleri kullanılmıştır. Ayrıca, ağırlıklandırılmış verinin sınıflandırılması amacıyla Lojistik Regresyon, k-En Yakın Komşu algoritması, Destek Vektör Makineleri ve Rasgele Orman makine öğrenmesi sınıflandırma algoritmaları uygulanmıştır. Sınıflandırma algoritmalarının performansının değerlendirilmesi için Doğruluk, Kesinlik, Duyarlılık, F1-Skor ve AUC gibi çeşitli performans ölçütleri kullanılmıştır. Bu ölçütler kriter olarak kabul edilerek bir karar matrisi oluşturulmuştur. Her bir kriter, IDOCRIW yöntemi ile ağırlıklandırılmıştır. Uygulanan sınıflandırma yöntemlerinin sıralamaları, TOPSIS, EDAS, CODAS ve MABAC gibi çeşitli ÇKKV yöntemleri ile hesaplanmıştır. Uygulama kapsamında Ar-Ge teşvikleri alanından bir sınıflandırma problemi ele alınmıştır. Tüm hesaplamalar Python 3.11.3. PyDecision kütüphanesi kullanılarak gerçekleştirilmiş ve elde edilen sonuçlar ayrıntılı biçimde analiz edilip tartışılmıştır. AHP, Entropi ve CRITIC yöntemleri ile ağırlıklandırılmış sınıflandırma algoritmalarının performansları farklı ÇKKV yöntemleri ile sıralandığında elde edilen tüm sonuçlarda Rasgele Orman algoritmasının öncelikli tercih edildiği, k-En Yakın Komşu algoritmasının son sırada tercih edilebileceği bilgisine ulaşılmıştır.
Anahtar Kelimeler
Ar-Ge Teşvikleri, Çok Kriterli Karar Verme (ÇKKV) Yöntemleri, Makine Öğrenmesi Sınıflandırma Algoritmaları, Performans Ölçütleri, Sınıflandırma Problemi
Bu çalışma, birinci yazarın, ikinci yazarın danışmanlığında hazırladığı doktora tezinden üretilmiştir.