Metaheuristic Training of Multilayer Perceptrons for Medical Classification: A Comparative Study of HO, Puma, SFOA, and WSO

Abstract

The performance of Multi-Layer Perceptron (MLP) models depends on the effective optimization of weight and bias parameters during the training process. Gradient-based learning methods may not always produce stable and high-performance results due to factors such as initial sensitivity, the need for derivative information, and stagnation at local minima in complex, high-dimensional search spaces. In this study, four current metaheuristic algorithms for optimizing the weight and bias parameters of MLPs were evaluated comparatively: Hippopotamus Optimization Algorithm (HO), Puma Optimizer, Starfish Optimization Algorithm (SFOA), and War Strategy Optimization Algorithm (WSO). The algorithms were tested on the Diabetes, Diagnosis, Mammographic Mass, and Wisconsin Breast Cancer datasets. The same MLP architecture and experimental conditions were used for each dataset; the data were evaluated with an 80% training and 20% testing split. Each method was run in 10 independent runs, with a population size of 30 and a number of iterations of 100, and candidate solutions were limited to the range [-10, 10]. Performance was measured by accuracy, precision, and F1-score; the overall ranking of the methods was examined using the Friedman test. The findings show that metaheuristic performance is sensitive to the dataset. In general, Puma-based training produced more competitive results in accuracy and F1-scores in most datasets, while HO excelled in precision and stability in some scenarios. Although SFOA and WSO produced competitive results in certain datasets, they did not exhibit consistent superiority across all metrics. The results demonstrate that the selection of meta-heuristic methods for MLP training should consider dataset characteristics and target metrics and provide a practical comparison framework for medical decision support applications. In addition, mean and standard deviation values are reported for each dataset, and the strengths of the methods are discussed based on the best run results.

Keywords

• Medical datasets
• multi-layer perceptron
• metaheuristic optimization
• training neural network
• evolving neural network.

Tıbbi Sınıflandırmada MLP Eğitimi için Güncel Meta-sezgisel Yöntemlerin Karşılaştırmalı Analizi: HO, Puma, SFOA ve WSO

Abstract

Çok Katmanlı Algılayıcı (Multi-Layer Perceptron, MLP) modellerinin başarımı, eğitim sürecinde ağırlık ve bias parametrelerinin etkin biçimde optimize edilmesine bağlıdır. Gradyan temelli öğrenme yöntemleri; başlangıca duyarlılık, türev bilgisi gereksinimi ve karmaşık, yüksek boyutlu arama uzaylarında yerel minimumlarda duraksama gibi nedenlerle her zaman kararlı ve yüksek performanslı sonuçlar üretemeyebilir. Bu çalışmada, MLP’nin ağırlık ve bias parametrelerinin optimizasyonu için dört güncel meta-sezgisel algoritma karşılaştırmalı olarak değerlendirilmiştir: Hippopotamus Optimization Algorithm (HO), Puma Optimizer, Starfish Optimization Algorithm (SFOA) ve War Strategy Optimization Algorithm (WSO). Algoritmalar, Diabetes, Diagnosis, Mammographic Mass ve Wisconsin Breast Cancer veri kümeleri üzerinde test edilmiştir. Her veri kümesi için aynı MLP mimarisi ve aynı deney koşulları kullanılmış; veriler %80 eğitim ve %20 test ayrımıyla değerlendirilmiştir. Her yöntem 10 bağımsız koşumda çalıştırılmış, popülasyon büyüklüğü 30 ve iterasyon sayısı 100 olarak belirlenmiş, aday çözümler [-10, 10] aralığında sınırlandırılmıştır. Başarım doğruluk (accuracy), kesinlik (precision) ve F1-skoru ile ölçülmüş; yöntemlerin genel sıralaması Friedman testiyle incelenmiştir. Bulgular, meta-sezgisel performansın veri kümesine duyarlı olduğunu göstermektedir. Genel olarak Puma tabanlı eğitim çoğu veri kümesinde doğruluk ve F1-skorunda daha rekabetçi sonuçlar üretirken, HO bazı senaryolarda kesinlik değerlerinde ve kararlılıkta öne çıkmıştır. SFOA ve WSO belirli veri kümelerinde rekabetçi sonuçlar üretebilse de tüm metriklerde tutarlı bir üstünlük sergilememiştir. Elde edilen sonuçlar, MLP eğitimi için meta-sezgisel yöntem seçiminin veri seti özellikleri ve hedef metrikler dikkate alınarak yapılması gerektiğini ortaya koymakta ve tıbbi karar destek uygulamaları için pratik bir karşılaştırma çerçevesi sunmaktadır. Ek olarak her veri kümesi için ortalama ve standart sapma değerleri raporlanmış, en iyi koşum sonuçları üzerinden yöntemlerin güçlü yönleri tartışılmıştır.

Keywords

• Tıbbi veri kümeleri
• çok katmanlı algılayıcı
• metasezgisel optimizasyon
• eğitilen sinir ağı
• gelişen sinir ağı.

References

1. Shaygan M, Meese C, Li W, George X, Nejad M. Traffic prediction using artificial intelligence: Review of recent advances and emerging opportunities. Transp Res Part C Emerg Technol 2022; 145: 103921. doi: 10.1016/j.trc.2022.103921.
2. Chauhan D, Yadav A, Neri F. A multi-agent optimization algorithm and its application to training multilayer perceptron models. Evol Syst 2024; 15(3): 849-879. doi: 10.1007/s12530-023-09518-9.
3. Montana DJ, Davis L. Training feedforward neural networks using genetic algorithms. In: IJCAI; 1989; 89: 762-767.
4. Mendes R et al. Particle swarms for feedforward neural network training. In: Proceedings of the 2002 International Joint Conference on Neural Networks (IJCNN'02); 2002. Vol. 2, pp. 1895-1899. IEEE.
5. Socha K, Blum C. An ant colony optimization algorithm for continuous optimization: Application to feed-forward neural network training. Neural Comput Appl 2007; 16(3): 235-247. doi: 10.1007/s00521-007-0084-z.
6. Altay O, Varol E. A novel hybrid multilayer perceptron neural network with improved grey wolf optimizer. Neural Comput Appl 2023; 35(1): 529-556. doi: 10.1007/s00521-022-07775-4.
7. Mohapatra S. MLP-FOX: a metaheuristic approach-based training multilayer perceptron for data classification. In: 2024 1st Int Conf Cogn Green Ubiquitous Comput; 2024. pp. 1-6. doi: 10.1109/IC-CGU58078.2024.10530732.
8. Bansal P. MLP-LOA: a metaheuristic approach to design an optimal multilayer perceptron. Soft Comput 2019; 23(23): 12331-12345. doi: 10.1007/s00500-019-03773-2.

9. Amiri MH, Hashjin NM, Montazeri M, Mirjalili S, Khodadadi N. Hippopotamus optimization algorithm: a novel nature-inspired optimization algorithm. Sci Rep 2024; 14(1): 5032. doi: 10.1038/s41598-024-54910-3.
10. Abdollahzadeh B et al. Puma optimizer (PO): a novel metaheuristic optimization algorithm and its application in machine learning. Cluster Comput 2024; 27(4): 5235-5283. doi: 10.1007/s10586-023-04221-5.
11. Zhong C, Li G, Meng Z, Li H, Yildiz AR, Mirjalili S. Starfish optimization algorithm (SFOA): a bio-inspired metaheuristic algorithm for global optimization with comparing 100 optimizers. Neural Comput Appl 2025; 37(5): 3641-3683. doi: 10.1007/s00521-024-10694-1.
12. Ayyarao TSLV et al. War Strategy Optimization Algorithm: A new effective metaheuristic algorithm for global optimization. IEEE Access 2022; 10: 25073-25105. doi: 10.1109/ACCESS.2022.3153493.
13. Perceptron M, Jalal A. Multimodal Objects Categorization by Fusing GMM and. In: 2024 5th Int Conf Adv Comput Sci; 2024. pp. 1-7. doi: 10.1109/ICACS60934.2024.10473242.
14. Alcalá-Fdez J, Fernández A, Luengo J, Derrac J, García S, Sánchez L, Herrera F. KEEL Data-Mining Software Tool: Data Set Repository, Integration of Algorithms and Experimental Analysis Framework. J Mult-Valued Log Soft Comput 2011; 17(2-3): 255-287.
15. Asuncion A, Newman D. UCI machine learning repository. Irvine, CA, USA: University of California, School of Information and Computer Science, 2007.
16. Ulas M, Altay O, Altay EV. Investigation of the Performance of Artificial Neural Networks Using Different Learning Algorithms in Biomedicine Datasets. IEEE Access 2025; 14: 4756-4791.