Sinüs Kosinüs Algoritması ile Çok Katmanlı Algılayıcı Eğitimi

Öz

Yapay sinir ağlarının (YSA) eğitilmeleri açısından, meta-sezgisel yöntemlerin geleneksel, eğim tabanlı yöntemlere göre üstünlükleri, bilimsel yazındaki çok sayıda çalışma ile gösterilmiştir. Bu çalışmanın amacı, bir YSA türü olan Çok Katmanlı Algılayıcı (ÇKA) eğitimindeki başarım açısından, bir meta-sezgisel en iyileştirme yöntemi olan Sinüs Kosinüs Algoritması (SKA) ile iki başka yöntemin (parçacık sürü en iyileştirmesi (PSEİ) ve yarasa algoritması (YA)) karşılaştırılmasıdır. Bütün yöntemlerin, Kaliforniya Üniversitesi, Irvine, Yapay Öğrenme Kaynağı üzerinden alınan beş hastalık ile ilgili veri kümesinde (göğüs kanseri, diyabet, karaciğer, omurga ve parkinson) ikili sınıflandırmadaki başarım değerlendirmeleri yapılmıştır. Deney sonuçlarında, SKA ile eğitilen ÇKA’lar %97’ye varan yüksek doğruluk oranlarına ulaşmıştır. Yöntem, YA’dan büyük çoğunlukla daha yüksek, PSEİ’den büyük çoğunlukla daha düşük başarım göstermiştir. PSEİ yöntemi genel olarak daha yüksek başarı gösterse de, SKA yöntemi de bir veri kümesinde en yüksek, kalan veri kümelerinin biri dışında hepsinde ikinci en yüksek eğitim başarımını göstermiştir. İncelenen yöntem arama uzaylarında, hem yüksek keşfetme ve yerel en iyiden kaçınma, hem de amaçlanan değerlere yüksek yakınsama hızları göstermektedir. Bu sonuçlar, SKA’nın ÇKA eğitiminde yetkin ve etkili olabildiğini ortaya koymaktadır.

Anahtar Kelimeler

• Yapay Sinir Ağları
• Çok Katmanlı Algılayıcı
• Meta-sezgisel Yöntemler
• Sinüs Kosinüs Algoritması

Multilayer Perceptron Training with Sine Cosine Algorithm

Abstract

The superiority of metaheuristic methods over conventional, gradient-based methods, in terms of training artificial neural networks (ANN), has been shown with numerous studies in the literature. The aim of this study is to compare the Sine Cosine Algorithm (SCA), which is a metaheuristic optimization method, with two other methods (particle swarm optimization (PSO) and bat algorithm (BA)) in terms of the performance in Multilayer Perceptron (MLP) training, which is a type of ANN. Performance evaluations of all methods on binary classification were made on five datasets which are related with diseases (breast cancer, diabetes, liver disorders, vertebral column, and parkinsons) obtained from the University of California, Irvine, Machine Learning Repository. In the results of the experiments, the MLPs which were trained with the SCA have achieved high accuracy rates up to 97%. The method performed mostly higher than the BA and mostly lower than the PSO. Although the PSO method showed higher success in general, the SCA method also showed the highest training performance in one dataset and the second highest in all but one of the remaining datasets. In the search spaces, the investigated method shows both high exploration and avoidance of local optimum, as well as high convergence rates to the aimed values. These results reveal that, the SCA can be competent and effective at training the MLP.

Keywords

• Artificial Neural Networks
• Multilayer Perceptron
• Metaheuristic Methods
• Sine Cosine Algorithm

Kaynakça

1. Bebis, G. ve Georgiopoulos, M. (1994). Feed-forward neural networks. IEEE Potentials, 13(4), 27–31. https://doi.org/10.1109/45.329294
2. Faris, H., Aljarah, I. ve Fouad, M. M. (2020). EvoloPy-NN. GitHub. https://github.com/7ossam81/EvoloPy-NN/
3. Faris, H., Aljarah, I., Mirjalili, S., Castillo, P. A. ve Merelo, J. J. (2016). EvoloPy: An open-source nature-inspired optimization framework in Python. Proceedings of the 8th International Joint Conference on Computational Intelligence - IJCCI 2016, 1, 171–177. https://doi.org/10.5220/0006048201710177
4. Kennedy, J. ve Eberhart, R. (1995). Particle swarm optimization. Proceedings of the International Conference on Neural Networks - ICNN 1995, 4, 1942–1948. https://doi.org/10.1109/ICNN.1995.488968
5. McCulloch, W. S. ve Pitts, W. (1943). A logical calculus of the ideas immanent in nervous activity. The Bulletin of Mathematical Biophysics 1943, 5(4), 115–133. https://doi.org/10.1007/BF02478259
6. Mirjalili, S. (2015). How effective is the grey wolf optimizer in training multi-layer perceptrons. Applied Intelligence, 43(1), 150–161. https://doi.org/10.1007/s10489-014-0645-7
7. Mirjalili, S. (2016). SCA: A sine cosine algorithm for solving optimization problems. Knowledge-Based Systems, 96, 120–133. https://doi.org/10.1016/j.knosys.2015.12.022
8. Mirjalili, S. M., Mirjalili, S. Z., Saremi, S. ve Mirjalili, S. (2020). Sine cosine algorithm: Theory, literature review, and application in designing bend photonic crystal waveguides. Studies in Computational Intelligence, 811, 201–217. https://doi.org/10.1007/978-3-030-12127-3_12

9. University of California, Irvine, Machine Learning Repository (2021). Data Sets. http://archive.ics.uci.edu/ml/datasets.php
10. Yang, X.-S. (2010). A new metaheuristic bat-inspired algorithm. Studies in Computational Intelligence, 284, 65–74. https://doi.org/10.1007/978-3-642-12538-6_6