Optimizing Hyperparameters for Enhanced Performance in Convolutional Neural Networks: A Study Using NASNetMobile and DenseNet201 Models

Yıl 2024, , 42 - 52, 30.04.2024

İbrahim Aksoy , Kemal Adem

https://doi.org/10.46387/bjesr.1419106

Öz

Convolutional neural networks, inspired by the workings of biological neural networks, have proven highly successful in tasks like image data recognition, classification, and feature extraction. Yet, designing and implementing these networks pose certain challenges. One such challenge involves optimizing hyperparameters tailored to the specific model, dataset, and hardware. This study delved into how various hyperparameters impact the classification performance of convolutional neural network models. The investigation focused on parameters like the number of epochs, neurons, batch size, activation functions, optimization algorithms, and learning rate. Using the Keras library, experiments were conducted using NASNetMobile and DenseNet201 models—highlighted for their superior performance on the dataset. After running 65 different training sessions, accuracy rates saw a notable increase of 6.5% for NASNetMobile and 11.55% for DenseNet201 compared to their initial values.

Anahtar Kelimeler

Image Classification, DenseNet, NASNetMobile, Hyperparameters, Activation Function, Optimization Algorithm, CNN

Evrişimli Sinir Ağlarında Gelişmiş Performans için Hiperparametrelerin Optimize Edilmesi: NASNetMobile ve DenseNet201 Modellerini Kullanan Bir Çalışma

Öz

Biyolojik sinir ağlarının işleyişinden esinlenen evrişimli sinir ağlarının görüntü verisi tanıma, sınıflandırma ve özellik çıkarma gibi görevlerde oldukça başarılı olduğu kanıtlanmıştır. Yine de, bu ağların tasarlanması ve uygulanması bazı zorluklar ortaya çıkarmaktadır. Bu zorluklardan biri, belirli model, veri kümesi ve donanıma göre uyarlanmış hiperparametrelerin optimize edilmesidir. Bu çalışmada, çeşitli hiperparametrelerin evrişimli sinir ağı modellerinin sınıflandırma performansını nasıl etkilediği araştırılmıştır. Araştırma epok sayısı, nöronlar, yığın boyutu, aktivasyon fonksiyonları, optimizasyon algoritmaları ve öğrenme oranı gibi parametrelere odaklanmıştır. Keras kütüphanesi kullanılarak NASNetMobile ve DenseNet201 modelleri (veri kümesindeki üstün performansları nedeniyle vurgulanmıştır) kullanılarak deneyler yapılmıştır. 65 farklı eğitim oturumu gerçekleştirildikten sonra, doğruluk oranları ilk değerlerine kıyasla NASNetMobile için %6,5 ve DenseNet201 için %11,55 oranında kayda değer bir artış göstermiştir.

Anahtar Kelimeler

Görüntü Sınıflandırma, DenseNet, NASNetMobile, Hiperparametreler, Aktivasyon Fonksiyonları, Optimizasyon Algoritmaları, Öğrenme Oranı, ESA

Kaynakça

• E. Öztemel “Yapay sinir ağları”, Papatya Yayıncılık, İstanbul, 2003.
• S. Aktürk and K. Serbest, “Nesne Tespiti İçin Derin Öğrenme Kütüphanelerinin İncelenmesi”, Journal of Smart Systems Research, vol. 3, no. 2, pp. 97-119, 2022.
• A. Onan, “Evrişimli sinir ağı mimarilerine dayalı Türkçe duygu analizi”, Avrupa Bilim ve Teknoloji Dergisi, pp. 374-380, 2020.
• L.N. Smith, “Cyclical learning rates for training neural networks”, IEEE winter conference on applications of computer vision (WACV), pp. 464-472, 2017.
• C. Bircanoğlu and N. Arıca, “Yapay Sinir Ağlarında Aktivasyon Fonksiyonlarının Karşılaştırılması”, in 2018 26th signal processing and communications applications conference (SIU). IEEE, pp. 1-4, İzmir, 2018.
• A. Gülcü and Z. Kuş, “Konvolüsyonel sinir ağlarında hiper-parametre optimizasyonu yöntemlerinin incelenmesi”, Gazi University Journal of Science Part C: Design and Technology, pp. 503-522, 2019.
• E. Seyyarer, F. Ayata, T. Uçkan and A. Karci, “Derin öğrenmede kullanılan optimizasyon algoritmalarının uygulanması ve kıyaslanması”, Computer Science, vol. 5, no. 2, pp. 90-98, 2020.
• K. Adem, “P+ FELU: Flexible and trainable fast exponential linear unit for deep learning architectures”, Neural Computing and Applications, vol. 34, no. 24, pp. 21729-21740, 2022.
• P. Liashchynskyi and P. Liashchynskyi, “Grid search, random search, genetic algorithm: a big comparison for NAS”, arXiv preprint arXiv:1912.06059, 2019.
• Kaggle, “Dogs & Cats Images”, url: https://www.kaggle.com/datasets/chetankv/dogs-cats-images, (Access Date: 01/01/2024).
• Kaggle, “pizza classification data”, url: https://www.kaggle.com/datasets/projectshs/pizza-classification-data, (Access Date: 01/01/2024).
• A.G. Ivakhnenko and V.G. Lapa, “Cybernetic predicting devices”, 1966.
• [13] A. Şeker, B. Diri and H. Balık, “Derin öğrenme yöntemleri ve uygulamaları hakkında bir inceleme”, Gazi Mühendislik Bilimleri Dergisi, vol. 3, no. 3, pp. 47-64, 2017.
• Ö. İnik and E. Ülker, “Derin Öğrenmede Kullanılan Veri Setleri ve Yazılım Kütüphaneleri”, International Symposium on Multidisciplinary Studies and Innovative Technologies (ISMSIT) 2017, Tokat, 2017.
• F.D. Adhinata, D.P. Rakhmadani, M. Wibowo and A. Jayadi, “A deep learning using DenseNet201 to detect masked or non-masked face”, JUITA: Jurnal Informatika, vol. 9, no. 1, pp. 115-121, 2021.
• S.H. Wang and Y.D. Zhang, “DenseNet-201-based deep neural network with composite learning factor and precomputation for multiple sclerosis classification”, ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), vol. 16, no. 2, pp. 1-19, 2020.
• A.O. Adedoja, P.A. Owolawi, T. Mapayi and C. Tu, “Intelligent Mobile Plant Disease Diagnostic System Using NASNet-Mobile Deep Learning”, IAENG International Journal of Computer Science, vol. 49, no. 1, pp. 216-231, 2022.
• A. Daşgın, “Covid19 Yayılımını Azaltmak İçin Yüz Maskesinin Evrişimsel Sinir Ağı Modelleri İle Tespiti”, Master’s thesis, Sosyal Bilimler Enstitüsü, Aksaray Üniversitesi, Aksaray, 2023.
• C. Doğan, “İstatistiksel ve Makine Öğrenme ile Derin Sinir Ağlarında Hiper-Parametre Seçimi İçin Melez Yaklaşım”, Master’s thesis, Fen Bilimleri Enstitüsü, Hacettepe Üniversitesi, Ankara, 2021.
• F. Kurt, “Evrişimli Sinir Ağlarında Hiper Parametrelerin Etkisinin İncelenmesi”, Master’s thesis, Fen Bilimleri Enstitüsü, Hacettepe Üniversitesi, Ankara, 2018.
• J. Brownlee, “What is the Difference Between a Batch and an Epoch in a Neural Network”, Machine Learning Mastery, vol. 20, 2018.
• W. Hastomo, A.S.B. Karno, N. Kalbuana, and A. Meiriki, “Characteristic parameters of epoch deep learning to predict Covid-19 data in Indonesia”, Journal of Physics: Conference Series, vol. 1933, no. 1, pp. 1-4, 2021.
• M.A. Bülbül and C. Öztürk, “Optimization, modeling and implementation of plant water consumption control using genetic algorithm and artificial neural network in a hybrid structure”, Arabian Journal for Science and Engineering, vol. 47, no. 2, pp. 2329-2343, 2022.
• A. Zhang, Z.C. Lipton, M. Li and A.J. Smola, “Dive into deep learning”, arXiv preprint arXiv:2106.11342, 2021.
• T. Ünal, Ü. Çiftçi and N.N. Urgan, “Bir Gizli Katmanlı Yapay Sinir Ağlarında Optimal Nöron Sayısının İncelenmesi”, Süleyman Demirel Üniversitesi Fen Edebiyat Fakültesi Fen Dergisi, vol. 17, no. 2, pp. 303-325, 2022.
• L.N. Smith, “A disciplined approach to neural network hyper-parameters: Part 1-learning rate, batch size, momentum, and weight decay”, arXiv preprint arXiv:1803.09820, 2018.
• G. Ser and C.T. Bati, “Derin sinir ağları ile en iyi modelin belirlenmesi: mantar verileri üzerine Keras uygulaması”, Yuzuncu Yıl University Journal of Agricultural Sciences, vol. 29, no. 3, pp. 406-417, 2019.
• D. Kulshrestha, “Activation Functions in Machine Learning”, url: https://iq.opengenus.org/activation-functions-ml/, (Access Date: 03.12.2023).
• S. Kılıçarslan, C. Közkurt, S. Baş and A. Elen, “Detection and classification of pneumonia using novel Superior Exponential (SupEx) activation function in convolutional neural networks”, Expert Systems with Applications, vol. 217, no. 119503, 2023.
• S. Kılıçarslan and M. Çelik, “RSigELU: A nonlinear activation function for deep neural networks”, Expert Systems with Applications, vol. 174, no. 114805, 2021.
• M.A. Bülbül, “Optimization of artificial neural network structure and hyperparameters in hybrid model by genetic algorithm: iOS–android application for breast cancer diagnosis/prediction”, The Journal of Supercomputing, pp. 1-21, 2023.
• R. Sun, “Optimization for deep learning: theory and algorithms”, arXiv preprint arXiv:1912.08957, 2019.
• Y. Bengio, “Practical recommendations for gradient-based training of deep architectures”, Neural Networks: Tricks of the Trade: Second Edition, pp. 437-478, 2012.