Determining the Best Model with Deep Neural Networks: Keras Application on Mushroom Data

Year 2019, Volume: 29 Issue: 3, 406 - 417, 30.09.2019

Gazel Ser Cafer Tayyar Bati

https://doi.org/10.29133/yyutbd.505086

Cited By: 13

Abstract

This
study was conducted to reveal the best classifying model with deep neural
networks. For this purpose, 20 different candidate models of optimization
method (Sgd, Adagrad, Rmsprop, Adam and Nadam), activation function (Tanh and
ReLU) and combinations of neurons were studied. By comparing the performance of
these candidate models, the best model for classification was determined. The
present results indicated that the performance of the models varied according
to the parameters, the most successful model has 64 neurons in the hidden
layer, the activation function was ReLU and the Rmsprop was used as the
optimization method (92% accuracy). In addition, it was determined that the
model with the lowest success rate was the model with 32 neurons, ReLU
activation function and Sgd optimization method (70% accuracy). Also considering
all results; Rmsprop, Adam and Nadam optimization methods were found to be more
successful than the other two methods and ReLU activation function produced
more successful results than Tanh. As a result, while creating a model in deep learning studies;
optimization algorithms, activation functions and number of neurons model
performances can be tried according to different options. In addition, when the model
is worked with combinations of different parameters of optimization methods, a
more suitable architecture is obtained for the data set.

Keywords

Keras, Mushroom, Optimization algorithm, Python, Artificial neural networks

Derin Sinir Ağları ile En İyi Modelin Belirlenmesi: Mantar Verileri Üzerine Keras Uygulaması

Abstract

Bu
çalışma, derin sinir ağlarında en iyi sınıflandırma modelini bulmak amacıyla
gerçekleştirilmiştir. Bu amaçla, optimizasyon yöntemi (Sgd,
Adagrad, Rmsprop, Adam ve Nadam), aktivasyon fonksiyonu (Tanh
ve ReLU) ve nöron sayılarının kombinasyonları kullanılarak 20 farklı model
oluşturulmuştur. Oluşturulan model kombinasyonlarının performansları
karşılaştırılarak, sınıflandırma için en iyi model belirlenmiştir. Sonuçlara
göre; modellerin performanslarının parametrelere bağlı olarak değişkenlik
gösterdiği, en başarılı modelin gizli katmanında 64 nöron bulunduğu, aktivasyon
fonksiyonunun ReLU olduğu ve optimizasyon yöntemi olarak da Rmsprop
kullanıldığı belirlenmiştir (%92 doğruluk). 
Bununla beraber, en düşük başarı oranıyla sınıflandırma yapan modelin 32
nöronlu, ReLU aktivasyon fonksiyonlu ve Sgd optimizasyon yöntemli model olduğu
belirlenmiştir (% 70 doğruluk). Ayrıca tüm sonuçlar göz önüne alındığında;
Rmsprop, Adam ve Nadam optimizasyon yöntemlerinin diğer iki yönteme göre, ReLU
aktivasyon fonksiyonunun ise Tanh’a göre daha başarılı olduğu belirlenmiştir.
Sonuç olarak derin öğrenme çalışmalarında model
oluşturulurken; optimizasyon algoritmalarının, aktivasyon
fonksiyonlarının ve nöron sayılarının farklı seçeneklerine göre model
performanslarını denemek mümkündür. Ayrıca oluşturulan modelde, optimizasyon
yöntemlerinin farklı parametrelerinin kombinasyonlarıyla çalışıldığında, veri setine daha uygun mimari elde edilmektedir. 

Keywords

Keras, Mantar, Optimizasyon yöntemi, Python

References

• Anonim, (2016). Optimization techniques comparison in Julia: SGD, Momentum, Adagrad, Adadelta, Adam. https://int8.io/comparison-of-optimization-techniques-stochastic-gradient-descent-momentum-adagrad-and-adadelta/. Erişim tarihi: 07.10.2018
• Anonim, (2018a). Deep Neural Network. https://www.techopedia.com/definition/32902/deep-neural-network. Erişim tarihi: 20.09.2018
• Anonim, (2018b). https://towardsdatascience.com/activation-functions-neural-networks-1cbd9f8d91d6. Erişim tarihi: 09.09.2018.
• Çarkacı, N. (2018). Derin öğrenme uygulamalarında en sık kullanılan Hiper parameteler. https://medium.com/deep-learning-turkiye/derin-ogrenme-uygulamalarinda-en-sik-kullanilan-hiper-parametreler-ece8e9125c4. Erişim tarihi: 06.11.2018
• Dua, D. and Karra Taniskidou, E. (2017). UCI Machine Learning Repository [http://archive.ics.uci.edu/ml]. Irvine, CA: University of California, School of Information and Computer Science.
• Kızrak, M.A., Bolat, B., (2018). Derin öğrenme ile Kalabalık Analizi üzerine detaylı bir araştırma. Bilişim Teknolojileri Dergisi. 11(3): 263-286.
• Koptur, M. (2017). Yapay sinir ağları ve derin öğrenme-1. https://makineogrenimi.wordpress.com/2017/07/15/yapay-sinir-aglari-ve-derin-ögrenme-1/. Erişim tarihi: 12.10.2018
• Kurt, F. (2018). Evrişimli Sinir Ağlarında Hiper Parametrelerin Etkisinin İncelenmesi. Hacattepe Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Anabilim Dalı (Yüksek Lisans Tezi).
• Kutlu, H. (2018). Biyoistatistik Temelli Bilimsel Araştırmalarda Derin Öğrenme Uygulamaları. Yakındoğu Üniversitesi, Sağlık Bilimleri Enstitüsü, Biyoistatistik. (Yüksek Lisans tezi).
• Li, P. (2017). Optimization Algorithms for Deep Learning. Department of Systems Engineering and Engineering Management. The Chinese University of Hong KongMaksutov, R. (2018). Deep study of a not very deep neural network. Part 3b: Choosing an optimizer. https://medium.com/@maksutov.rn/deep-study-of-a-not-very-deep-neural-network-part-3b-choosing-an-optimizer-de8965aaf1ff. Erişim tarihi: 07.10.2018
• Okut, H., (2018). Artificial Neural Network, Course Materials.
• Okut, H., Gianola, D., Rosa, G.J.M., Weigel, K.A., (2011). Prediction of body mass index in mice using dense molecular markers and a regularized neural network. Genetics Research. 93(3): 189-201
• Öztemel, E. (2012). Yapay sinir Ağları. Papatya yayıncılık.
• Priddy, K.L., Keller, P.E., (2005). Artificial neural network: An Introduction. The International Society for Optical Engineering. ISBN 0-8194- 5987-9. Bellingham, Washington USA
• Ramachandran, P., Zoph, B., Le, Q.V. (2017). Searching for activation Functions. ArXive-prints arXiv:1710.05941v2 [cs.NE] 27 Oct 2017
• Ruder, S. (2016). "An overview of gradient descent optimization algorithms," ArXive-prints, vol. 1609. http://adsabs.harvard.edu/abs/2016arXiv160904747R
• Sharma, A. (2017). Undersstanding Activation Functions in Neural Networks. https://medium.com/the-theory-of-everything/understanding-activation-functions-in-neural-networks-9491262884e0. Erişim tarihi: 13.10.2018
• Şengöz, N. (2017). Yapay sinir ağları. http://www.derinogrenme.com/author/nilgunsengoz/. Erişim tarihi: 13.10.2018
• Walia, A.S. (2017a). Types of optimization algoritms used in neural networks and ways to optimize gradient descent. https://towardsdatascience.com/types-of-optimization-algorithms-used-in-neural-networks-and-ways-to-optimize-gradient-95ae5d39529f. Erişim tarihi: 10.12.2018
• Walia, A.S. (2017b). Activation functions and it’s types-Whic is better. https://towardsdatascience.com/activation-functions-and-its-types-which-is-better-9a5310cc8f. Erişim tarihi: 10.12.2018