Determining the Best Model with Deep Neural Networks: Keras Application on Mushroom Data

Abstract

This study was conducted to reveal the best classifying model with deep neural networks. For this purpose, 20 different candidate models of optimization method (Sgd, Adagrad, Rmsprop, Adam and Nadam), activation function (Tanh and ReLU) and combinations of neurons were studied. By comparing the performance of these candidate models, the best model for classification was determined. The present results indicated that the performance of the models varied according to the parameters, the most successful model has 64 neurons in the hidden layer, the activation function was ReLU and the Rmsprop was used as the optimization method (92% accuracy). In addition, it was determined that the model with the lowest success rate was the model with 32 neurons, ReLU activation function and Sgd optimization method (70% accuracy). Also considering all results; Rmsprop, Adam and Nadam optimization methods were found to be more successful than the other two methods and ReLU activation function produced more successful results than Tanh. As a result, while creating a model in deep learning studies; optimization algorithms, activation functions and number of neurons model performances can be tried according to different options. In addition, when the model is worked with combinations of different parameters of optimization methods, a more suitable architecture is obtained for the data set.

Keywords

• Keras,Mushroom,Optimization algorithm,Python,Artificial neural networks

Derin Sinir Ağları ile En İyi Modelin Belirlenmesi: Mantar Verileri Üzerine Keras Uygulaması

Öz

Bu çalışma, derin sinir ağlarında en iyi sınıflandırma modelini bulmak amacıyla gerçekleştirilmiştir. Bu amaçla, optimizasyon yöntemi (Sgd, Adagrad, Rmsprop, Adam ve Nadam), aktivasyon fonksiyonu (Tanh ve ReLU) ve nöron sayılarının kombinasyonları kullanılarak 20 farklı model oluşturulmuştur. Oluşturulan model kombinasyonlarının performansları karşılaştırılarak, sınıflandırma için en iyi model belirlenmiştir. Sonuçlara göre; modellerin performanslarının parametrelere bağlı olarak değişkenlik gösterdiği, en başarılı modelin gizli katmanında 64 nöron bulunduğu, aktivasyon fonksiyonunun ReLU olduğu ve optimizasyon yöntemi olarak da Rmsprop kullanıldığı belirlenmiştir (%92 doğruluk).  Bununla beraber, en düşük başarı oranıyla sınıflandırma yapan modelin 32 nöronlu, ReLU aktivasyon fonksiyonlu ve Sgd optimizasyon yöntemli model olduğu belirlenmiştir (% 70 doğruluk). Ayrıca tüm sonuçlar göz önüne alındığında; Rmsprop, Adam ve Nadam optimizasyon yöntemlerinin diğer iki yönteme göre, ReLU aktivasyon fonksiyonunun ise Tanh’a göre daha başarılı olduğu belirlenmiştir. Sonuç olarak derin öğrenme çalışmalarında model oluşturulurken; optimizasyon algoritmalarının, aktivasyon fonksiyonlarının ve nöron sayılarının farklı seçeneklerine göre model performanslarını denemek mümkündür. Ayrıca oluşturulan modelde, optimizasyon yöntemlerinin farklı parametrelerinin kombinasyonlarıyla çalışıldığında, veri setine daha uygun mimari elde edilmektedir. 

Anahtar Kelimeler

• Keras,Mantar,Optimizasyon yöntemi,Python

References

1. Anonim, (2016). Optimization techniques comparison in Julia: SGD, Momentum, Adagrad, Adadelta, Adam. https://int8.io/comparison-of-optimization-techniques-stochastic-gradient-descent-momentum-adagrad-and-adadelta/. Erişim tarihi: 07.10.2018
2. Anonim, (2018a). Deep Neural Network. https://www.techopedia.com/definition/32902/deep-neural-network. Erişim tarihi: 20.09.2018
3. Anonim, (2018b). https://towardsdatascience.com/activation-functions-neural-networks-1cbd9f8d91d6. Erişim tarihi: 09.09.2018.
4. Çarkacı, N. (2018). Derin öğrenme uygulamalarında en sık kullanılan Hiper parameteler. https://medium.com/deep-learning-turkiye/derin-ogrenme-uygulamalarinda-en-sik-kullanilan-hiper-parametreler-ece8e9125c4. Erişim tarihi: 06.11.2018
5. Dua, D. and Karra Taniskidou, E. (2017). UCI Machine Learning Repository [http://archive.ics.uci.edu/ml]. Irvine, CA: University of California, School of Information and Computer Science.
6. Kızrak, M.A., Bolat, B., (2018). Derin öğrenme ile Kalabalık Analizi üzerine detaylı bir araştırma. Bilişim Teknolojileri Dergisi. 11(3): 263-286.
7. Koptur, M. (2017). Yapay sinir ağları ve derin öğrenme-1. https://makineogrenimi.wordpress.com/2017/07/15/yapay-sinir-aglari-ve-derin-ögrenme-1/. Erişim tarihi: 12.10.2018
8. Kurt, F. (2018). Evrişimli Sinir Ağlarında Hiper Parametrelerin Etkisinin İncelenmesi. Hacattepe Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Anabilim Dalı (Yüksek Lisans Tezi).

9. Kutlu, H. (2018). Biyoistatistik Temelli Bilimsel Araştırmalarda Derin Öğrenme Uygulamaları. Yakındoğu Üniversitesi, Sağlık Bilimleri Enstitüsü, Biyoistatistik. (Yüksek Lisans tezi).
10. Li, P. (2017). Optimization Algorithms for Deep Learning. Department of Systems Engineering and Engineering Management. The Chinese University of Hong KongMaksutov, R. (2018). Deep study of a not very deep neural network. Part 3b: Choosing an optimizer. https://medium.com/@maksutov.rn/deep-study-of-a-not-very-deep-neural-network-part-3b-choosing-an-optimizer-de8965aaf1ff. Erişim tarihi: 07.10.2018
11. Okut, H., (2018). Artificial Neural Network, Course Materials.
12. Okut, H., Gianola, D., Rosa, G.J.M., Weigel, K.A., (2011). Prediction of body mass index in mice using dense molecular markers and a regularized neural network. Genetics Research. 93(3): 189-201
13. Öztemel, E. (2012). Yapay sinir Ağları. Papatya yayıncılık.
14. Priddy, K.L., Keller, P.E., (2005). Artificial neural network: An Introduction. The International Society for Optical Engineering. ISBN 0-8194- 5987-9. Bellingham, Washington USA
15. Ramachandran, P., Zoph, B., Le, Q.V. (2017). Searching for activation Functions. ArXive-prints arXiv:1710.05941v2 [cs.NE] 27 Oct 2017
16. Ruder, S. (2016). "An overview of gradient descent optimization algorithms," ArXive-prints, vol. 1609. http://adsabs.harvard.edu/abs/2016arXiv160904747R
17. Sharma, A. (2017). Undersstanding Activation Functions in Neural Networks. https://medium.com/the-theory-of-everything/understanding-activation-functions-in-neural-networks-9491262884e0. Erişim tarihi: 13.10.2018
18. Şengöz, N. (2017). Yapay sinir ağları. http://www.derinogrenme.com/author/nilgunsengoz/. Erişim tarihi: 13.10.2018
19. Walia, A.S. (2017a). Types of optimization algoritms used in neural networks and ways to optimize gradient descent. https://towardsdatascience.com/types-of-optimization-algorithms-used-in-neural-networks-and-ways-to-optimize-gradient-95ae5d39529f. Erişim tarihi: 10.12.2018
20. Walia, A.S. (2017b). Activation functions and it’s types-Whic is better. https://towardsdatascience.com/activation-functions-and-its-types-which-is-better-9a5310cc8f. Erişim tarihi: 10.12.2018