Evrişimsel Sinir Ağlarında Kullanılan Transfer Öğrenme Yaklaşımlarının İncelenmesi

Year 2019, Volume: 4 Issue: 2, 88 - 95, 01.12.2019

Kazım Fırıldak , Muhammed Fatih Talu

Abstract

Evrişimsel
sinir ağları (ESA), yapay sinir ağlarını tabanlı derin öğrenme mimarileridir.
Katman ve sinir hücresi sayısının, yapay sinir ağına göre fazlalığından dolayı
ESA eğitiminin hesaplama maliyeti yüksek bir işlemdir. Bunun yanında probleme
özgü eğitim kümesi her zaman oluşturulamamaktadır. Sınıflama başarısı
kanıtlanmış, büyük ve kapsamlı eğitim veri setiyle eğitilmiş bir ESA’ nın
katmanlarından ağırlık transferi yaygın kullanılan yöntemdir. Ön eğitim,
özellik çıkarıcı vekısmi özellik çıkarıcı yaklaşım ESA ‘larda kullanılan
transfer öğrenme yaklaşımlarıdır. Bu çalışmada Cifar, Caltech, Mnist veri
kümeleri için AlexNet’den transfer edilen ağırlıklarla ESA’lar için sınıflama
başarıları incelenmiştir. AlexNet, yeni veri kümelerinin sınıflamasında
kullanmak için önişlemlere tabi tutularak farklı veri kümeleri için yüksek
sınıflama başarısı göstermiştir. Yeni veri kümesi sınıflarının, AlexNet’in
eğitim kümesi ile benzerliği arttıkça sınıflama başarısının transfer öğrenmede arttığı
gözlemlenmiştir. Bunun yanında kaynak ESA’nın eğitim veri kümesi, hedef veri
kümesine olan benzerliği sınıflama doğruluğunu artırmaktadır. Transfer öğrenme
ile ESA’nın farklı veri kümeleri için %80-%90 ortalama sınıflama başarısına
ulaştığı da makalede sunulmaktadır.

Keywords

Derin öğrenme, Transfer öğrenme, , Evrişimsel sinir ağlarında transfer öğrenme

References

• Ethem Alpaydın, Introduction to Machine Learning (Adaptive Computation and Machine Learning). MIT Press, 2004.C. M. Bishop, Pattern Recognition and Machine Learning. Springer Science + Business Media, LLC, 2006.C. Szegedy et al., “Going Deeper with Convolutions,” in Computer Vision and Pattern Recognition (CVPR), 2014.İnternet, “Yahoo Flickr.” [Online]. Available: https://www.flickr.com/photos/tags/yahoo/. [Accessed: 30-Dec-2018].E. Cengil, A. Çınar, Z. Güler “A GPU-Based Convolutional Neural Network Approach for Image Classification,” in Artificial Intelligence and Data Processing Symposium (IDAP), 2017.Şengör, Abdülkadir; Yaman, Akbulut; Yanhui, Guo; Varun, “Classification of amyotrophic lateral sclerosis disease based on convolutional neural network and reinforcement sample learning algorithm,” Heal. Inf. Sci. Syst., 2017.R. Girshick, J. Donahue, T. Darrell, J. Malik, and U. C. Berkeley, “Rich feature hierarchies for accurate object detection and semantic segmentation,” Comput. Vis. Pattern Recognition. IEEE, pp. 580–587, 2014.İnternet, “Image.net,” 2018. [Online]. Available: http://www.image-net.org. [Accessed: 20-Dec-2018].A. Krizhevsky and G. E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks,” Adv. Neural Inf. Process. Syst., vol. 1907–1105, pp. 1–9, 2012.S. J. Pan and Q. Yang, “A Survey on Transfer Learning,” IEEE Trans. Knowl. Data Eng., vol. 22, no. 10, 2010.Barış Koçer, “Transfer Öğrenmede Yeni Yaklaşımlar”, Selçuk Üniversitesi, Doktora Tezi, 2012.G. Konidaris and A. G. Barto, “Transfer in Reinforcement Learning via Shared Features,” J. ofMachine Learn. Res., vol. 13, pp. 1333–1371, 2012.J. Yosinski, J. Clune, Y. Bengio, and H. Lipson, “How transferable are features in deep neural networks ?,” Adv. Neural Inf. Process. Syst., vol. 27, 2014.Esra Mahsereci Karabulut, “Investıgatıon Of Deep Learnıng Approaches For Bıomedıcal Data Classıfıcatıon,” Çukurova Unıversıty, Doktora Tezi, 2016.Britz Denny, “Understanding Convolutional Neural Networks for NLP,” 2015. [Online]. Available: 20-Dec-2018 http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/. [Accessed: 30-Dec-2017].M. E. Akçay, Samet; Kundegorski, M. Devereux, and T. P. Breckon, “Transfer Learnıng Usıng Convolutıonal Neural Networks For Object Classıfıcatıon Wıthın X-Ray Baggage Securıty Imagery,” in Image Processing (ICIP), 2016.Z. Huang, Z. Pan, and B. Lei, “Transfer Learning with Deep Convolutional Neural Network for SAR Target Classification with Limited Labeled Data,” pp. 1–21, 2017.T. D. Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, “Caffe: Convolutional architecture for fast feature embedding,” in ACMMM, 2014, pp. 675–678.Y. Bengio and P. Haffner, “Gradient-Based Learning Applied to Document Recognition,” vol. 86, no. 11, 1998.A. Krizhevsky, “Learning multiple layers of features from tiny images.,” University of Toronto, 2009.P. P. L. Fei-Fei, R. Fergus, “Learning generative visual models from few training examples: An incremental bayesian approach tested on 101 object categories,” Comput. Vis. Image Underst., no. 106(1), pp. 59–70, 2007.İnternet, “Transfer Learning.” [Online]. Available: http://cs231n.github.io/transfer-learning/#tf. [Accessed: 20-Dec-2018].