DERİN AĞLAR İÇİN YENİ BİR BİRİMDİK DÜZGÜNLEŞTİRME YAKLAŞIMI
Öz
Ortagonal Düzgünleştirme (OD), derin ağların aşırı öğrenme (overfitting), gradyan patlamansı/kaybolmasını engellemek için kullanılmaktadır. Literatürde derin öğrenme için geliştirilen OD yöntemlerinin çoğunda ağ ağırlıklarını birim dik vektörler olarak öğrenme amaçlanmaktadır. Bu makalede ağ ağırlıklarını ikili olarak gruplayarak birim dik öğrenmeye zorlayan fonksiyon, maliyet fonksiyonuna eklenmektedir. Bu yöntem yapay sinir ağlarında ve konvülasyonel sinir ağlarında çeşitli veri kümelerinde (yapay veri ve gerçek veri) test edilmektedir. Ayrıca önerilen yöntem, literatürde öne çıkan Yumuşak Ortagonal (SO), Çift Yumuşak Ortagonal (DSO), Karşılıklı Tutarlılık (MC) ve Spektral Sınırlı İzometri Özellikli (SRIP) gibi yöntemler ile doğruluk, yürütülme zamanı, hata oranı metriklerinde karşılaştırılmaktadır. Karşılaştırma sonucunda doğruluk metriğinde farklı veri kümelerinin kullanan ağlarda %1-%5 arasında iyileşme sağlanmaktadır. Önerilen yöntem, Cifar10 veri kümesinde Resnet 110 ağında 92,96 dan %93,90’a ve Resnet 28-10 %95,84’den %96,78’a test başarısını yükseltmektedir.
Anahtar Kelimeler
Ortagonal Düzgünleştirme, Sinir Ağları, Evrişimsel Sinir Ağları
Kaynakça
- Szegedy C, Wei Liu, Yangqing Jia, Sermanet P, Reed S, Anguelov D, et al. Going deeper with convolutions. 2015 IEEE Conf. Comput. Vis. Pattern Recognit., IEEE; 2015, p. 1–9. https://doi.org/10.1109/CVPR.2015.7298594.
- Krizhevsky A, Hinton GE. ImageNet Classification with Deep Convolutional Neural Networks. Adv Neural Inf Process Syst 2012;1907–1105:1–9.
- Goodfellow IJ, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, et al. Generative adversarial nets. Adv. Neural Inf. Process. Syst., 2014.
- Radford A, Metz L, Chintala S. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks 2015.
- Çelik G, Talu MF. Resizing and cleaning of histopathological images using generative adversarial networks. Phys A Stat Mech Its Appl 2019:122652. https://doi.org/10.1016/j.physa.2019.122652.
- Iizuka O, Kanavati F, Kato K, Rambeau M, Arihiro K, Tsuneki M. Deep Learning Models for Histopathological Classification of Gastric and Colonic Epithelial Tumours. Sci Rep 2020; 10:1504. https://doi.org/10.1038/s41598-020-58467-9.
- Akram T, Lodhi HMJ, Naqvi SR, Naeem S, Alhaisoni M, Ali M, et al. A multilevel features selection framework for skin lesion classification. Human-Centric Comput Inf Sci 2020;10:12. https://doi.org/10.1186/s13673-020-00216-y.
- Xu W, Keshmiri S, Wang G. Adversarially Approximated Autoencoder for Image Generation and Manipulation. IEEE Trans Multimed 2019;21:2387–96. https://doi.org/10.1109/TMM.2019.2898777.
- Turkoglu M, Hanbay D, Sengur A. Multi-model LSTM-based convolutional neural networks for detection of apple diseases and pests. J Ambient Intell Humaniz Comput 2019. https://doi.org/10.1007/s12652-019-01591-w.
- Grießhaber D, Vu NT, Maucher J. Low-resource text classification using domain-adversarial learning. Comput Speech Lang 2020;62:101056. https://doi.org/10.1016/j.csl.2019.101056.