Yönsel Türev Tabanlı Yakınsama Yaklaşımlarının Karşılaştırmalı Analizi

Yıl 2022, Cilt: 38 Sayı: 1, 137 - 146, 30.04.2022

Ersan Yazan , Muhammed Fatih Talu

Öz

Yönsel türev tabanlı yakınsama yaklaşımları, doğrusal olmayan bir maliyet fonksiyonunu (J(θ)) minimize veya maksimize etmek için θ parametre vektörünü iteratif olarak güncelleme mantığına dayanmaktadır. Yapay öğrenme alanında sık kullanılan bu yaklaşımlarla güncelleme yapılırken maliyet fonksiyonunun ilgili parametreye göre yönsel türev bilgisi kullanılır. Bu çalışmada, literatürde kabul görmüş türev tabanlı yaklaşımların (Gradient Descent, Momentum, Adadelta, Adagrad, Rms, Adam, Newton ve BFGS) doğrusal olmayan fonksiyonlar üzerindeki yakınsama performansları incelenmiştir. Yaklaşım performanslarını kıyaslayabilmek için optimal noktaya yakınsama hızı ve toplam hesaplama maliyeti kıstasları değerlendirilmiştir.

Anahtar Kelimeler

Yönsel türev, Momentum, Adadelta, Adagrad, Adam, Newton

Kaynakça

• Rao, S. S. 2009. Engineering optimization: theory and practice, John Wiley & Sons, 2009
• Buber, E., Şahingoz, O. K. 2017. Makine Öğrenmesi sistemi ile görüntü İşleme ve en uygun parametrelerin ayarlanması, Artificial Intelligence and Data Processing Symposium (IDAP), 16-17 Eylül, Malatya,16-17.
• Williams, R. J., Peng, J. 1990. An efficient gradient-based algorithm for on-line training of recurrent network trajectories, Neural computation 2(4), 490-501.
• Møller, M. F. 1993. A scaled conjugate gradient algorithm for fast supervised learning. Neural networks 6(4), 525-533.
• Çapar, A,, Gökmen, M. 2011. Gradyan temelli şekil bölütleme ve tanıma, ITU Journal Series D: Engineering, 10(3), 15-26.
• ALTUN, A. A. 2007. Esnek hesaplama yöntemleri ile otomatik parmakizi tanıma. Selçuk Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, Konya
• Çevik, K. K. 2010. Yapay zeka yöntemleri ile araç plaka tanıma sistemi, Selçuk Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, Konya.
• Klein, S., Staring, M., Pluim, J.P.W. 2007. Evaluation of optimization methods for nonrigid medical image registration using mutual information and B-splines, IEEE transactions on image processing 16(12), 2879-2890
• Staib, L. H., Duncan, J. S. 1996. Model-based deformable surface finding for medical images, IEEE transactions on medical imaging 15(5), 720-731
• Chakraborty, A., Staib, L. H., Duncan, J. S. 1996. Deformable boundary finding in medical images by integrating gradient and region information, IEEE Transactions on Medical Imaging, 15(6), 859-870
• Akyılmaz,E., Demirkesen, C., Nar, F., Okman, E., Çetin, M. 2013. Interactive ship segmentation in SAR images, Signal Processing and Communications Applications Conference (SIU), 24-26 Nisan, Kıbrıs, 1-4
• Karaboğa, D. 2014. Yapay Zeka Optimizasyon Algoritmaları, Nobel Akademi Yayıncılık, 225s.
• Cauchy, A. 1847. Méthode générale pour la résolution des systemes d'équations simultanée, Comp. Rend. Sci. 25, 536-538
• Yazan, E., Talu, M. F. 2017. Comparison of the stochastic gradient descent based optimization techniques. Artificial Intelligence and Data Processing Symposium (IDAP), 16-17 Eylül, Malatya
• Qian, N. 1999. On the momentum term in gradient descent learning algorithms. Neural Networks, The Official Journal of the International Neural Network Society, 12(1), 145–151
• Duchi, J., Hazan, E., Singer, Y. 2011. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. Journal of Machine Learning Research, 12, 2121–2159
• Zeiler, M.D. 2012. ADADELTA: an adaptive learning rate method. arXiv preprint arXiv:1212.5701
• Tijmen, T., Hinton, G. 2012. Lecture 6.5-rmsprop: Divide the gradient by a running average of its recent magnitude. COURSERA: Neural networks for machine learning, 4(2).
• Kingma, D. P., Ba, J. L. 2015. Adam: a Method for Stochastic Optimization. International Conference on Learning Representations,7-9 Mayıs, San Diego, 1-13
• Greenstadt, J. 1967. On the relative efficiencies of gradient methods, Mathematics of Computation, 21(99), 360-367
• Broyden, C. G. 1965. A class of methods for solving nonlinear simultaneous equations, Mathematics of computation 19(92), 577-593
• Broyden, C. G. Quasi-Newton methods and their application to function minimisation, Mathematics of computation, 21, 368-381
• Barnes, J. G. P. 1965. An algorithm for solving non-linear equations based on the secant method, The Computer Journal 8(1), 66-72
• D. Goldfarb, 1970. A family of variable-metric methods derived by variational means, Mathematics of computation, 24(109), 23-26.
• Nocedal , J., Wright, S. J. 2006. Sequential quadratic programming. Springer New York
• Optimization Test Functions. https://www.sfu.ca/~ssurjano/optimization.html (Erişim Tarihi: 14.01.2022)