Mathematical Model of KarcıFANN Machine Learning Method

Öz

The successful training of artificial neural networks (ANNs) depends on many hyperparameters. Among these, the optimization method is one of the hyperparameters that directly affects performance. In ANN studies, gradient (derivative)-based optimization methods are widely used. The use of differentiable functions in the optimization process enables the error values to be measured at each training step and allows these errors to be minimized. In the gradient-based Stochastic Gradient Descent (SGD) method, a fixed learning rate parameter is used. The fact that the exact effect of the learning rate on performance cannot be fully determined constitutes a significant problem. This problem prevents the model from being properly expressed.In this study, the KarcıFANN method, which replaces the learning rate in the SGD method with the Karcı fractional-order derivative, is mathematically formulated together with other derivative-based optimization methods in the literature, including Gradient Descent (GD), Stochastic Gradient Descent (SGD), momentum-based SGD, Adaptive Gradient Algorithm (AdaGrad), and Root Mean Square Propagation (RMSProp). With the KarcıFANN method, external intervention in the training process is minimized, and important problems encountered in other methods—such as failure to learn, overfitting, vanishing gradients, and exploding gradients—are addressed more successfully.

Anahtar Kelimeler

• KarcıFANN
• artificial neural network
• momentum-based SGD
• AdaGrad
• RMSProp

KarcıFANN Makine Öğrenmesi Yönteminin Matematiksel Modeli

Öz

Yapay sinir ağlarının (YSA) eğitiminin başarılı bir şekilde gerçekleşmesi birçok hiperparametreye bağlıdır. Optimizasyon yöntemi, başarımı doğrudan etkileyen hiperparametrelerden biridir. YSA çalışmalarında gradyan (türev) tabanlı optimizasyon yöntemleri popüler olarak kullanılmaktadır. Optimizasyon sürecinde türevlenebilir fonksiyonların kullanılması, her eğitim adımında hata değerlerinin ölçülmesini ve bu hataların düşürülmesini sağlamaktadır. Gradyan tabanlı Stokastik Gradyan İniş (SGD) yönteminde sabit bir öğrenme katsayısı parametresi kullanılmaktadır. Öğrenme katsayısının başarıma etkisinin tam olarak bilinememesi, önemli bir problemdir. Bu problem, modelin tam olarak ifade edilememesine neden olmaktadır. Bu çalışmada, SGD yöntemindeki öğrenme katsayısı yerine Karcı kesir dereceli türevin kullanıldığı KarcıFANN yöntemi ile literatürde yer alan diğer türev tabanlı Gradyan İniş (GD), Stokastik Gradyan İniş (SGD), momentumlu SGD, Uyarlanabilir gradyan algoritması (AdaGrad) ve Ortalama Karekök Yayılımı (RMSProp) optimizasyon yöntemleri matematiksel olarak ifade edilmektedir. KarcıFANN yöntemiyle ağa dışarıdan müdahale minimuma indirilerek diğer yöntemlerde karşılaşılan öğrenememe, ezberleme, türevlerin kaybolması ve türev patlaması gibi önemli problemler daha başarılı bir şekilde çözülmektedir.

Anahtar Kelimeler

• KarcıFANN
• yapay sinir ağları
• momentumlu SGD
• AdaGrad
• RMSProp

Kaynakça

1. Newton, I. Philosophiae Naturalis Principia Mathematica, 1687.
2. Zinkevich, M.A., Weimer, M., Smola, A., & Li, L. Parallelized Stochastic Gradient Descent. Neural Information Processing Systems, 2010.
3. Dogo, E.M., Afolabi, O.J., Nwulu, N.I., Twala, B., Aigbavboa, C.O. A Comparative Analysis of Gradient Descent-Based Optimization Algorithms on Convolutional Neural Networks. 2018 International Conference on Computational Techniques, Electronics and Mechanical Systems (CTEMS), 92-99.
4. Karakurt, M., Oymak, E.A., Hark, H., Erdoğan, M.C. ve Karcı, A. Karcı Sinir Ağlarının Uygulaması ve Performans Analizi, Journal of Computer Science, Vol:7, 68-80, 2022.
5. Chen, X., Liang, C., Huang, D., Real, E., Wang, K., Liu, Y., Pham, H., Dong, X., Luong, T., Hsieh, C., Lu, Y., & Le, Q. Symbolic Discovery of Optimization Algorithms, 2023, ArXiv, abs/2302.06675.
6. Tian Y, Zhang Y, Zhang H. Recent Advances in Stochastic Gradient Descent in Deep Learning. Mathematics, 2023; 11(3):682. https://doi.org/10.3390/math11030682.
7. Karakurt, M., Saygılı, H. ve Karcı, A. KarcıFANN Yönteminde Aktivasyon Fonksiyonlarının Karşılaştırılması, 8th International Artificial Intelligence and Data Processing Symposium (IDAP2024), IEEE, 2024, doi: 10.1109/IDAP64064.2024.10711149 . https://ieeexplore.ieee.org/document/10711149.
8. Saygılı, H., Karakurt, M. ve Karcı, A. KarcıFANN Yönteminde Kayıp Fonksiyonlarının Karşılaştırılması, 8th International Artificial Intelligence and Data Processing Symposium (IDAP2024), IEEE, 2024, doi: 10.1109/IDAP64064.2024.10710967. https://ieeexplore.ieee.org/document/10710967.

9. Karcı,A. A New Approach for Fractional Order Derivative and Its Applications, Universal Journal of Engineering Sciences, Vol:1, pp: 110-117, 2013.
10. Karcı, A. Properties of Fractional Order Derivatives for Groups of Relations/Functions, Universal Journal of Engineering Sciences, vol:3, pp:39-45, 2015a.
11. Karcı,A. The Properties of New Approach of Fractional Order Derivative, Journal of the Faculty of Engineering and Architecture of Gazi University, Vol.30, pp:487-501, 2015b.
12. Karci, A. Chain rule for fractional order derivative, Science Innovation, Vol:3, pp:63-67, 2015c.
13. Karcı, A. Properties of Karcı’s Fractional Order Derivative, Universal Journal of Engineering Science, Vol:7, pp:32-38, 2019.
14. Karci, A. Fractional Order Integration: A New Perspective based on Karcı’s Fractional Order Derivative. Computer Science, 2021, 6(2), 102-105.
15. Karakurt, M., Saygılı, H. & Karcı, A. (2025). Karcı fractional artificial neural networks (KarcıFANN): a new artificial neural networks model without learning rate and its problems. Turkish Journal of Electrical Engineering and Computer Sciences, 33(3), 248-263. doi: 10.55730/1300-0632.4125.
16. Saygılı, H., Karakurt, M. & Karcı, A. (2025). Karcı kesir dereceli yapay sinir ağı (KarcıFANN): öğrenme oranı, aşırı uyum ve yetersiz uyum sorunlarını çözme. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi.
17. Karakurt, M. (2025). YSA’larda Kesir Dereceli Türev Kullanımının Öğrenmeye Etkisi. Computer Science, 10(2), 153-179. https://doi.org/10.53070/bbd.1808790.
18. Saygılı, H., Karakurt, M., & Karcı, A. (2025). KarcıFANN Yönteminin Yakınsama Kabiliyetinin Analiz Edilmesi. Fırat Üniversitesi Mühendislik Bilimleri Dergisi, 37(2), 897-907. https://doi.org/10.35234/fumbd.1661969
19. Reddi, S.J., Hefny, A.S., Sra, S., Póczos, B., & Smola, A., On Variance Reduction in Stochastic Gradient Descent and its Asynchronous Variants. 2015, ArXiv, abs/1506.06840.
20. Lemaréchal, C. Cauchy and the Gradient Method . Doc Math Extra: 251–254, 2012, Archived from the original (PDF) on 2018-12-29.
21. Rumelhart, D., Hinton, G. & Williams, R. Learning representations by back-propagating errors. Nature 323, 533–536, 1986, https://doi.org/10.1038/323533a0.
22. Le Cun, Y. Learning Process in an Asymmetric Threshold Network. In: Bienenstock, E., Soulié, F.F., Weisbuch, G. (eds) Disordered Systems and Biological Organization. NATO ASI Series, vol 20. Springer, Berlin, Heidelberg, 1986, https://doi.org/10.1007/978-3-642-82657-3_24
23. Bottou, L. Stochastic gradient learning in neural networks. Proceedings of Neuro-Nımes, 1991, 91(8), 12.
24. Duchi, J.C., Hazan, E., Singer, Y., Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. J. Mach. Learn. Res., 2011, 12, 2121-2159.
25. Seyyarer, E., Ayata, F., Uçkan, T., Karci, A., Derin Öğrenmede Kullanılan Optimizasyon Algoritmalarının Uygulanması Ve Kıyaslanması. Computer Science, 2020, 5(2), 90-98.
26. Fu, J., Wang, B., Zhang, H., Zhang, Z., Chen, W., & Zheng, N. When and why momentum accelerates sgd: An empirical study, 2023, arXiv preprint arXiv:2306.09000.
27. Lee, T., Gasswint, G. and Henning E., Momentum. Cornell University Computational Optimization Open Textbook. SYSEN5800. Cornell University, 2021, https://optimization.cbe.cornell.edu/index.php?title=Momentum.
28. Yazan, E., Talu, M. F., Comparison of the stochastic gradient descent based optimization techniques, International Artificial Intelligence and Data Processing Symposium (IDAP), Malatya, Turkey, 2017, pp. 1-5, doi: 10.1109/IDAP.2017.8090299.
29. Rakshitha Kiran P., Naveen N. C. Op-RMSprop (Optimized-Root Mean Square Propagation) Classification for Prediction of Polycystic Ovary Syndrome (PCOS) using Hybrid Machine Learning Technique, International Journal of Advanced Computer Science and Applications (IJACSA), 2022, 13(6). http://dx.doi.org/10.14569/IJACSA.2022.0130671
30. Caputo, M., Linear models of dissipation whose Q is almost frequency independent—II. Geophysical journal international, 1967, 13(5), 529-539.
31. Ross, B., The development of fractional calculus 1695–1900. Historia mathematica, 1977, 4(1), 75-89.
32. Haq, A., Partial-approximate controllability of semi-linear systems involving two Riemann-Liouville fractional derivatives. Chaos, Solitons & Fractals, 2022, 157, 111923.
33. Rahman, G. U., Ahmad, D., Gómez‐Aguilar, J. F., Agarwal, R. P., & Ali, A., Study of Caputo fractional derivative and Riemann–Liouville integral with different orders and its application in multi‐term differential equations. Mathematical Methods in the Applied Sciences, 2025, 48(2), 1464-1502.
34. Tarasov, V. E., On chain rule for fractional derivatives. Communications in Nonlinear Science and Numerical Simulation, Elsevier. 2016, 30(1-3), 1-4. https://doi.org/10.1016/j.cnsns.2015.06.007
35. Huseynov, I. T., Ahmadova, A., & Mahmudov, N. I., Fractional Leibniz integral rules for Riemann-Liouville and Caputo fractional derivatives and their applications. 2020, arXiv preprint arXiv:2012.11360.