Simple recurrent neural networks for the numerical solutions of ODEs with Dirichlet boundary conditions

Abstract

In this study, we consider Dirichlet Boundary Value Problems (DBVPs) for Ordinary Differential Equations (ODEs) to illustrate the general procedure of obtaining numerical solutions using simple Recurrent Neural Networks (RNNs).  Different types of both linear and nonlinear activation functions are used in the neural network.  The network is trained by Particle Swarm Optimization (PSO) method, and cross validation approach is performed to tune the arbitrary parameters of neural nets.  The exact solutions and the obtained neural net solutions, regarding with the types of activation functions, are compared to determine the efficiency of using RNNs in solving the problem.  In all cases, the exact solutions are confronted with those obtained from RNNs in the context of absolute errors and average mean squared errors (MSEs) with standard deviations.

Keywords

• Recurrent neural networks,particle swarm optimization,ordinary differential equations,Dirichlet boundary value problem

Dirichlet sınır değer koşullarına sahip adi diferansiyel denklemlerin nümerik çözümleri için basit tekrarlayan sinir ağları

Abstract

Bu çalışmada, basit tekrarlayan yapay sinir ağları (RNN’ler) kullanılarak nümerik çözümlerin elde edilmesine yönelik süreci genel olarak açıklamak adına, Adi Diferansiyel Denklemler (ODE) için Dirichlet Sınır Değer Problemleri (DBVP) ele alınmıştır. Yapay sinir ağında doğrusal ve doğrusal olmayan türlerde çeşitli aktivasyon fonksiyonları kullanılmıştır.  Ağ, Parçacık Sürü Optimizasyonu (PSO) yöntemiyle eğitilmiştir ve ağın keyfi parametrelerinin ayarlanabilmesi için çarpaz doğrulama yaklaşımı kullanılmıştır.  Problemin çözümünde RNN kullanımının etkinliğini belirlemek için, gerçek çözümler ile aktivasyon fonksiyonunun türüne bağlı olarak elde edilen sinir ağı çözümleri karşılaştırılmıştır.  Tüm durumlarda gerçek çözümler ile RNN’den elde edilen sonuçlar, mutlak hatalar, ortalama karesel hataların ortalaması ve standart sapma bağlamında karşılaştırılmıştır.  

Keywords

• Tekrarlayan sinir ağları,parçacık sürü optimizasyonu,adi diferansiyel denklemler,Dirichlet sınır değer problemi

References

1. [1] Lee, H., Neural algorithms for solving differential equations. Journal of Computational Physics, 91, 1, 110-131, (1990). [2] Meade, A. J. ve Fernandez, A. A., The numerical solution of linear ordinary differential equations by feedforward neural networks. Mathematical and Computer Modelling, 19, 12, 1 – 25, (1994). [3] Lagaris, I. E., Likas, A. and Fotiadis, D. I., Artificial neural networks for solving ordinary and partial differential equations. IEEE Transactions on Neural Networks, 9, 5, 987-1000, (1998). [4] Malek, A. and Beidokhti, S. R. Numerical solution for high order differential equations using a hybrid neural network - Optimization method. Applied Mathematics and Computation, 183, 1, 260-271, (2006). [5] Raja, M. A., Numerical treatment for boundary value problems of Pantograph functional differential equation using computational intelligence algorithms. Applied Soft Computing, 24, 806-821, (2014). [6] Raja, M. A., Ahmad, S., and Samar, R., Solution of the 2-dimensional Bratu problem using neural network, swarm intelligence and sequential quadratic programming. Neural Computing and Applications, 25, 7-8, 1723-1739, (2014). [7] Raja, M.A.Z., Stochastic numerical treatment for solving Troesch’s problem. Information Sciences, 279, 860 – 873, (2014). [8] Raja, M.A.Z., Manzar, M.A., Samar, R., An efficient computational intelligence approach for solving fractional order riccati equations using ann and sqp. Applied Mathematical Modelling, 39, 10, 3075 – 3093, (2015). [9] Brezak, D., Bacek, T., Majetic, D., Kasac, J., and Novakovic, B., A comparison of feed-forward and recurrent neural networks in time series forecasting. 2012 IEEE Conference on Computational Intelligence for Financial Engineering & Economics (CIFEr), New York, NY, 1 – 6, (2012). [10] Saini, S.S., Parkhe, O. and Khadtare, T.D., Analysis of Feedforward and Recurrent Neural Network in Forecasting Foreign Exchange Rate. Imperial Journal of Interdisciplinary Research (IJIR), 2, 822 – 826, (2016). [11] Kennedy, J. and Eberhart, R.C. Particle swarm optimization, Proceedings of the IEEE International Conference on Neural Networks, 1942-1948, (1995).