Genetik-Simpleks hibrit algoritması ile doğrusal olmayan regresyon model parametrelerinin nokta tahmini

Abstract

Bu çalışmada, Nelder-Mead Simpleks (NMS) algoritması ve Genetik Algoritma (GA) gibi türevden bağımsız optimizasyon algoritmalarının avantajlı yönlerinin birlikte kullanılması ile oluşturulan bir Genetik-Simpleks hibrit algoritması ile doğrusal olmayan model parametrelerinin nokta tahminlerinin elde edilmesine yer verilmiştir. Ayrıca, Taguchi deney tasarımı ile GA ayarlanabilir parametrelerinin optimal değerlerinin belirlenmesi konusunda çalışılmıştır. Çalışmada, önerilen optimizasyon yaklaşımları kullanılarak, literatürde tanımlı bir veri setine uygun olarak belirlenmiş negatif-üstel regresyon model parametrelerinin nokta tahminleri elde edilmiştir. Bulunan tahmin değerleri, literatürdeki tahmin sonuçları ile karşılaştırıldığında, Genetik-Simpleks hibrit algoritması ile model parametrelerinin tahminlerine kolaylıkla ulaşıldığı ve amaç fonksiyonunun minimum değerine tutarlı bir biçimde yaklaşıldığı gözlenmiştir.

Keywords

• Doğrusal olmayan regresyon,Parametrelerin nokta tahmini,Genetik Algoritma (GA),Nelder-Mead Simpleks (NMS) Algoritması,Hibrit algoritma,Taguchi deney tasarımı

Point estimation of nonlinear regression model parameters with Genetic-Simplex hybrid algorithm

Abstract

 In this study, a Genetic-Simplex hybrid algorithm, which is composed of advantageous aspects of derivative-free optimization algorithms, such as Nelder-Mead Simplex (NMS) algorithm and Genetic Algorithm (GA), is used to obtain point estimates of nonlinear regression model parameters. In addition, it is studied to decide optimal values of GA tuning parameters by using Taguchi experimental design. In the study, point estimates of the parameters of a negative-exponential regression model, defined in the literature in accordance with a data set, are obtained by using the proposed optimization approaches. When the obtained results are compared with the results given in the literature, it is seen from the comperative results that estimates of model parameters are easily obtained and consistently approximated to the minimum value of the objective function by using Genetic-Simplex hybrid algorithm.

Keywords

• Point estimations of the parameters,Genetic Algorithm (GA),Nelder-Mead Simplex (NMS) Algorithm,Hybrid algorithm,Taguchi experimental design

References

1. [1] B. Altunkaynak, A. Esin, 2004, Doğrusal Olmayan Regresyonda Parametre Tahmini İçin Genetik Algoritma Yöntemi, Gazi Üniversitesi Fen Bilimleri Dergisi, 17(2), 43-51.
2. [2] F. Akgün, 2018, Doğrusal Olmayan Regresyon Model Parametrelerinin Nokta ve Aralık Tahmini İçin Bir Yaklaşım, Ankara Üniversitesi, Fen Bilimleri Enstitüsü Yüksek Lisans Tezi.
3. [3] D. M. Bates, D. G. Watts, 1988, Nonlinear Regression Analysis and Its Applications, John Willey & Sons, Inc., New York.
4. [4] M. J. Box, 1971, Bias in Nonlinear Estimation, Journal of Royal Statisical Society: Series B, 33(2), 171-201.
5. [5] A. R. Gallant, W. A. Fuller, 1973, Fitting Segmented Polynomial Regression Models Whose Join Points Have to Be Estimated, Journal of the American Statistical Association, 68(1), 144-147.
6. [6] A. R. Gallant, 1975, Nonlinear Regression, Journal of the American Statistical Association, 29(2), 73-81.
7. [7] D. E. Goldberg, 1989, Genetic Algorithms in Search, Optimization, and Machine Learning, Addison - Wesley, Boston.
8. [8] A. P. Gurson, 2000, Simplex Search Behaviour in Nonlinear Optimization, Underground Honors Thesis, College of William & Mary.

9. [9] H. O. Hartley, A. Booker, 1963, Non-Linear Least Squares Estimation, Unpublished Report, Iowa State University, Ames.
10. [10] J. H. Holland, 1975, Adaptation in Natural andArtificial Systems, The University of Michigan Press, Ann Arbor.
11. [11] R. I. Jennrich, 1969, Asymptotic Properties of Non-linear Least Squares Estimators, The Annals of Mathematical Statistics, 40(2), 633-643.
12. [12] E. Malinvaud, 1970, Consistency of Nonlinear Regressions, The Annals of Mathematical Statistics, 41(3), 956-969.
13. [13] D. W. Marquardt, 1963, An Algorithm for Least-Squares Estimation of Nonlinear Parameters, Journal of the Society of Industrial and Applied Mathematics, 11(2), 431-441.
14. [14] J. A. Nelder, R. Mead, 1965, A Simplex Method for Function Minimization, The Computer Journal, 7(4), 308-313.
15. [15] L. M. Rios, N. V. Sahinidis, 2013, Derivative-Free Optimization: a Review of Algorithms and Comparison of Software Implementations, Journal of Global Optimization, 56(3), 1247-1293.
16. [16] G. A. F. Seber, C. J. Wild, 1989, Nonlinear Regression, John Willey&Sons, Inc., New York.
17. [17] W. Spendley, G. R. Hext, F. R. Himsworth, 1962, Sequential Application of Simplex Designs in Optimization and Evolutionary Operation, Technometrics, 4(4), 441-461.
18. [18] Ö. Türkşen, 2014, Estimation of Fault Plane Parameters by Using Stochastic Optimization Methods, International Journal of Earthquake Engineering and Hazard Mitigation, 2(2), 61-66.
19. [19] Ö. Türkşen, M. Tez, 2016, An Application of Nelder-Mead Heuristic-based Hybrid Algorithms: Estimation of Compartment Model Parameters, International Journal of Artificial Intelligence, 14(1), 112-129