An optimization approach based on NSGA-II for multi-response problems with mixed data

Year 2023, Volume: 16 Issue: 2, 57 - 80, 31.12.2023

Gözde Karakoç , Özlem Türkşen

Abstract

If the mathematical model of an optimization problem contains input and/or response variables that take discrete and continuous values, the problem is called as a mixed data optimization problem. In this study, the modeling and the optimization phases of multi-response problems with mixed data in terms of input variables are discussed. In the modeling phase, estimated response functions are obtained using Generalized Linear Models (GLM). In the optimization phase, the estimated response functions are considered as an objective function and the problem is expressed as a multi-objective optimization (MOO) problem with simultaneous optimization. In this study, a new solution algorithm based on the Non-dominated Sorting Genetic Algorithm-II (NSGA-II), one of the most frequently used artificial intelligence optimization algorithms in MOO, is proposed. This algorithm, which was prepared by making various adaptations in the variable representation, initial population generation and application of genetic operators stages of the NSGA-II, is called MDNSGA-II (Mixed Data NSGA-II) in this study. In MDNSGA-II, each discrete variable value is assigned a positive integer value and an integer indexing is performed for the discrete variable values. It is ensured that the discrete variable takes values in support set of variables by using the indexing approach. In the application part of the study, it is shown that Pareto solutions can be obtained with the proposed MDNSGA-II by using the mixed data set on energy efficiency from the UCI Repository database and the experimental mixed data set available in the literature in the field of food.

Keywords

Multi-objective optimization, Multi-response problem, Mixed data, MDNSGA-II, NSGA-II

Karma veri içeren çok yanıtlı problemlerde NSGA-II’ye dayalı bir optimizasyon yaklaşımı

Abstract

Bir optimizasyon probleminin matematiksel modeli, kesikli ve sürekli değer alan girdi ve/veya yanıt değişkenlerini içermesi durumunda problem, karma veri içeren optimizasyon problemi olarak adlandırılır. Bu çalışmada, girdi değişkenleri bakımından karma veri içeren çok yanıtlı problemlerin modelleme ve optimizasyon aşamaları ele alınmıştır. Modelleme aşamasında Genelleştirilmiş Lineer Modeller (GLM) kullanılarak tahmini yanıt fonksiyonları elde edilmiştir. Optimizasyon aşamasında ise elde edilen tahmini yanıt fonksiyonları bir amaç fonksiyonu olarak dikkate alınıp problem, eşanlı optimizasyonu istenilen çok amaçlı optimizasyon (ÇAO) problemi biçiminde ifade edilmiştir. Çalışmada, ÇAO’da sıklıkla kullanılan yapay zeka optimizasyon algoritmalarından biri olan NSGA-II (Non-dominated Sorting Genetic Algorithm-II)’ye dayalı yeni bir çözüm algoritması önerilmiştir. NSGA-II’de, değişken gösterimi, başlangıç popülasyonu oluşturma ve genetik operatörlerin uygulanması aşamalarında çeşitli uyarlamalar yapılarak hazırlanan bu algoritma, çalışma kapsamında MDNSGA-II (Mixed Data NSGA-II) olarak adlandırılmıştır. MDNSGA-II’de, her bir kesikli değişken değerine bir pozitif tam sayı değeri atanarak, kesikli değişken değerleri için bir tam sayı indekslemesi yapılmıştır. Yapılan indeksleme işlemiyle kesikli değişkenin tanım kümesinden değerler alması sağlanmıştır. Çalışmanın uygulama kısmında, UCI Repository veri tabanından enerji verimliliği konulu karma veri seti ve gıda alanında literatürde mevcut olan deneysel karma veri seti kullanılarak önerilen MDNSGA-II ile Pareto çözümlerin elde edilebilir olduğu gösterilmiştir.

Keywords

Çok amaçlı optimizasyon, Çok yanıtlı problem, Karma veri, MDNSGA-II, NSGA-II

Ethical Statement

Bu çalışma, birinci yazarın, ikinci yazarın danışmanlığında hazırladığı doktora tezinden üretilmiştir.

References

• J. Garrido, J. Zhou, 2009, Full Credibility with Generalized Linear and Mixed Models, ASTIN Bulletin, 39(1), 61-80.
• N. P. Jewell, S. Shiboski, 1990, Statistical analysis of HIV infectivity based on partner studies, Biometrics, 46, 1133-1150.
• A. Hern, S. Dorn, 2001, Statistical modelling of insect behavioral responses in relation to the chemical composition of test extracts, Physiological Entomology, 26, 381-390.
• Y. J. Lee, J. A. Nelder, 2002, Analysis of ulcer data using hierarchical generalized linear models, Statistics in Medicine, 21, 191-202.
• M. P. Diaz, A. H. Barchuk, S. Luque, C. Oviedo, 2002, Generalized linear models to study spatial distribution of tree species in Argentinean arid Chaco, Journal of Applied Statistics, 29, 5, 685-694.
• Z. W. Yan, S. Bate, R. E. Chandler, V. Isham, H. Wheater, 2002, An analysis of daily maximum wind speed in northwestern Europe using generalized linear models, Journal of Climate, 15, 2073-2088.
• S. Rajeev, C. S. Krishnamoorthy, 1992, Discrete Optimization of Structures Using Genetic Algorithms, J. Struct. Eng., 118(5), 1233-1250.
• C. Y. Lin, P. Hajela, 1992, Genetic algorithms in optimization problems with discrete and integer design variables, Engineering Optimization, 19, 4, 309- 327.
• W. Wang, R. Zmeureanu, H. Rivard, 2005, Applying multi-objective genetic algorithms in green building design optimization, Building and Environment 40, 1512–1525.
• S. S. Rao, Y. Xiong, 2005, A hybrid genetic algorithm for mixed-discrete design optimization, ASME Journal of Mechanical Design, 127, 1100–1112.
• M. Ahmadi, M. Arabi, D. L. Hoag, B. A. Engel, 2013, A Mixed Discrete-Continuous Variable Multiobjective Genetic Algorithm For Targeted Implementation of Nonpoint Source Pollution Control Practices, Water Resources Research, 49, 8344–8356.
• B. El-Kribi, A. Houidi, Z. Affi, L. Romdhane, 2013, Application of multi-objective genetic algorithms to the mechatronic design of a four bar system with continuous and discrete variables, Mechanism and Machine Theory, 61, 68–83.
• W. Tong, S. Chowdhury and A. Messac, 2014, A new multi-Objective Mixed-Discrete Particle Swarm Optimization Algorithm, Proceedings of the ASME 2014 International Design Engineering Technical Conferences & Computers and Information in Engineering Conference Buffalo, New York, USA.
• T. Holzmann, J. C. Smith, 2018, Solving discrete multi-objective optimization problems using modified augmented weighted Tchebychev scalarizations, European Journal of Operational Research, 271,436–449.
• S. Guangyong, Z. Huile, F. Jianguang, L. Guangyao, L. Qing, 2018, A new multi-objective discrete robust optimization algorithm for engineering design, Applied Mathematical Modelling, 53, 602-621.
• S. Roy, W. A. Crossley, S. Jain, 2021, A Hyrid Approach for Solving Constrained Multi-Objective Mixed-Discrete Nonlinear Programming Engineering Problems, Books, Engineering Problems - Uncertainties, Constraints and Optimization Techniques.
• I. Khuri, B. Mukherjee, B. K. Sinha, M. Ghosh, 2006, Design Issues for Generalized Linear Models: A Review, Statistical Science, 21(3), 376-399.
• D. Collins, 2008, The performance of estimation methods for generalized linear mixed models, Doctor of Philosophy thesis, University of Wollongong, School of Mathematics and Applied Statistics- Faculty of Informatics, 223, Australia.
• J. A. Nelder, R. W. M. Wedderburn, 1972, Generalized linear models, Journal of the Royal Statistical Society A–General, 135, 370–384.
• C. J. Anderson, J. Verkuilen, T. R. Johnson, 2012. Applied Generalized Linear Mixed Models: Continuous and Discrete Data., Springer.
• P. McCullagh, J. A. Nelder, 1989, Generalized Linear Models, Second Edition, Chapman and Hall/CRC, 511, London.
• M. Friendly, D. Meyer, 2015, Discrete Data Analysis with R:Visualization and Modeling Techniques for Categorical and Count Data, Chapman and Hall/CRC Published.
• J. J. Faraway, 2006, Extending the Linear Model with R Generalized Linear, Mixed Effects and Nonparametric Regression Models, Chapman & Hall/CRC Taylor & Francis Group. E. Ostertagová, 2012, Modelling Using Polynomial Regression, Procedia Engineering, 48, 500-506.
• Ö. Türkşen, 2023, Optimizasyon Yöntemleri ve Matlab, Python, R Uygulamaları, Nobel, 1.Basım, 448, Ankara.
• D. E. Goldberg, 1989, Genetic Algorithms in Search, Optimization and Machine Learning. Addison-Wesley, Reading, ABD.
• N. Srinivas, K. Deb, 1994, Mulltiobjective Optimization Using Non-Dominated Sorting in Genetic Algorithms, Evolutionary Computation, 2, 221-248.
• K. Deb, A. Pratap, S. Agarwal, T. Meyarivan, 2002, A fast and elitist multiobjective genetic algortihm: NSGA-II, IEEE Transactions on Evolutionary Computation, 6, 2.
• Ö. Türkşen, F. Akgün, 2018, Genetik-Simpleks hibrit algoritması ile doğrusal olmayan regresyon model parametrelerinin nokta tahmini, İstatistikçiler Dergisi: İstatistik & Aktüerya, 2, 81-92.
• Z. Cebeci, 2021, R ile Genetik Algoritmalar ve Optimizasyon Uygulamaları, Nobel, 535, Ankara.
• Ö. Türkşen, 2011, Çok Yanıtlı Yüzey Problemlerinin Çözümüne Bulanık ve Sezgisel Yaklaşım, Ankara Üniversitesi, Fen Bilimleri Enstitüsü, Doktora Tezi, İstatistik Anabilim Dalı.
• B. El-Kribi, A. Houidi, Z. Affi, L. Romdhane, 2013, Application of multi-objective genetic algorithms to the mechatronic design of a four bar system with continuous and discrete variables, Mechanism and Machine Theory, 61, 68–83.
• A. Asuncion, D. Newman, UCI Machine Learning Repository. Available online:https://archive.ics.uci.edu/dataset/242/energy+efficiency.
• A. Tsanas, A. Xifara, 2012, Accurate quantitative estimation of energy performance of residential buildings using statistical machine learning tools, Energy and Buildings, 49, 560-567.
• R. H. Schmidt, R, B. L. Illingworth, J. C. Deng, J. A. Cornell, 1979, Multiple Regression and Response Surface Analysis of the Effects of Calcium Chloride and Cysteine on Heat-Induced Whey Protein Gelation, J. Agrie. Food Chem., 27(3), 529–532.
• S. Tunçel, 2022, Çok Yanıtlı Deneysel Verilerin Görünüşte İlişkisiz Regresyon Analizi ile Modellenmesi ve Optimal Değişken Değerlerinin Belirlenmesi, Ankara Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, İstatistik Anabilim Dalı.