Optimization of hyper parameters of artificial neural networks for prediction of elastic modulus of normal and high strength concrete

Yıl 2025, Sayı: Advanced Online Publication

Fatih Ahmet Şenel

Öz

In this study, while modeling the concrete elasticity modulus with Artificial Neural Networks (ANN), the optimal determination of the parameters of ANNs was carried out with the help of meta-heuristic algorithms. The hyperparameters of ANNs are the number of hidden layers, the number of neurons in hidden layers, and the activation functions in hidden layers. ANNs have been successfully used in classification and regression problems. But determining hyperparameters is a time-consuming process. Therefore, in this study, hyperparameters were determined using meta-heuristic algorithms. Whale Optimization Algorithm, Ant Lion Optimizer and Particle Swarm Optimization algorithms were used because they are successful in solving many engineering problems. The elastic modulus of normal and high strength concrete was estimated using ANN, whose hyperparameters were determined. The results obtained were compared with previous studies in literature. The proposed method outperformed the previous methods by showing better or equal results in most experiments. In the training process, for high strength concrete, it was more successful in 44.9%, equal in 34.8% and less successful in 20.3%. Overall, it performed equal to or better than the previous methods in 79.7% of the training process and 76.4% in the testing process. For normal strength concrete, the proposed method performed better or equal in 59.6% of the training process and 69.2% of the testing process, proving its effectiveness in both cases. As a result, better modeling results were obtained than in previous studies. As a result of modeling with different datasets, the 𝑅 2 value was found to be the highest 0.98. It has been shown that better results can be obtained from ANN used without tuning the hyperparameter.

Anahtar Kelimeler

Artificial neural network , Elastic modulus , Optimization , Meta-Heuristic

Normal ve yüksek dayanımlı betonların elastisite modülünün tahmini için yapay sinir ağlarının hiper parametrelerinin optimizasyonu

Öz

Bu çalışmada, beton elastisite modülü Yapay Sinir Ağları (YSA) kullanılarak modellenmiştir. YSA'ın yapısal parametrelerinin optimum olarak belirlenmesi ise meta-sezgisel algoritmalar yardımıyla gerçekleştirilmiştir. YSA'ların hiper parametreleri; gizli katman sayısı, gizli katmanlardaki nöron sayıları ve gizli katmanlarda kullanılan aktivasyon fonksiyonlarıdır. YSA, sınıflandırma ve regresyon problemlerinde başarılı sonuçlar elde edebilen bir yöntemdir. Ancak hiper parametrelerinin belirlenmesi zaman alıcıdır. Bu nedenle bu çalışmada meta-sezgisel algoritmalar kullanılarak hiper parametreler belirlenmiştir. Birçok mühendislik probleminin çözümünde Balina Optimizasyon Algoritması, Karınca Aslanı Optimizasyonu ve Parçacık Sürü Optimizasyon algoritmaları başarılı sonuçlar elde edebildikleri için bu çalışmada tercih edilmişlerdir. Normal ve yüksek dayanımlı betonların elastisite modülü, hiper parametreleri belirlenen YSA kullanılarak tahmin edilmiş ve elde edilen sonuçlar literatürdeki önceki çalışmalarla karşılaştırılmıştır. Önerilen yöntem, çoğu deneyde daha iyi veya eşit sonuçlar göstererek önceki yöntemlerden daha iyi performans göstermiştir. Eğitim aşamasında, yüksek dayanımlı beton için %44,9'nda daha başarılı, %34,8'nde aynı başarıyı göstermiş ve %20,3'nde ise daha az başarılı olmuştur. Genel olarak, eğitim aşamasının %79,7'sinde önceki yöntemlere eşit veya daha iyi, test aşamasında ise %76,4 başarı göstermiştir. Normal dayanımlı beton için amaçlanan yöntem, eğitim aşamasının %59,6'sında ve test aşamasının %69,2'sinde daha iyi veya aynı performansı göstermiş ve her iki durumda da etkinliğini kanıtlamıştır. Sonuç olarak önceki çalışmalara göre daha iyi modelleme sonuçları elde edilmiştir. Farklı veri kümeleri ile yapılan modelleme sonucunda 𝑅 2 değeri en yüksek 0.98 olarak bulunmuştur. Hiper parametreler bulunmadan kullanılan YSA'dan daha iyi sonuçlar elde edilebileceği gösterilmiştir.

Anahtar Kelimeler

Yapay sinir ağı , Elastisite modülü , Optimizasyon , Meta-Sezgisel

Kaynakça

• [1] F. Demir, “Prediction of elastic modulus of normal and high strength concrete by artificial neural networks,” Constr. Build. Mater., vol. 22, pp. 1428–1435, 2008, doi: 10.1016/J.CONBUILDMAT.2007.04.004.
• [2] F. Farooq et al., “A Comparative Study of Random Forest and Genetic Engineering Programming for the Prediction of Compressive Strength of High Strength Concrete (HSC),” Appl. Sci., vol. 10, p. 7330, 2020, doi: 10.3390/APP10207330.
• [3] J. A. Garcia, J. F. Gomez, N. T. Castellanos, J. I. Abell An Garc Ia, and J. Fernandez G Omez C, “Properties prediction of environmentally friendly ultra-high-performance concrete using artificial neural networks,” Constr. Build. Mater., vol. 26, pp. 2319–2343, 2020, doi: 10.1080/19648189.2020.1762749.
• [4] N. A. Abdulla, “Using the Artificial Neural Network to Predict the Axial Strength and Strain of Concrete-Filled Plastic Tube,” J. Soft Comput. Civ. Eng., vol. 4, pp. 63–84, 2020, doi: 10.22115/SCCE.2020.225161.1198.
• [5] S. N. A. Akpinar and P. A. Al-Gburi, “Machine learning in concrete’s strength prediction,” Comput. Concr., vol. 29, pp. 433–444, 2022, doi: 10.12989/CAC.2022.29.6.433.
• [6] Z. Zeng et al., “Accurate prediction of concrete compressive strength based on explainable features using deep learning,” Constr. Build. Mater., vol. 329, p. 127082, 2022, doi: 10.1016/J.CONBUILDMAT.2022.127082.
• [7] B. K. A. Mohamad Ali Ridho, C. Ngamkhanong, Y. Wu, and S. Kaewunruen, “Recycled Aggregates Concrete Compressive Strength Prediction Using Artificial Neural Networks (ANNs),” Infrastructures, vol. 6, p. 17, 2021, doi: 10.3390/INFRASTRUCTURES6020017.
• [8] B. K. Khotimah et al., “Random Search Hyperparameter Optimization for BPNN to Forecasting Cattle Population,” E3s Web Conf., vol. 499, p. 01017, 2024, doi: 10.1051/e3sconf/202449901017.
• [9] J. Du, H. Ma, D. Sun, and P. Pan, “Data driven strength and strain enhancement model for FRP confined concrete using Bayesian optimization,” Structures, vol. 41, pp. 1345–1358, 2022, doi: 10.1016/J.ISTRUC.2022.05.093.
• [10] J. Han, C. Gondro, K. Reid, and J. P. Steibel, “Heuristic hyperparameter optimization of deep learning models for genomic prediction,” G3 Genes Genomes Genet., vol. 11, 2021, doi: 10.1093/G3JOURNAL/JKAB032.
• [11] Z. Liu, X. Gu, H. Yang, L. Wang, Y. Chen, and D. Wang, “Novel YOLOv3 Model With Structure and Hyperparameter Optimization for Detection of Pavement Concealed Cracks in GPR Images,” IEEE Trans. Intell. Transp. Syst., 2022, doi: 10.1109/TITS.2022.3174626.
• [12] M. W. Newcomer and R. J. Hunt, “NWTOPT – A hyperparameter optimization approach for selection of environmental model solver settings,” Environ. Model. Softw., vol. 147, p. 105250, 2022, doi: 10.1016/J.ENVSOFT.2021.105250.
• [13] Y. Peng, D. Gong, C. Deng, H. Li, H. Cai, and H. Zhang, “An automatic hyperparameter optimization DNN model for precipitation prediction,” Appl. Intell., vol. 52, pp. 2703–2719, 2022, doi: 10.1007/S10489-021-02507-Y/TABLES/11.
• [14] Z. Qu, J. Xu, Z. Wang, R. Chi, and H. Liu, “Prediction of electricity generation from a combined cycle power plant based on a stacking ensemble and its hyperparameter optimization with a grid-search method,” Energy, vol. 227, p. 120309, 2021, doi: 10.1016/J.ENERGY.2021.120309.
• [15] B. Senel and F. A. Senel, “Novel neural network optimization approach for modeling scattering and noise parameters of microwave transistor,” Int. J. Numer. Model. Electron. Netw. Devices Fields, vol. 35, p. e2930, 2022, doi: 10.1002/JNM.2930.
• [16] C. W. Tsai and Z. Y. Fang, “An Effective Hyperparameter Optimization Algorithm for DNN to Predict Passengers at a Metro Station,” ACM Trans. Internet Technol. TOIT, vol. 21, 2021, doi: 10.1145/3410156.
• [17] Y. Wei, Z. Chen, C. Zhao, Y. Tu, X. Chen, and R. Yang, “A BiLSTM hybrid model for ship roll multi-step forecasting based on decomposition and hyperparameter optimization,” Ocean Eng., vol. 242, p. 110138, 2021, doi: 10.1016/J.OCEANENG.2021.110138.
• [18] Z. E. Aydin, B. I. Erdem, and Z. I. E. Cicek, “Prediction bike-sharing demand with gradient boosting methods,” PAMUKKALE Univ. J. Eng. Sci.-PAMUKKALE Univ. MUHENDISLIK Bilim. Derg., vol. 29, no. 8, pp. 824–832, 2023, doi: 10.5505/pajes.2023.39959.
• [19] B. Haseli, G. Nouri, M. Mardi, E. Adili, and M. Bahari, “Prediction of Strength Parameters of Concrete Containing Different Additives Using Optimized Neural Network Algorithm.,” vol. 7, no. 4, pp. 12–23, 2023, doi: 10.61186/nmce.2022.410.
• [20] G. Franchini, “GreenNAS: A Green Approach to the Hyperparameters Tuning in Deep Learning,” Mathematics, vol. 12, no. 6, p. 850, 2024, doi: 10.3390/math12060850.
• [21] S. Mirjalili and A. Lewis, “The whale optimization algorithm,” Adv. Eng. Softw., vol. 95, pp. 51–67, 2016.
• [22] S. Mirjalili, “The ant lion optimizer,” Adv. Eng. Softw., vol. 83, pp. 80–98, 2015.
• [23] J. Kennedy and R. Eberhart, “Particle swarm optimization,” in Proceedings of ICNN’95 - International Conference on Neural Networks, 1995, pp. 1942–1948. doi: 10.1109/ICNN.1995.488968.
• [24] M. Gesoglu, E. Guneyisi, and T. Ozturan, “Effects of end conditions on compressive strength and static elastic modulus of very high strength concrete,” Cem. Concr. Res., vol. 32, pp. 1545–1550, 2002, doi: 10.1016/S0008-8846(02)00826-8.
• [25] T. Ozturan, “An investigation of concrete abrasion as two phase material,” Master’s Thesis, Faculty of Civil Engineering, Istanbul Technical University, 1984.
• [26] M. Turan and M. Iren, “Strain stress relationship of concrete,” J. Eng. Archit., vol. 12, pp. 76–81, 1997.
• [27] T. H. Wee, M. S. Chin, and M. A. Mansur, “Stress-Strain Relationship of High-Strength Concrete in Compression,” J. Mater. Civ. Eng., vol. 8, pp. 70–76, 1996, doi: 10.1061/(ASCE)0899-1561(1996)8:2(70).
• [28] F. A. Senel, F. Gokce, A. S. Yuksel, and T. Yigit, “A novel hybrid PSO–GWO algorithm for optimization problems,” Eng. Comput., vol. 35, pp. 1359–1373, 2019.