Comparison of Long-Short Term Memory and Gated Recurrent Unit Based Deep-Learning Models in Prediction of Streamflow Using Machine Learning

Abstract

Dünya nüfusundaki artış ve bunun sonucunda ortaya çıkan su ve enerji talebi, su kaynakları üzerinde artan bir baskı oluşturmaktadır. Makine öğrenmesi (ML), nehir akışlarını tahmin etmede etkin bir rol oynamaktadır. ML yöntemlerinden olan tekrarlayan sinir ağı (RNN) modeli, tekrarlayan veri setlerinde kaybolan gradyan sorunu nedeniyle yetersiz kalmıştır. Uzun kısa süreli bellek ağları (LSTM), ağ hücrelerinin önceden depolanmış belleklerinin bir kısmını unutmasına izin verir. Diğer bir yöntem olan geçitli tekrarlayan birim (GRU) ise hafızayı günceller ve kayıp problemini çözer. GRU'nun eğitim parametresi daha az olduğu ve daha az bellek kullandığı için hızlıdır, LSTM modelinde ise daha uzun diziler kullanıldığından veri kümesinde daha doğrudur. Fırat Nehri üzerindeki (E21A035) Bulam akış ölçüm istasyonunun (FMS) (2000-2009) akış verilerinden elde edilen veri seti orta büyüklükte ve tekrarlayan değerlere sahip olduğundan çalışmada bu iki model bu istasyondan elde edilen veriler ile karşılaştırılmıştır. Çalışma için Adadelta, Adagrad, FTRL, SGD, RMSprop, Nadam, Adamax, Adam iyileştiricileri test edilmiştir. R2, MAE, RMSE istatistiksel değerlendirme kriterleri göz önüne alındığında Adam ve Adamax optimize edicilerin daha iyi sonuçlar verdiği görülmüş ve verilere en uygun olan bu iyileştiricilerin kullanılmasına karar verilmiştir. Çalışmada MAE, MSE ve LogCosh kayıp fonksiyonları kullanılmıştır. LSTM ve GRU modellerinin performansı analiz edildiğinde, GRU modelinden daha iyi sonuçlar elde edildiği, 0.3346 RMSE, 0.1464 MAE ve 0.9718 R2 değerleri ile gözlemlenmiştir.

Keywords

• streamflow
• long short term memory
• gated recurrent unit

Makine Öğrenimi Kullanılarak Nehir Akım Tahmininde Uzun-Kısa Süreli Bellek ve Geçitli Tekrarlayan Birim Model Tabanlı Derin Öğrenme Modellerinin Karşılaştırılması

Öz

Dünya nüfusundaki artış ve bunun sonucunda ortaya çıkan su ve enerji talebi, su kaynakları üzerinde artan bir baskı oluşturmaktadır. Makine öğrenmesi (ML), nehir akışlarını tahmin etmede etkin bir rol oynamaktadır. ML yöntemlerinden olan tekrarlayan sinir ağı (RNN) modeli, tekrarlayan veri setlerinde kaybolan gradyan sorunu nedeniyle yetersiz kalmıştır. Uzun kısa süreli bellek ağları (LSTM), ağ hücrelerinin önceden depolanmış belleklerinin bir kısmını unutmasına izin verir. Diğer bir yöntem olan geçitli tekrarlayan birim (GRU) ise hafızayı günceller ve kayıp problemini çözer. GRU'nun eğitim parametresi daha az olduğu ve daha az bellek kullandığı için hızlıdır, LSTM modelinde ise daha uzun diziler kullanıldığından veri kümesinde daha doğrudur. Fırat Nehri üzerindeki (E21A035) Bulam akış ölçüm istasyonunun (FMS) (2000-2009) akış verilerinden elde edilen veri seti orta büyüklükte ve tekrarlayan değerlere sahip olduğundan çalışmada bu iki model bu istasyondan elde edilen veriler ile karşılaştırılmıştır. Çalışma için Adadelta, Adagrad, FTRL, SGD, RMSprop, Nadam, Adamax, Adam iyileştiricileri test edilmiştir. R2, MAE, RMSE istatistiksel değerlendirme kriterleri göz önüne alındığında Adam ve Adamax optimize edicilerin daha iyi sonuçlar verdiği görülmüş ve verilere en uygun olan bu iyileştiricilerin kullanılmasına karar verilmiştir. Çalışmada MAE, MSE ve LogCosh kayıp fonksiyonları kullanılmıştır. LSTM ve GRU modellerinin performansı analiz edildiğinde, GRU modelinden daha iyi sonuçlar elde edildiği, 0.3346 RMSE, 0.1464 MAE ve 0.9718 R2 değerleri ile gözlemlenmiştir.

Anahtar Kelimeler

• nehir akımları
• uzun kısa süreli bellek ağları
• geçitli tekrarlayan birim

References

1. Yavuz, D. Yavuz, N. (2021). Can agricultural drought be prevented or is it the inevitable end 3. International African Conference on Current Studies. https://www.africansummit.org/ Abomey-Calavi, Benin. 417- 426.
2. Hasırcı, O. S. (2021). Evaluatıon of Irrigation Water Qualıty of Groundwater Resources in Çumra District of Konya Province. Msc. Thesis, Selçuk University, Konya, Turkey.
3. Kılınç, H.Ç. (2021). Prediction of River Flows using Deep Learning and the Effect of Flows on Railways Routes, Journal of railway engineering, no. 13, pp. 106-114.
4. Khan, S., Yairi, T. A. (2018). Review on the application of deep learning in system health management. Mech. Syst. Sig. Process. 107, 241–265.
5. Zhou, X., Tang, Z., Xu, W., Meng, F., Chu, X., Xin, K., Fu, G. (2019). Deep learning identifies accurate burst locations in water distribution networks, Water Resources, 166, 115058.
6. Hochreiter, S., Schmidhuber, J. (1997). Long short-term memory, Neural Comput., vol. 9, no. 8, pp. 1–32.
7. Gers, F.A., Schmidhuber, J., Cummins, F. (1999). Learning to forget: Continual prediction with LSTM, in Proc. 9th Int. Conf. Artif. Neural Netw., pp. 850–855.
8. Day, R., Salem, F. (2017). Gate-variants of Gated Recurrent Unit (GRU) neural networks. 2017 IEEE 60th International Midwest Symposium on Circuits and Systems (MWSCAS), Boston, USA.

9. Wang, C., Du, W., Zhu, Z., Yue, Z. (2020). The real-time big data processing method based on LSTM or GRU for the smart job shop production process. Journal of Algorithms & Computational Technology, 14, 1748302620962390.
10. Zhao, R., Wang, D., Yan, R., Mao, K., Shen, F., Wang, J. (2018). Machine Health Monitoring Using Local Feature-Based Gated Recurrent Unit Networks, IEEE Trans. Ind. Electron, 65, 1539–1548.
11. Demir, V., Uğur Tona, A. (2021). Calculation of Base Current with the Help of Flow-Continuity Curve: Example of Samsun Kurtun River. European Journal of Science and Technology, (24), 502-507.
12. Cebe, K. Bilhan, O. (2021). Steady Flow Analysis Using HEC-RAS Hydrodynamic Model: The Case of Nevşehir, Turkey. European Journal of Science and Technology, (32), 135-141.
13. Soyaslan, İ., İ., (2019). Determination of Water Budget by Groundwater Flow Modeling of Hoyran Basin. European Journal of Science and Technology, (17), 1184-1197.
14. Zhao, X.; Lv, H.; Wei, Y.; Lv, S.; Zhu, X. (2021). Streamflow Forecasting via Two Types of Predictive Structure-Based Gated Recurrent Unit Models. Water 2021, 13, 91.
15. Apaydin, H., Feizi, H., Sattari, M.T., Colak, M.S., Shamshirband, S. Chau, K.-W. (2020). Comparative Analysis of Recurrent Neural Network Architectures for Reservoir Inflow Forecasting. Water 2020, 12, 1500.
16. Nazimi, N. (2021). Monthly Streamflow Predıctıon of Euphrates Basin by Using Ffnn, Anfıs and Lstm Models) (Master's thesis, Erzincan Binali Yıldırım University).
17. Yıldırım, A. (2006). ‘Karakaya Dams and effects of naturel environment. Dicle University Journal of Ziya Gökalp Faculty of Education, 6, Diyarbakir.
18. Özcan, O., Bookhagen, B., Musaoğlu, N. (2013). ‘The Influence of Extreme Precipitation Events on Interannual Variation of the Hydrologic Components in The Euphrates Basin. Aegean Geographical Journal, 26(1), İzmir.
19. Bilbay, T. (2014). Manageri̇al and soci̇al problems and soluti̇ons related wi̇th usi̇ng of water resources i̇n Turkey: Example of Euphrates ri̇ver (Master's thesis, Mustafa Kemal University).
20. Fang, Z., Wang, Y., Peng, L., Hong, H. (2020). Predicting flood susceptibility using long short-term memory (LSTM) neural network model, Journal of Hydrology, 125734.