Comparison of Long-Short Term Memory Networks with Different Optimizations in River Flow Prediction and the Effect of Singular Spectrum Analysis

Abstract

Periodic river flow measurements are required to ensure sustainable water resources. For this, different estimation methods are required. In this study, Deep Learning (DL) and Aksu River flows were estimated by LSTM (Long-Short Term Memory) neural network, which is one of the Artificial Intelligence methods. In the study, the data belonging to Başpınar Flow Measurement Station (FMS) (D20A002) on Aksu River between 2000-2019 were used as input for analysis. In addition, the performance effect of Single Spectrum Analysis (TSA) on LSTM was examined. Adam, Adamax and AdaGrad algorithms were applied to the TSA-LSTM model. The most accurate estimation model has been determined by comparing the estimate and actual values. It has been observed that the Adamax optimizer provides the best performance in flow estimation. TSA-LSTM model coefficient (R2) determination was found to be 0.9851 during the test phase. When the obtained results were examined, it was seen that the TSA-LSTM model gave better results in estimating flow studies.

Keywords

• LSTM
• Singular spectrum
• Stream flow

Uzun-Kısa Süreli Bellek Ağlarının Nehir Akım Tahmininde Farklı Optimizasyonlarla Karşılaştırılması Ve Tekil Spektrum Analizinin Etkisi

Öz

Su kaynaklarının sürdürülebilir olması için periyodik nehir akım ölçümlerinin yapılması gerekmektedir. Bunun için farklı tahmin yöntemlerine gereksinim duyulmaktadır. Bu çalışmada, Yapay Zeka yöntemlerinden Derin Öğrenme (DL) ile Aksu Nehri akımlarının LSTM (Uzun-Kısa Süreli Bellek) sinir ağı ile tahmini yapılmıştır. Çalışmada, Aksu Nehri üzerindeki D20A002 No’lu Başpınar Akım Gözlem İstasyonuna (AGİ) ait 2000-2019 yılları arasını kapsayan veriler analiz için girdi olarak kullanılmıştır. Ayrıca, Tekil Spektrum Analizi’nin (TSA) LSTM’ye olan perfonmans etkisi irdelenmiştir. TSA-LSTM modeline iyileştirici olarak Adam, Adamax ve AdaGrad algoritmaları uygulanmıştır. Tahmin ve gerçek değerler karşılaştırılarak en doğru tahmin modeli belirlenmiştir. Akım tahmininde iyi performansı Adamax iyileştiricisinin sağladığı görülmüştür. TSA-LSTM modeli katsayısı (R2) tayini test aşamasında 0,9851 bulunmuştur. Elde edilen sonuçlar incelendiğinde TSA-LSTM modelinin akım çalışmaları tahmininde daha iyi sonuçlar verdiği görülmüştür.

Anahtar Kelimeler

• Uzun-Kısa Süreli Bellek Ağları
• Tekil spektrum
• Akım

Kaynakça

1. Acer, Ç. G., Latifoğlu, F., Eset, K., & Kuduz, H. (2014). Elektromiyogram Sinyallerinden Tekil Spektrum Analizi Kullanarak Öznitelik Çıkarımı, Tıp Teknolojileri Ulusal Kongresi, Biyomedikal Mühendisliği Bölümü, Erciyes Üniversitesi.
2. Ahi, Ş.N., Soğukpınar, I. (2020). Derin Öğrenme Modelleri İle Kimlik Avı E-Posta Tespiti, Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi, cilt 13, no. 2, pp. 17-31, 2020.
3. Alpay, Ö. (2020). LSTM Mimarisi Kullanarak USD/TRY Fiyat Tahmini. Avrupa Bilim ve Teknoloji Dergisi, (Özel Sayı), 452-456, 2020. Balcı, F., Oralhan, Z. (2020). LSTM ile EEG Tabanlı Kimliklendirme Sistemi Tasarımı. Avrupa Bilim ve Teknoloji Dergisi, (Special Issue), 135-141, 2020.
4. Bayazıt, M. 1996. İnşaat Mühendisliğinde Olasılık Yöntemleri (I. Basım), İTÜ Rektörlüğü Yayın No: 1573, 245 s.
5. Bojang, P. O., Yang, T. C., Pham, Q. B., Yu, P. S. (2020). Linking Singular Spectrum Analysis and Machine Learning for Monthly Rainfall Forecasting. Applied Sciences, 10(9), 3224.
6. Bouktif, S., Fiaz, A., Ouni, A., Serhani, M. (2018). Optimum deep learning lstm model for electric charge prediction using feature selection and genetic algorithm: Comparison with machine learning approaches. Energies,11 (7), 1636
7. Broomhead, D., King, G. (1986). Deriving qualitative dynamics from experimental data. Physica D: Nonlinear Events, 20 (2-3), 217-236. Chau, K. W., Wu, C. L. (2010). A hybrid model coupled with singular spectrum analysis for daily rainfall prediction. Journal of Hydroinformatics, 12(4), 458-473.
8. DSİ, (1994). Türkiye Akarsu Havzaları Maksimum Akımlar Frekans Analizi, DSİ Etüd ve Plan Dairesi Başkanlığı, Ankara.

9. Gemici, E., Ardıçlıoğlu, M., Kocabaş, F. (2013). Akarsular Debinin Yapay Zeka Yöntemleri İle Modellenmesi, Erciyes Üniversitesi Fen Bilimleri Enstitüsü Dergisi, cilt 2, no. 29, pp. 135-143, 2013.
10. Hochreiter, S., Schmidhuber, J. (1997). Long short-term memory, Neural computation, cilt 9, no. 8, pp. 1735-1780, 1997.
11. Huang, Z., Ling, B. (2019). Hankelization of singular spectrum analysis matrices with L 1 norm criterion. Signal, Image and Video Processing, 13 (5), 933-940.
12. İstanbulluoğlu, A., Konukçu, F. (2006). Trakya Bölgesi Su Kaynaklarının Gelişitirilmesi ve Sulu Tarım Uygulamaları, Tekirdağ Ziraat Fakültesi Dergisi, cilt 3, no. 2, pp. 139-152, 2006.
13. Kara, A. (2019). Uzun-Kısa Süreli Bellek Ağı Kullanarak Global Güneş Işınımı Zaman Serileri, Gazi Üniversitesi Fen Bilimleri Dergisi, cilt 7, no. 4, pp. 882-892, 2019.
14. Kılınç, H.Ç. (2021). Nehir Akımlarının Derin Öğrenme İle Tahmini ve Akımların Demiryolları Güzergahına Etkisi, Demiryolu Mühendisliği, no. 13, pp. 106-114.
15. Küçükerdem, T.S, Kilit, M., Saplıoğlu, K. (2019). Bulanık çıkarım sistemlerinde kullanılan küme sayılarının K-ortalamalar, Pamukkale Üniversitesi Mühendislik Bilimleri Dergisi, cilt 8, no. 25, pp. 962-967.
16. Latifoğlu, L., Nuralan K.B. (2020). Tekil Spektrum Analizi ve Uzun-Kısa Süreli Bellek Ağları ile Nehir Akım Tahmini.” Avrupa Bilim ve Teknoloji Dergisi, (Özel Sayı), 376-381, 2020.
17. Liu, D., Jiang, W., Mu, L., Wang, S. (2020). Streamflow Prediction Using Deep Learning Neural Network: Case Study of Yangtze River. IEEE Access, 8, 90069-90086.
18. Sagheer, A., Kotb, M. (2019). Time series prediction of oil production using deep LSTM recurrent networks. Neuro calculation, 323, 203-213.
19. Sakarya, Ş., Yılmaz, Ü. (2019). Derin Öğrenme Mimarisi Kullanarak BİST30 İndeksinin Tahmini. European Journal of Educational and Social Sciences, 4(2), 106-121.
20. Sarıgül, O., İnan, N. (2013). Aksu Çayı havzası (K. maraş)'nın fiziki coğrafyası (Master's thesis, Necmettin Erbakan Üniversitesi).
21. Singh, D., Merdivan, E., Psychoula, I., Kropf, J., Hanke, S., Geist, M., Holzinger, A. (2017). Human Activity Recognition Using Recurrent Neural Networks. Paper presented at the International Cross-Domain Conference for Machine Learning and Knowledge Extraction.
22. Sivapragasam, C., Liong, S. Y., & Pasha, M. F. K. (2001). Rainfall and runoff forecasting with SSA–SVM approach. Journal of Hydroinformatics, 3(3), 141-152.
23. Süzen, A.A., Yıldız, Z., Yılmaz, T. (2019). “LSTM tabanlı Derin Sinir Ağı ile Ayak Taban Basınç Verilerinden VKİ Durumlarının Sınıflandırılması.” Bitlis Eren Üniversitesi Fen Bilimleri Dergisi, 8(4), 1392-1398, 2019.
24. T.C. Çevre ve Şehircilik Bakanlığı, (2016). Çevre Yönetimi Genel Müdürlüğü, Ceyhan Havzası Kirlilik Önleme Eylem Planı
25. Tokgöz, A. ve Ünal, G. (2018). Türkiye elektrik yükünü tahmin etmek için RNN tabanlı bir zaman serisi yaklaşımı. In 2018 26 Sinyal İşleme ve İletişim Uygulamaları Kurultayı (SİU) (s. 1-4). IEEE.
26. Vautard, R., Yiou, P., Ghil, M. (1992). Singular spectrum analysis: A toolkit for short, noisy chaotic signals. Physica D: Nonlinear Events, 58 (1-4), 95-126.
27. Xu, W., Jiang, Y., Zhang, X., Li, Y., Zhang, R., & Fu, G. (2020). Using long short-term memory networks for river flow prediction. Hydrology Research, 51(6), 1358-1376.
28. Yücerer, B., Yılmaz, T. (2020). Küresel Su Hakları ve Türkiye, Çukurova Üniversitesi Fen ve Mühendislik Bilimleri Dergisi, cilt 39, no. 7, pp. 124-132