Long-Short Term Memory Network Approach for Time Series Prediction

Öz

The long-short-term memory (LSTM) network consists of memory cells that store and forget information over time, capturing long-term dependencies. LSTM sequential processing capabilities are achieved through recurrent connections. LSTM has been made suitable for time series analysis, natural language processing and more. Machine learning algorithms are effective in learning data and generating insights from complex data. The discrete element method (DEM) is a powerful computational method for simulating the behaviour of granular materials. DEM is used in many industries such as agriculture and food processing and is used in particle flow analysis and optimisation. In this study, DEM-based simulation is performed for peanut classification. Time dependent friction force data are collected. By using LSTM on particle-wall friction data, it is aimed to predict friction faster than simulations and thus reduce economic and quality losses. In the study, the R-value of the model is found to be 0,857. The percentage of the average absolute error was found to be 2,326%. 300 iterations were performed and the calculations took 37,934 seconds. A high accuracy relationship was observed between the data obtained from the network and the series. The LSTM network eliminated the need for pre-processing the data. The network used in the study, the parameters of the network and the estimation of this network are given in the study.

Anahtar Kelimeler

• Peanut classification
• Discrete element method (DEM)
• Modelling
• Long-short term memory (LSTM)
• Prediction

Zaman Serisinin Kestirimi İçin Uzun-Kısa Süreli Bellek Ağı Yaklaşımı

Öz

Uzun-kısa süreli bellek (LSTM) ağı, zaman içinde bilgileri depolayan ve unutan bellek hücrelerinden oluşmakta, uzun vadeli bağımlılıkları yakalamaktadır. LSTM'de sıralı işleme yeteneği, tekrarlayan bağlantılarla elde edilmektedir. LSTM, zaman serisi analizi, doğal dil işleme ve daha fazlası için uygun hâle getirilmiştir. Makine öğrenimi algoritmaları veri öğrenme ve karmaşık verilerden iç-görüler üretme konusunda etkilidir. Ayrık eleman yöntemi (AEY) ise taneli malzemelerin davranışını simüle etmek için güçlü hesaplama yöntemidir. AEY tarım ve gıda işleme gibi birçok endüstride, tanecikli eleman akış analizi ve optimizasyon amaçlı kullanılmaktadır. Bu çalışmada yer fıstığının sınıflandırılması için AEY esaslı simülasyon yapılmıştır. Zamana bağlı sürtünme kuvveti verisi toplanmıştır. Tane-duvar sürtünme verisi üzerinde LSTM kullanarak simülasyonlardan daha hızlı bir biçimde sürtünme kestirimi ve bu suretle de ekonomik ve kalite kayıplarını azaltmak amaçlanmıştır. Çalışmada modelin R değeri 0,857 olarak bulunmuştur. Ortalama mutlak hatanın yüzdesi ise % 2,326 olarak bulunmuştur. 300 adet iterasyon yapılmış ve hesaplamalar 37,934 saniye sürmüştür. Ağdan elde edilen veri ile seri arasında yüksek doğrulukta bir ilişki görülmüştür. LSTM ağı veriye bir ön işlem gereksinimini ortadan kaldırmıştır. Çalışmada kullanılan ağ, ağın parametreleri ve bu ağın kestirimi çalışmada verilmiştir.

Anahtar Kelimeler

• Fıstık sınıflandırma
• Ayrık eleman yöntemi
• Modelleme
• Uzun kısa süreli bellek
• Kestirim

Kaynakça

1. 1. LeCun, Y., Bengio, Y., Hinton, G., 2015. Deep learning. Nature, 521(7553), 436-444.
2. 2. Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A.A., Veness, J., Bellemare, M.G., Graves, A., Riedmiller, M., Fidjeland, A.K., Ostrovski, G., 2015. Human-level control through deep reinforcement learning. Nature, 518(7540), 529-533.
3. 3. Yosinski, J., Clune, J., Bengio, Y., Lipson, H., 2014. How transferable are features in deep neural networks? Advances in Neural Information Processing Systems, 27.
4. 4. Zhao, C., Hu, P., Liu, X., Lan, X., Zhang, H., 2023. Stock market analysis using time series relational models for stock price prediction. Mathematics, 11(5), 1130.
5. 5. Cundall, P.A., Strack, O.D., 1979. A discrete numerical model for granular assemblies. Geotechnique, 29(1), 47-65.
6. 6. Ansys Rocky DEM©, 2021. Particle Dynamics Simulation Software. 01.18.2024 [cited 2024 11.29.2024]; Available from: https://www.ansys.com/products/fluids/ansys-rocky.
7. 7. Deist, T.M., Patti, A., Wang, Z., Krane, D., Sorenson, T., Craft, D., 2019. Simulation-assisted machine learning. Bioinformatics, 35(20), 4072-4080.
8. 8. Saadallah, A., Finkeldey, F., Buß, J., Morik, K., Wiederkehr, P., Rhode, W., 2022. Simulation and sensor data fusion for machine learning application. Advanced Engineering Informatics, 52, 101600.

9. 9. Ercan, U., 2012. Modeling of cylindrical helical sieve. Master Thesis. Çukurova University, Institute of Science and Technology, Mechanical Engineering, 84.
10. 10. Ugurluay, S., Akcali, I.D., 2021. Development of a vibrationless sorting system. Spanish Journal of Agricultural Research, 19(1), 204.
11. 11. Akcali, İ.D., Mutlu, H., Ercan, U., 2014. Mathematical model of a sorting machine. Journal of Agricultural Machinery Science, 10(3), 229-234.
12. 12. Zhang, C., Chen, Y., Wang, Y., Bai, Q., 2024. Discrete element method simulation of granular materials considering particle breakage in geotechnical and mining engineering: A short review. Green and Smart Mining Engineering.
13. 13. Chouhan, K., Chavda, J.T., 2021. A review on numerical simulation of large deformation problems in geotechnical engineering. In Indian Geotechnical Conference, Springer.
14. 14. Karaca, S., Uçar, A., 2024. Applications of DEM particle breakage models in mineral industrial. Scientific Mining Journal, 62(4), 183-190.
15. 15. Korkmaz, C., Kacar, İ., 2024. Modelleme ve tahmin amaçlı veri ön işleme yöntemlerinin ürün kurutma örneği ile açıklanması. Tekirdağ Ziraat Fakültesi Dergisi, 21(2), 482-500.
16. 16. Rahman, M.M., Shakeri, M., Khatun, F., Tiong, S.K., Alkahtani, A.A., Samsudin, N.A., Amin, N., Pasupuleti, J., Hasan, M.K., 2023. A comprehensive study and performance analysis of deep neural network-based
17. approaches in wind time-series forecasting. Journal of Reliable Intelligent Environments, 9(2), 183-200.
18. 17. MathWorks, 2023. Long short-term memory (LSTM) layer for recurrent neural network (RNN). 21.05.2024]; Available from: https://www.mathworks.com/help/deeplearning/ref/nnet.cnn.layer. lstmlayer.html.
19. 18. Huan, J., Deng, L., Zhu, Y., Jiang, S., Qi, F., 2024. Short-to-medium-term wind power forecasting through enhanced transformer and improved EMD integration. Energies, 17(10), 2395.
20. 19. Kacar, İ., 2023. Uyarlamalı ağ tabanlı bulanık çıkarım sistemi kullanarak bir mekanik jiroskopun yalpalama kestirimi. Adıyaman Üniversitesi Mühendislik Bilimleri Dergisi, 10(21), 198-209.
21. 20. Shi, H., Hu, S., Zhang, J., 2019. LSTM based prediction algorithm and abnormal change detection for temperature in aerospace gyroscope shell. International Journal of Intelligent Computing and Cybernetics, 12(2), 274-291.
22. 21. Wang, J., Deng, Z., Shen, K., 2022. Virtual gyros construction and evaluation method based on BILSTM. IEEE Transactions on Instrumentation and Measurement, 71, 1-10.
23. 22. Kacar, İ., Korkmaz, C., 2022. Çok katmanlı algılayıcı ağı, uzun kısa süreli bellek ağı ve regresyon yöntemleri ile tarımsal kurutma tahmini. Gümüşhane Üniversitesi Fen Bilimleri Dergisi, 12(4), 1188-1206.
24. 23. Kacar, İ., Korkmaz, C., 2022. N25P5K5 türü yeni nesil bir bitki besininin kuruma kinetiğinin regresyon ve makine öğrenme yöntemleri ile belirlenmesi. Çukurova Üniversitesi Mühendislik Fakültesi Dergisi, 37(4), 989-1004.
25. 24. Kacar, İ., 2023. Mekanik tasarım ve analizin bilimsel esasları. Ankara: Akademisyen Kitabevi.
26. 25. Korkmaz, C., 2023. The place of organic and organomineral fertilizer production in sustainable agriculture. In Sustainable Agriculture Technologies – II, A. Bayat, Editor. İksad., 184-206.
27. 26. Zhao, X., Chen, J., Du, F., 2012. Potential use of peanut by-products in food processing: A review. Journal of Food Science and Technology, 49, 521-529.