Time Series Forecasting Transformer and Prophet Model

Abstract

A time series is a sequence of temporal data obtained at specific intervals. These intervals can represent equal time periods such as daily, weekly, monthly, or yearly, or irregular and unequal time periods. Time series forecasting involves predicting future values of the target variable using its past values. This process involves identifying temporal variations such as trend, seasonality, and noise to make predictions about future values. In time series analysis, machine learning include data analysis, preprocessing, normalization, transformations, time based features, error optimization, and model accuracy optimization. Machine learning methods provide greater efficiency compared to traditional methods, especially when the volume and complexity of data and variables increase. Deep learning, in particular, offers advantages in time series forecasting by capturing long-term dependencies and handling large and complex datasets. Machine learning and deep learning models can achieve high accuracy, interpretability, and fast results for multivariate time series forecasting. In this study, the Prophet model and the Transformer model, which is one of the most advanced methods of recent times and has shown effective results in many fields, were used for future time series forecasting. The study focused on the inclusion of numerous endogenous and exogenous factors, the comparison of the performance of these two methods, the variable augmentation and the calculation of variable importances by incorporating error weights for each variable into the models, and the combined use of these methods to achieve high accuracy.

Keywords

• Time series forecasting
• Machine learning
• Deep learning
• Prophet model
• Transformer model

Zaman Serileri Tahmini: Transformer ve Prophet Modeli

Abstract

Zaman serisi, belirli aralıklarla elde edilen zamansal veri dizisidir. Bu aralıklar, günlük, haftalık, aylık veya yıllık gibi eşit zaman periyotlarını temsil edebileceği gibi, düzensiz ve eşit olmayan zaman periyotlarını da ifade edebilir. Zaman serisi tahmini, hedef değişkenin geçmiş değerlerini kullanarak gelecekteki değerlerini tahmin etmeyi içerir. Bu süreçte, eğilim (trend), mevsimsellik (seasonality) ve gürültü (noise) gibi zamansal değişimlerin belirlenmesi, gelecekteki değerler hakkında öngörülerde bulunmak için önemlidir. Zaman serisi analizinde makine öğrenmesi, veri analizi, ön işleme, normalizasyon, dönüşümler, zamana dayalı özellikler, hata optimizasyonu ve model doğruluğu optimizasyonunu içerir. Makine öğrenmesi yöntemleri, özellikle veri ve değişkenlerin hacmi ile karmaşıklığı arttığında, geleneksel yöntemlere kıyasla daha yüksek verimlilik sağlar. Özellikle derin öğrenme, uzun vadeli bağımlılıkları yakalayarak ve büyük, karmaşık veri kümelerini işleyerek zaman serisi tahmininde önemli avantajlar sunar. Makine öğrenmesi ve derin öğrenme modelleri, çok değişkenli zaman serisi tahmininde yüksek doğruluk, yorumlanabilirlik ve hızlı sonuçlar elde etmeye olanak tanır. Bu çalışmada, zaman serisi tahmini için son yıllarda en gelişmiş yöntemlerden biri olan ve birçok alanda etkili sonuçlar veren Transformer modeli ile Prophet modeli kullanılmıştır. Çalışma kapsamında, çok sayıda içsel (endogenous) ve dışsal (exogenous) faktörün dahil edilmesi, bu iki yöntemin performanslarının karşılaştırılması, değişken genişletme (variable augmentation) ve her değişkene ait hata ağırlıklarının modellere dahil edilerek değişken önemlerinin hesaplanması ele alınmıştır. Ayrıca, yüksek doğruluk elde etmek amacıyla bu yöntemlerin birlikte kullanımı incelenmiştir.

Keywords

• Zaman serisi tahmini
• Makine öğrenmesi
• Derin öğrenme
• Prophet modeli
• Transformer modeli

References

1. Feng, T., Zheng, Z., Xu, J., Liu, M., Li, M., Jia, H., & Yu, X. (2022). The comparative analysis of SARIMA, Facebook Prophet, and LSTM for road traffic injury prediction in Northeast China. Frontiers in Public Health, 10, 946563. https://doi.org/10.3389/fpubh.2022.946563
2. Hasnain, A., Sheng, Y., Hashmi, M. Z., Bhatti, U. A., Hussain, A., Hameed, M., & Zha, Y. (2022). Time series analysis and forecasting of air pollutants based on prophet forecasting model in Jiangsu province, China. Frontiers in Environmental Science, 10, 945628. https://doi.org/10.3389/fenvs.2022.945628
3. Huang, Y. T., Bai, Y. L., Yu, Q. H., Ding, L., & Ma, Y. J. (2022). Application of a hybrid model based on the Prophet model, ICEEMDAN and multi-model optimization error correction in metal price prediction. Resources Policy, 79, 102969. https://doi.org/10.1016/j.resourpol.2022.102969
4. Jha, B. K., & Pande, S. (2021). Time series forecasting model for supermarket sales using FB-prophet. In 2021 5th International Conference on Computing Methodologies and Communication (ICCMC) (pp. 547–554). IEEE. https://doi.org/10.1109/ICCMC51019.2021.9418205
5. Liu, W., Yu, X., Zhao, Q., Cheng, G., Hou, X., & He, S. (2023). Time series forecasting fusion network model based on prophet and improved LSTM. Computational Materials Continuum, 74(2), 3200–3219. https://doi.org/10.32604/cmc.2023.030971
6. Mohammadi Farsani, R., & Pazouki, E. (2020). A transformer self-attention model for time series forecasting. Journal of Electrical and Computer Engineering Innovations (JECEI), 9(1), 1–10. https://doi.org/10.22061/JECEI.2020.6672.348
7. Riyantoko, P. A., Fahrudin, T. M., Hindrayani, K. M., & Muhaimin, A. (2021). Water availability forecasting using univariate and multivariate Prophet time series model for ACEA (European Automobile Manufacturers Association). International Journal of Data Science, Engineering, and Analytics, 1(2), 43–54. https://doi.org/10.53894/ijdsea.v1i2.19
8. Setianingrum, A. H., Anggraini, N., & Ikram, M. F. D. (2022). Prophet model performance analysis for Jakarta air quality forecasting. In 2022 10th International Conference on Cyber and IT Service Management (CITSM) (pp. 1–7). IEEE. https://doi.org/10.1109/CITSM55714.2022.9910907

9. Sun, S., Zhou, H., Ji, J., & Liu, S. (2022). Research on residual value prediction of new energy second-hand cars based on prophet multivariate time series model. In International Conference on Computer, Artificial Intelligence, and Control Engineering (CAICE 2022) (Vol. 12288, pp. 146–151). SPIE. https://doi.org/10.1117/12.2648570
10. Taylor, S. J., & Letham, B. (2018). Forecasting at scale. The American Statistician, 72(1), 37–45. https://doi.org/10.1080/00031305.2017.1380080
11. URL1 (Advancing Analytics). (2021). Facebook Prophet and the Stock Market (Part 2). https://www.advancinganalytics.co.uk/blog/2021/7/26/facebook-prophet-and-the-stock-market-part-2
12. Van den Burg, G. J., & Williams, C. K. (2020). An evaluation of change point detection algorithms. arXiv Preprint, arXiv:2003.06222. https://arxiv.org/abs/2003.06222
13. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N. Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30, 5998–6008.
14. Wu, S., Xiao, X., Ding, Q., Zhao, P., Wei, Y., & Huang, J. (2020). Adversarial sparse transformer for time series forecasting. Advances in Neural Information Processing Systems, 33, 17105–17115.
15. Zhou, T., Pan, S., Wang, J., Vasilakos, A. V., & Liu, H. (2021). Edge intelligence: Paving the last mile of artificial intelligence with edge computing. Proceedings of the IEEE, 107(8), 1738–1762. https://doi.org/10.1109/JPROC.2019.2958030