Comparison of Ensemble Learning Methods in Time Series Classification

Abstract

Time series classification (TSC) is a special type of classification that attempts to predict the relationship between time series, a sequence of values where each value is associated with a specific point in time, and a class variable. TSC methods can be divided into three main categories as base, ensemble and deep learning methods according to the classification method, or raw data, feature and model based according to on the items used in the classification. This study focuses on using of ensemble learning methods in TSC. Ensemble learning methods combine the classification results obtained from more than one base learning methods or ensemble learning methods for the classification. Ensemble learning methods are divided into three categories: bagging, boosting, and stacking. The aim of this study is to compare the classification success of ensemble learning methods selected from different categories in TSC and to identify the method with the highest classification performance. In this context, this study is expected to provide guidance in determining the classification methods that should be focused on when developing new ensemble learning methods. In line with the specified purpose, 31 ensemble learning algorithms are applied to 100 UCR data sets.

Keywords

• Bagging
• Boosting
• Stacking
• Time Series Classification
• Ensemble Learning

Zaman Serisi Sınıflandırmasında Topluluk Öğrenme Yöntemlerinin Karşılaştırılması

Abstract

Zaman serisi sınıflandırması (ZSS), her bir değerin zaman içinde belirli bir nokta ile ilişkilendirildiği bir değerler dizisi olan zaman serileri ile bir sınıf değişkeni arasındaki ilişkiyi tahmin etmeye çalışan özel bir sınıflandırma türüdür. ZSS yöntemleri, sınıflandırma yöntemine göre temel, topluluk ve derin öğrenme yöntemleri veya sınıflandırmada kullanılan öğelere göre ham veri, özellik ve model tabanlı olmak üzere üç ana kategoriye ayrılabilir. Bu çalışma, ZSS'de , topluluk öğrenme yöntemlerinin kullanımına odaklanmaktadır. Topluluk öğrenme yöntemleri, sınıflandırma için birden fazla temel öğrenme yönteminden veya topluluk öğrenme yönteminden elde edilen sınıflandırma sonuçlarını birleştirir. Topluluk öğrenme yöntemleri torbalama, artırma ve istifleme olmak üzere üç kategoriye ayrılır. Bu çalışmanın amacı, farklı kategorilerden seçilen topluluk öğrenme yöntemlerinin ZSS'deki sınıflandırma başarısını karşılaştırmak ve en yüksek sınıflandırma başarısına sahip yöntemi tespit etmeye çalışmaktır. Bu bağlamda, bu çalışmanın yeni topluluk öğrenme yöntemleri geliştirirken odaklanılması gereken sınıflandırma yöntemlerini belirlemede yol gösterici olacağı düşünülmektedir. Belirtilen amaç doğrultusunda, 31 topluluk öğrenme algoritması 100 UCR veri setine uygulanmıştır.

Keywords

• Torbalama
• Artırma
• İstifleme
• Zaman Serisi Sınıflandırması
• Topluluk Öğrenme

Thanks

Bu çalışma 2024 yılında Muğla Sıtkı Koçman Üniversitesi, Fen Bilimleri Enstitüsü, İstatistik Anabilim Dalında Şeyda ASLAN tarafından sunulan “Zaman serisi sınıflandırmasında topluluk öğrenme yöntemlerinin karşılaştırılması” başlıklı yüksek lisans tezinden üretilmiştir.

References

1. Iwana, B. K. Uchida, S. (2021). An emprical survey of data augmentation for time series classification with neural networks. PLOS ONE, https://doi.org/10.1371/journal.pone.0254841
2. Foumani, N.M. Miller, L. Tan, C.W. Webb, G.I. Forestier, G. Salehi, M. (2024), Deep learning for time series classification and extrinsic regression: a current survey. ACM Computing Surveys, 56(9):1-45.
3. Jin, L. Dong J. (2016). Ensemble deep learning for biomedical time series classification. Computational Intelligence and Neuroscience, 2016:6212684, 13
4. Netzer, M. Hanser, F. Breit, M. Weinberger K.M. Baumgartner, C. Baumgarten, D. (2019). Ensemble based approach for time series classification in metabolomics. Studies in Health Technology and Informatics, 260:89-96.
5. Al-Hadeethi, H. Abdula, S. Diykh, M. Deo R.C. Green, J.H. (2020). Adaptive boost LS-SVM classification approach for time-series signal classification in epileptic seizure diagnosis applications. Expert Systems with Applications,161-113676.
6. Yan, L. Liu, Y. Liu, Y. (2020). Application of discrete wavelet transform in shapelet-based classification. Mathematical Problems in Engineering, 2020:6523872, 13 pages.
7. Mahmoud, N. El-Sappagh, S. Abuhmed, T. Abdelrazek, A.M. El-Bakry, H. (2020). Intensive Care Unit Mortality Prediction: An improved patient-specific stacking ensemble model. IEEE Access, 8:133541-133564.
8. Wang, J. Tang, S. (2020). Time series classification based on arima and adaboost. MATEC Web of Conferences, 309(2):03024.

9. Yuan, J. Shi, M. Wang, Z. Liu, H. Li, J. (2022). Random pairwise shapelets forest: an effective classifier for time series. Knowledge and Information Systems, 64:143-174.
10. Li, G. Xu, S. Wang, S. Yu, P.S. (2023). Forest based on interval Transformation (FIT): A time series classfier with adaptive features. Expert Systems with Applications, 213:118923.
11. Sumara, R. Homenda, W. Pedrycz, W. Yu, F. (2024). A dictionary-based with stacked ensemble learning to time series classification. International Conference on Computational Science, Lecture Notes in Computer Science, 14834.
12. Souza, V.M.A. Veiga, P.S. Ribeiro A.G.R. (2025). Visemble: A fast ensemble approach for time series classification with multiple visual representations. Knowledge-Based Systems, 309. 112864
13. Dong, Y. Xu, Y. Zhou, R. Zhu, C. Liu, J. Song, J. Wu, X. (2024). Ensemble based fully convolutional transformer network for time series classification. Applied Intelligence, 54,800-8819.
14. Zhang, H. Chan, S. Qin, S. Dong, Z. Chen, G. (2024). SMDE: Unsupervised representation learning for time series based on signal mode decomposition and ensemble. Knowledge-Based Systems, 301. 112369.
15. Zheng, Y. Liu, Q. Chen, E. Ge, Y. Zhao, J.L. (2014). Time Series Classification Using Multi-Channels Deep Convolutional Neural Networks. International Conference Web-Age Information Management. WAIM 2014, Lecture Notes in Computer Science, vol 8485. Springer, Cham. https://doi.org/10.1007/978-3-319-08010-9_33
16. Fawaz, H.I. Forestier, G. Weber, J. Idoumghar, L. Muller, P-A. (2019). Deep learning for time series classification: a review. Data Mining and Knowledge Discovery. 33, 917–963.
17. Ahmad, F. Mat Isa, N.A. Hussain, Z. Osman, M.K. Sulaiman, S.N. (2015). A GA-based feature selection and parameter optimization of an ANN in diagnosing breast cancer. Pattern Analysis and Applications, 18(4):861–870.
18. Li, X. Chen, X. Rezaeipanah, A. (2023). Automatic breast cancer diagnosis based on hybrid dimensionality reduction technique and ensemble classification. Journal of Cancer Research and Clinical Oncology, 149, 7609–7627.
19. Liu, H. Jia, J. Gong, N.Z. (2021). On the intrinsic differential privacy of bagging, Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, 19-27 August 2021, Montreal.
20. Breiman, L. (2001). Random forests. Machine Learning, 45(1):5–32
21. Şahin, A. Çelik, M. Ceylan, M.R. Altındağ, D. Gurbuz, E. Güler Dincer, N. Alkan, S. (2023). Prediction of brucellosis based on hematological biomarkers via ensemble classification methods. Annals of Medical Research, 30(12):1516-1522.
22. Freund, Y. Schapire, R.E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1):119-139.
23. Friedman, J.H. (2001). Greedy function approximation: a gradient boosting machine. The Annals of Statistics, 29(5):1189-1232.
24. Chen, T. Guestrin, C. (2016). Xgboost: A scalable tree boosting system. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco California / USA, August 13-17, 785-794.