Wavelet-based multi-frequency image transformation for time series classification

Öz

Context—Time series classification (TSC) plays a critical role in many application domains such as healthcare, fault diagnosis, and signal analysis, where signals are often non-stationary and noisy. Although convolutional neural networks (CNNs) have achieved strong performance, their effectiveness is limited when operating directly on raw signals, particularly in capturing multi-frequency characteristics. Image-based representations such as Gramian Angular Field (GAF), Markov Transition Field (MTF), and Recurrence Plot (RP) have enabled CNNs to exploit temporal structures more effectively. However, most existing approaches generate these images directly from raw signals, leaving the potential of frequency-aware representations underexplored.

Objective—The objective of this study is to develop a hybrid time series classification framework tailored for sensor-based signals with rich frequency content. In particular, the study investigates whether generating GAF, MTF, and RP images from different Discrete Wavelet Transform (DWT) components can enhance the representation quality of frequency-dependent time series. By assigning distinct image encodings to approximation and detail coefficients, the proposed approach aims to improve dataset representations by capturing complementary information across multiple frequency bands commonly observed in sensor data. The effectiveness of the framework is evaluated on benchmark datasets from the UCR archive.

Method—In the proposed method, each time series is decomposed using a two-level Discrete Wavelet Transform with the db4 wavelet to obtain approximation and detail coefficients. These coefficients are then independently transformed into image representations: MTF from approximation coefficients, GAF from medium-frequency components, and RP from high-frequency components. The resulting images are combined into multi-channel inputs and classified using lightweight CNN architecture. Additional experiments using direct image transformation and multi-branch and multi-channel CNN designs are conducted to assess the contribution of wavelet-based representations.

Results—Experimental results on multiple UCR benchmark datasets demonstrate that the proposed DWT-based image representations improve classification accuracy, particularly for long and noisy time series. The wavelet-based approach shows clear advantages in datasets characterized by complex temporal dynamics and low signal-to-noise ratios. For short and relatively clean signals, CNNs trained on raw image representations achieve comparable or slightly better performance. These findings indicate that frequency-aware image encoding enhances robustness without increasing model complexity.

Conclusion—This study shows that integrating Discrete Wavelet Transform with image-based time series representations provides a more balanced and informative feature space for CNN-based classification. By mapping different DWT components to GAF, MTF, and RP, the proposed framework captures temporal patterns across multiple frequency scales. The results highlight the importance of frequency-specific encoding, especially for challenging real-world signals. Future work may explore deeper architectures and adaptive wavelet-image assignments to further improve classification performance.

Anahtar Kelimeler

• CNN
• Discrete wavelet transform
• Gramian angular field
• Image transformation
• Time series classification

Zaman serisi sınıflandırması için dalgacık tabanlı çok frekanslı görüntü dönüşümü

Öz

Arka Plan—Zaman serisi sınıflandırması (TSC), sağlık hizmetleri, arıza teşhisi ve sinyal analizi gibi birçok uygulama alanında kritik bir rol oynamaktadır. Bu alanlarda kullanılan sinyaller genellikle durağan olmayan ve gürültülü yapıdadır. Evrişimsel sinir ağları (CNN) güçlü performanslar elde etmiş olsa da, ham sinyaller üzerinde doğrudan çalıştıklarında özellikle çoklu frekans özelliklerini yakalama konusunda sınırlılıklar göstermektedir. GAF, MTF ve RP gibi görüntü tabanlı temsiller, CNN’lerin zamansal yapıları daha etkili biçimde öğrenmesini sağlamıştır. Ancak mevcut çalışmaların büyük çoğunluğunda bu görüntüler doğrudan ham sinyallerden üretilmekte, frekans farkındalığına sahip temsillerin potansiyeli yeterince araştırılmamaktadır.

Amaç—Bu çalışmanın amacı, zengin frekans içeriğine sahip sensör tabanlı sinyaller için uyarlanmış hibrit bir zaman serisi sınıflandırma çerçevesi geliştirmektir. Bu kapsamda, Ayrık Dalgacık Dönüşümü (DWT) bileşenlerinden GAF, MTF ve RP görüntülerinin üretilmesinin, frekans bağımlı zaman serilerinin temsil kalitesini artırıp artırmadığı incelenmektedir. Yaklaşım katsayıları ile detay katsayılarına farklı görüntü kodlamaları atanarak, sensör verilerinde yaygın olarak gözlenen çoklu frekans bantları boyunca tamamlayıcı bilginin yakalanması ve veri seti temsillerinin iyileştirilmesi hedeflenmektedir. Önerilen çerçevenin etkinliği, UCR arşivindeki karşılaştırmalı veri setleri üzerinde değerlendirilmektedir.

Yöntem—Önerilen yöntemde, her bir zaman serisi db4 dalgacığı kullanılarak iki seviyeli Ayrık Dalgacık Dönüşümü ile ayrıştırılmakta ve yaklaşım ile detay katsayıları elde edilmektedir. Bu katsayılar bağımsız olarak görüntü temsillerine dönüştürülmektedir: yaklaşım katsayılarından MTF, orta frekans bileşenlerinden GAF ve yüksek frekans bileşenlerinden RP görüntüleri üretilmektedir. Elde edilen görüntüler çok kanallı girişler hâlinde birleştirilmekte ve hafif bir CNN mimarisi kullanılarak sınıflandırılmaktadır. Ayrıca, dalgacık tabanlı temsillerin katkısını değerlendirmek amacıyla doğrudan görüntü dönüşümü ile çok dallı ve çok kanallı CNN tasarımlarını içeren ek deneyler gerçekleştirilmektedir.

Bulgular—UCR karşılaştırmalı veri setleri üzerinde gerçekleştirilen deneysel sonuçlar, önerilen DWT tabanlı görüntü temsillerinin özellikle uzun ve gürültülü zaman serileri için sınıflandırma doğruluğunu artırdığını göstermektedir. Dalgacık tabanlı yaklaşım, karmaşık zamansal dinamiklere ve düşük sinyal-gürültü oranlarına sahip veri setlerinde belirgin avantajlar sunmaktadır. Kısa ve nispeten temiz sinyallerde ise, ham görüntü temsilleri ile eğitilen CNN’ler benzer veya hafifçe daha iyi performans sergilemektedir. Bu bulgular, frekans farkındalığına sahip görüntü kodlamasının model karmaşıklığını artırmadan dayanıklılığı geliştirdiğini ortaya koymaktadır.

Sonuç—Bu çalışma, Ayrık Dalgacık Dönüşümü ile görüntü tabanlı zaman serisi temsillerinin bütünleştirilmesinin, CNN tabanlı sınıflandırma için daha dengeli ve bilgilendirici bir özellik uzayı sağladığını göstermektedir. Farklı DWT bileşenlerinin GAF, MTF ve RP ile eşleştirilmesi sayesinde, zamansal örüntüler çoklu frekans ölçeklerinde yakalanabilmektedir. Elde edilen sonuçlar, özellikle zorlu gerçek dünya sinyalleri için frekans-özgül kodlamanın önemini vurgulamaktadır. Gelecek çalışmalarda, daha derin mimariler ve uyarlanabilir dalgacık–görüntü eşleştirmeleri ile sınıflandırma performansının daha da artırılması hedeflenebilir.

Anahtar Kelimeler

• Evrişimsel sinir ağları (CNN)
• Ayrık dalgacık dönüşümü
• Gramian açısal alan
• Görüntü dönüşümü
• Zaman serisi sınıflandırma

Kaynakça

1. H. Sharabiani, S. Darabi, S. Harford, E. Douzali, F. Karim, H. Johnson, S. Chen, “Asymptotic dynamic time warping calculation with utilizing value repetition”, Knowledge and Information Systems, 57(2), 359–388, 2018. https://doi.org/10.1007/s10115-018-1163-4.
2. W. Chen, K. Shi, “Multi-scale attention convolutional neural network for time series classification”, Neural Networks, 136, 126–140, 2021. https://doi.org/10.1016/j.neunet.2021.01.001.
3. H. Kang, T. H. Lee, J. Lee, “A graph convolutional network for time series classification using recurrence plots”, Applied Intelligence, 55(15), 972, 2025. https://doi.org/10.1007/s10489-025-06841-3.
4. H. I. Fawaz, B. Lucas, G. Forestier, C. Pelletier, D. F. Schmidt, J. Weber, G. Webb, L. Idoumghar, P. A. Muller, F. Petitjean, “InceptionTime: Finding AlexNet for time series classification”, Data Mining and Knowledge Discovery, 34(6), 1936–1962, 2020. https://doi.org/10.1007/s10618-020-00710-y.
5. C. Alagöz, “Crossfire: Cross-domain feature integration for robust time series classification”, PeerJ Computer Science, 11, e3328, 2025. https://doi.org/10.7717/peerj-cs.3328.
6. X. T. Li, T. Y. Li, Y. Wang, “GW-DC: A deep clustering model leveraging two-dimensional image transformation and enhancement”, Algorithms, 14(12), 349, 2021. https://doi.org/10.3390/a14120349.
7. X. T. Li, K. Zhou, F. Xue, Z. B. Chen, Z. Q. Ge, X. Chen, K. Song, “A wavelet transform-assisted convolutional neural network multi-model framework for monitoring large-scale fluorochemical engineering processes”, Processes, 8(11), 1480, 2020. https://doi.org/10.3390/pr8111480.
8. X. Y. Lu, Y. Li, X. Chen, Y. Q. Li, Y. B. Liu, “Discrete wavelet transform assisted convolutional neural network equalizer for PAM VLC system”, Optics Express, 32(6), 10429–10443, 2024. https://doi.org/10.1364/OE.516195.

9. Z. G. Wang, T. Oates, “Imaging time-series to improve classification and imputation”, Proceedings of the 24th International Joint Conference on Artificial Intelligence (IJCAI), Buenos Aires, Argentina, 25–31 July 2015, 3939-3945.
10. H. V. Costa, A. G. R. Ribeiro, V. M. A. Souza, “Fusion of image representations for time series classification with deep learning”, Proceedings of the 33rd International Conference on Artificial Neural Networks and Machine Learning, Lugano, Switzerland, 17-20 September 2024, 235-250. https://doi.org/10.1007/978-3-031-72347-6_16.
11. N. Hatami, Y. Gavet, J. Debayle, “Classification of time-series images using deep convolutional neural networks”, Proceedings of the 10th International Conference on Machine Vision (ICMV), Vienna, Austria, 13–15 November 2017. https://doi.org/10.1117/12.2309486.
12. N. Filimonova, M. Specovius-Neugebauer, E. Friedmann, “Determination of the time-frequency features for impulse components in EEG signals”, Neuroinformatics, 23(2), 17, 2025. https://doi.org/10.1007/s12021-024-09698-y.
13. Y. Molina-Tenorio, A. Prieto-Guerrero, E. Rodriguez-Colina, L. A. Vásquez-Toledo, O. A. Olvera-Guerrero, “Gramian angular field and convolutional neural networks for real-time multiband spectrum sensing in cognitive radio networks”, Sensors, 25(12), 3580, 2025. https://doi.org/10.3390/s25123580.
14. Y. Sharmal, N. Coronato, D. E. Browne, “Encoding cardiopulmonary exercise testing time series as images for classification using convolutional neural network”, 44th Annual International Conference of the IEEE-Engineering-in-Medicine-and-Biology-Society (EMBC), Glasgow, Scotland, 11-15 July 2022, 1611-1614. https://doi.org/10.1109/EMBC48229.2022.9871878.
15. M. Mariani, P. Appiah, O. Tweneboah, “Fusion of recurrence plots and gramian angular fields with Bayesian optimization for enhanced time-series classification”, Axioms, 14(7), 528, 2025. https://doi.org/10.3390/axioms14070528.
16. J. Wu, Z. L. Zhang, R. Tong, Y. Zhou, Z. F. Hu, K. T. Liu, “Imaging feature-based clustering of financial time series”, PLoS ONE, 18(7), 2023. https://doi.org/10.1371/journal.pone.0288836.
17. S. Barra, S. M. Carta, A. Corriga, A. S. Podda, D. R. Recupero, “Deep learning and time series-to-image encoding for financial forecasting”, IEEE-CAA Journal of Automatica Sinica, 7(3), 683–692, 2020. https://doi.org/10.1109/JAS.2020.1003132.
18. X. B. Jin, A. Q. Yang, T. L. Su, J. L. Kong, Y. T. Bai, “Multi-channel fusion classification method based on time-series data”, Sensors, 21(13), 4391, 2021. https://doi.org/10.3390/s21134391.
19. H. Lee, J. Lee, “Convolutional model with a time series feature based on RSSI analysis with the Markov transition field for enhancement of location recognition”, Sensors, 23(7), 3453, 2023. https://doi.org/10.3390/s23073453.
20. V. M. A. Souza, P. S. Veiga, A. G. R. Ribeiro, “ViSemble: A fast ensemble approach for time series classification with multiple visual representations”, Knowledge-Based Systems, 309, 112864, 2025. https://doi.org/10.1016/j.knosys.2024.112864.
21. H. A. Dau, E. Keogh, K. Kamgar, C.-C. M. Yeh, Y. Zhu, S. Gharghabi, C. A. Ratanamahatana, Y. Chen, B. Hu, N. Begum, A. Bagnall, A. Mueen, G. Batista, “The UCR Time Series Classification Archive”, https://www.cs.ucr.edu/~eamonn/time_series_data_2018, (23.2.2026).
22. H. Ding, G. Trajcevski, P. Scheuermann, X. Y. Wang, E. Keogh, “Querying and mining of time series data: Experimental comparison of representations and distance measures”, Proceedings of the VLDB Endowment, 1(2), 1542–1552, 2008.
23. P. Schäfer, “The BOSS is concerned with time series classification in the presence of noise”, Data Mining and Knowledge Discovery, 29(6), 1505–1530, 2015. https://doi.org/10.1007/s10618-014-0377-7.
24. H. T. Deng, G. Runger, E. Tuv, M. Vladimir, “A time series forest for classification and feature extraction”, Information Sciences, 239, 142–153, 2013. https://doi.org/10.1016/j.ins.2013.02.030.
25. M. Flynn, J. Large, A. Bagnall, “The contract random interval spectral ensemble (c-RISE): The effect of contracting a classifier on accuracy”, 14th International Conference on Hybrid Artificial Intelligence Systems (HAIS), Leon, Spain, 4-6 September 2019, 381-392. https://doi.org/10.1007/978-3-030-29859-3_33.
26. B. D. Zhao, H. Z. Lu, S. F. Chen, J. L. Liu, D. Y. Wu, “Convolutional neural networks for time series classification”, Journal of Systems Engineering and Electronics, 28(1), 162–169, 2017. https://doi.org/10.21629/JSEE.2017.01.18.
27. M. Middlehurst, J. Large, G. Cawley, A. Bagnall, “The temporal dictionary ensemble (TDE) classifier for time series classification”, European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD 2020), Ghent, Belgium, 14-18 September 2020, 660-676. https://doi.org/10.1007/978-3-030-67658-2_38.
28. J. Lines, A. Bagnall, “Time series classification with ensembles of elastic distance measures”, Data Mining and Knowledge Discovery, 29(3), 565–592, 2015. https://doi.org/10.1007/s10618-014-0361-2.