İleri Düzey sEMG Hareket Tanıma İçin MFATNet ile Güçlendirilmiş QMM Dalgacık Tabanlı Skalogramlar

Abstract

Yüzey elektromiyografi (sEMG) sinyallerinin doğru biçimde tanınması, sezgisel insan-makine etkileşimi ve miyolektrik protez kontrolü açısından büyük önem taşımaktadır. Ancak sEMG sinyallerinin doğası gereği geçici, durağan olmayan ve düşük genlikli yapıda olması, geleneksel zaman-frekans temsilleri ile derin öğrenme modellerinin etkinliğini sınırlamaktadır. Bu yaklaşımlar çoğu zaman kısa süreli nöromüsküler olayları ve kas aktivitesinin çok ölçekli spektral-zamansal özelliklerini yeterince yakalayamamaktadır. Bu zorlukların üstesinden gelmek amacıyla, bu çalışmada geçici olay çözünürlüğünü ve spektral seçiciliği artırmak üzere tasarlanmış, yeni formüle edilmiş ve tam kabul edilebilir bir dalgacık olan Quadratic Morphing Morlet (QMM) wavelet önerilmektedir. Bu geliştirilmiş temsil üzerine kurulu olarak, Multi-Scale Frequency-Attentive Temporal Network (MFATNet) adlı hibrit bir derin öğrenme mimarisi sunulmaktadır. MFATNet; üç kollu çok ölçekli spektral kodlama, frekans-bazlı dikkat mekanizması ve genişletilmiş zamansal modellemeyi bütünleştirerek, spektral çeşitliliği, frekans uyarlanabilirliğini ve hareket dinamiklerini tek bir çerçevede birlikte öğrenmektedir. Önerilen QMM–MFATNet hattı, 27 denekten elde edilen sEMG kayıtlarını içeren NinaPro DB1 veri setinin 52 sınıflı el hareketi kümesi üzerinde değerlendirilmiştir. Bu kapsamda, model eğitimi için yüksek çözünürlüklü skalogramlar üretmek amacıyla QMM tabanlı sürekli dalgacık dönüşümü (CWT) temsilleri kullanılmıştır. Deneysel sonuçlar, QMM’nin klasik Morlet, Gaussian ve Mexican Hat dalgacıklarına kıyasla daha keskin ve daha ayırt edici skalogramlar ürettiğini göstermektedir. Ayrıca MFATNet, standart CNN, ResNet ve MobileNet modellerinden daha iyi performans göstererek en yüksek %93.13 doğruluk ve %93.15 F1-skoru değerlerine ulaşmıştır. Farklı dalgacık türleri arasındaki karşılaştırmalar da, 0.9313 ± 0.0194 ortalama doğruluk değeriyle QMM’nin tüm geleneksel çekirdekleri geride bırakarak üstün performans sergilediğini ortaya koymaktadır.

Keywords

• Derin Öğrenme
• Frekans Dikkati
• Skalogram
• sEMG Hareket Tanıma
• Dalgacık Dönüşümü

Ethical Statement

Bu çalışma, kamuya açık NinaPro DB1 veri seti kullanılarak gerçekleştirilmiştir. Yazarlar tarafından insanlar veya hayvanlar üzerinde herhangi bir yeni deney yapılmamıştır. Kullanılan veri seti, özgün geliştiricileri tarafından kendi etik onay süreçleri ve veri toplama prosedürleri kapsamında oluşturulmuş ve yayımlanmıştır. Bu nedenle, bu çalışma için ek bir etik kurul onayı gerekmemiştir. Tüm analizler, kimliksizleştirilmiş veriler üzerinde ilgili araştırma ve yayın etiği ilkelerine uygun olarak yürütülmüştür.

Quadratic Morphing Morlet Transform and Multi-Scale Frequency-Attentive Temporal Network for sEMG Gesture Recognition

Abstract

Accurate recognition of surface electromyography (sEMG) signals is essential for intuitive human–machine interaction and myoelectric prosthetic control. However, the inherently transient, nonstationary, and low-amplitude nature of sEMG signals limits the effectiveness of conventional time–frequency representations and deep learning models, which often struggle to capture short-duration neuromuscular events and the multi-scale spectral–temporal characteristics of muscle activity. To address these challenges, this study introduces the quadratic morphing morlet (QMM) wavelet, a newly formulated and fully admissible wavelet designed to enhance transient resolution and spectral selectivity. Building upon this improved representation, a hybrid deep-learning architecture, the multi-scale frequency-attentive temporal network (MFATNet), is proposed as a novel hybrid deep learning architecture. MFATNet integrates tri-branch multi-scale spectral encoding, frequency-wise attention, and dilated temporal modeling to jointly capture spectral diversity, frequency adaptivity, and gesture dynamics within a unified framework. The proposed QMM–MFATNet pipeline is evaluated on the 52-class hand-gesture corpus of the NinaPro DB1 dataset, comprising sEMG recordings from 27 subjects, wherein QMM-based continuous wavelet transform (CWT) representations are used to generate high-resolution scalograms for subsequent model training. Experimental results indicate that QMM provides sharper and more discriminative scalograms than classical Morlet, Gaussian, and Mexican Hat wavelets. Additionally, MFATNet outperforms standard CNN, ResNet, and MobileNet models, achieving the highest accuracy (93.13%) and F1-score (93.15%). Comparisons of different wavelet types further demonstrate the superiority of QMM, which yields a mean accuracy of 0.9313 ± 0.0194, surpassing all traditional kernels.

Keywords

• Deep Learning
• Frequency Attention
• Scalogram
• sEMG Gesture Recognition
• Wavelet Transform.

Ethical Statement

This study was conducted using the publicly available NinaPro DB1 dataset. No new experiments involving human participants or animals were performed by the authors. The dataset was collected and published by its original creators under their own ethical approvals and data collection procedures. Therefore, no additional ethical approval was required for this study. All analyses were carried out on anonymized data in accordance with relevant research and publication ethics principles.

References

1. [1] A. Vijayvargiya, B. Singh, R. Kumar, and J. M. R. S. Tavares, “Human lower limb activity recognition techniques, databases, challenges and its applications using sEMG signal: An overview,” Biomed. Eng. Lett., vol. 12, no. 4, pp. 343–358, Jun. 2022, DOI: 10.1007/S13534-022-00236-W.
2. [2] S. Karheily, A. Moukadem, J. B. Courbot, and D. O. Abdeslam, “sEMG time–frequency features for hand movements classification,” Expert Syst. Appl., vol. 210, Dec. 2022, Art. no. 118282, DOI: 10.1016/J.ESWA.2022.118282.
3. [3] J. M. Lopez-Villagomez, J. M. Lopez-Hernandez, R. I. Mata-Chavez, C. Rodriguez-Donate, Y. Guzman-Castro, and E. Cabal-Yepez, “Comparative evaluation of EMG signal classification techniques across temporal, frequency, and time-frequency domains using machine learning,” Appl. Sci., vol. 16, no. 2, Jan. 2026, Art. no. 1058, DOI: 10.3390/APP16021058.
4. [4] S. M. Sid’El Moctar, I. Rida, and S. Boudaoud, “Comprehensive review of feature extraction techniques for sEMG signal classification: From handcrafted features to deep learning approaches,” IRBM, vol. 45, no. 6, Dec. 2024, Art. no. 100866, DOI: 10.1016/J.IRBM.2024.100866.
5. [5] T. Zaim, S. Abdel-Hadi, R. Mahmoud, A. Khandakar, S. M. Rakhtala, and M. E. H. Chowdhury, “Machine learning- and deep learning-based myoelectric control system for upper limb rehabilitation utilizing EEG and EMG signals: A systematic review,” Bioengineering, vol. 12, no. 2, Feb. 2025, Art. no. 144, DOI: 10.3390/BIOENGINEERING12020144.
6. [6] T. Prabhavathy, V. K. Elumalai, E. Balaji, and D. Sandhiya, “A surface electromyography based hand gesture recognition framework leveraging variational mode decomposition technique and deep learning classifier,” Eng. Appl. Artif. Intell., vol. 130, Apr. 2024, Art. no. 107669, DOI: 10.1016/J.ENGAPPAI.2023.107669.
7. [7] M. A. Ozdemir, D. H. Kisa, O. Guren, and A. Akan, “Hand gesture classification using time–frequency images and transfer learning based on CNN,” Biomed. Signal Process. Control, vol. 77, Aug. 2022, Art. no. 103787, DOI: 10.1016/J.BSPC.2022.103787.
8. [8] L. Wang, J. Fu, H. Chen, and B. Zheng, “Hand gesture recognition using smooth wavelet packet transformation and hybrid CNN based on surface EMG and accelerometer signal,” Biomed. Signal Process. Control, vol. 86, Sep. 2023, Art. no. 105141, DOI: 10.1016/J.BSPC.2023.105141.

9. [9] J. Fu, S. Cao, L. Cai, and L. Yang, “Finger gesture recognition using sensing and classification of surface electromyography signals with high-precision wireless surface electromyography sensors,” Front. Comput. Neurosci., vol. 15, Nov. 2021, Art. no. 770692, DOI: 10.3389/FNCOM.2021.770692.
10. [10] Y.-U. Jo and D.-C. Oh, “Real-time hand gesture classification using CRNN with scale average wavelet transform,” J. Mech. Med. Biol., vol. 20, no. 10, Dec. 2020, Art. no. 2040028, DOI: 10.1142/S021951942040028X.
11. [11] A. R. Asif et al., “Performance evaluation of convolutional neural network for hand gesture recognition using EMG,” Sensors, vol. 20, no. 6, Mar. 2020, Art. no. 1642, DOI: 10.3390/S20061642.
12. [12] A. Fatayer, W. Gao, and Y. Fu, “sEMG-based gesture recognition using deep learning from noisy labels,” IEEE J. Biomed. Health Inform., vol. 26, no. 9, pp. 4462–4473, Sep. 2022, DOI: 10.1109/JBHI.2022.3179630.
13. [13] M. Atzori et al., “Characterization of a benchmark database for myoelectric movement classification,” IEEE Trans. Neural Syst. Rehabil. Eng., vol. 23, no. 1, pp. 73–83, Jan. 2015, DOI: 10.1109/TNSRE.2014.2328495.
14. [14] B. Nicholls et al., “An EMG-based eating behaviour monitoring system with haptic feedback to promote mindful eating,” Comput. Biol. Med., vol. 149, Oct. 2022, Art. no. 106068, DOI: 10.1016/J.COMPBIOMED.2022.106068.
15. [15] T. Guo, T. Zhang, E. Lim, M. Lopez-Benitez, F. Ma, and L. Yu, “A review of wavelet analysis and its applications: Challenges and opportunities,” IEEE Access, vol. 10, pp. 58869–58903, 2022, DOI: 10.1109/ACCESS.2022.3179517.
16. [16] V. I. Pustovoit, A. S. Kryukovskii, V. F. Kravchenko, and D. V. Churikov, “Digital signal processing by atomic functions and wavelets,” J. Commun. Technol. Electron., vol. 68, no. 1, pp. S1–S110, Feb. 2024, DOI: 10.1134/S1064226923130016.
17. [17] H. Wang, Y. Zhang, C. Liu, and H. Liu, “sEMG based hand gesture recognition with deformable convolutional network,” Int. J. Mach. Learn. Cybern., vol. 13, no. 6, pp. 1729–1738, Jun. 2022, DOI: 10.1007/S13042-021-01482-7.
18. [18] P. Tsinganos, B. Cornelis, J. Cornelis, B. Jansen, and A. Skodras, “Hilbert sEMG data scanning for hand gesture recognition based on deep learning,” Neural Comput. Appl., vol. 33, no. 7, pp. 2645–2666, Apr. 2021, DOI: 10.1007/S00521-020-05128-7.
19. [19] K. Zhang, F. J. Badesa, Y. Liu, and M. Ferre Pérez, “Dual stream long short-term memory feature fusion classifier for surface electromyography gesture recognition,” Sensors, vol. 24, no. 11, Jun. 2024, Art. no. 3631, DOI: 10.3390/S24113631.
20. [20] Y. Cheng et al., “Gesture recognition based on surface electromyography-feature image,” Concurr. Comput., vol. 33, no. 6, Mar. 2021, Art. no. e6051, DOI: 10.1002/CPE.6051.