Multimodal Fusion of Electrocardiogram Signals and Demographic Characteristics with Cross-Attention Networks in the Classification of Cardiovascular Diseases

Öz

Cardiovascular diseases rank first among the causes of mortality worldwide. In the evaluation of these diseases, electrocardiography (ECG), which provides low-cost and non-invasive electrical mapping, is used as the primary tool for diagnosis. The manual examination of ECG recordings obtained from a wide range of patients creates time cost and workload for specialists. Therefore, in order to increase accuracy and support specialists, there are many deep learning-based ECG interpretation approaches in the literature. In this study, it is aimed to simultaneously classify five main classes of cardiovascular diseases (NORM, MI, STTC, CD, HYP) using data obtained from the PTB-XL database and defined with SCP diagnostic codes. The proposed architecture in the study consists of three main components. As the first component of the proposed architecture, second-degree polynomial cross-feature transformation was applied to gender, age, height, and weight variables, and these data were transformed into a high-dimensional representation space with dmodel dimension through a neural network containing the GELU (Gaussian Error Linear Unit) activation function. As the second component, after separating 12-channel ECG recordings into multi-scale local representations through parallel convolution operations (1D-CNN), the temporal dependencies of the signals were modeled with xLSTM (mLSTM) layers. With the cross-attention module, which is the third component, the clinical data obtained from the first component were taken as ‘query’ and the ECG data obtained from the second component were taken as ‘key/value’; after being fused, predictions for five disease classes were generated through the obtained combined five independent context vectors. The model training process was designed to prevent information leakage and was carried out with BCEWithLogitsLoss compatible with multi-label classification. The learning rate and AdamW weight decay selections were optimized with a 12-cell grid sweep in order to maximize the potential of the model, and each combination was improved with 5 independent seeds. In the study, ablation studies were conducted to evaluate the effects of the data coming from two components rather than relying on a single model performance. In addition, the proposed model was compared with models such as ResNet and InceptionTime, and statistically summarized within a 95% confidence interval over five different seeds. As shown in Table 6, the macro AUROC score of 0.9106 and the macro F1 score of 0.7151 represent the average values obtained from five independent seed values, indicating that the proposed method exhibits successful performance. In addition, the heat maps obtained by overlaying the attention weights on the ECG signal provide temporal interpretability to the model’s decision-making mechanism. As a result, it presents a methodological framework consistent with the literature, supported by multimodal data fusion, extensive statistical analyses, and interpretability steps.

Anahtar Kelimeler

• Deep Learning
• ECG
• Cardiovascular Disease
• Multimodal Fusion
• Cross-Attention
• 1D-CNN
• xLSTM
• Temporal Interpretability

Etik Beyan

The data used in this study were obtained from the open-access and publicly available PTB-XL electrocardiography database. As the data are fully anonymized and do not involve any direct clinical intervention on human subjects or primary data collection, Ethics Committee approval and Informed Consent were not required for this study.

Teşekkür

The authors would like to thank the creators of the PTB-XL electrocardiography database and the PhysioNet platform for their contribution to scientific research by providing open access to this valuable dataset.

Kardiyovasküler Hastalıkların Sınıflandırılmasında Elektrokardiyogram Sinyalleri Ve Demografik Özelliklerin Çapraz Dikkat (Cross-Attentıon) Ağları İle Çok Modlu Birleştirilmesi

Öz

Kardiyovasküler hastalıklar dünya çapında mortalite nedenleri arasında ilk sırada yer almaktadır. Bu hastalıkların değerlendirilmesinde düşük maliyetli ve invaziv olmayan bir elektriksel haritalama sunan elektrokardiyografi (EKG) tanı koymada birincil araç olarak kullanılmaktadır. Geniş hasta yelpazesinden elde edilen EKG kayıtlarının manuel olarak incelenmesi uzmanlar üzerinde zaman maliyeti ve iş yükü oluşturmaktadır. Bu nedenle doğruluğu artırmak amacıyla uzmanları desteklemek için literatürde çok sayıda derin öğrenme tabanlı EKG yorumlama yaklaşımı bulunmaktadır. Bu çalışmada, PTB-XL veri tabanından alınan ve SCP tanı kodlarıyla tanımlanan veriler kullanılarak kardiyovasküler hastalıklara ait beş ana sınıfın (NORM, MI, STTC, CD, HYP) eşzamanlı olarak sınıflandırılması hedeflenmektedir. Çalışmada önerilen mimari üç ana bölümden oluşmaktadır. Önerilen mimarinin ilk bileşeni olarak; cinsiyet, yaş, boy ve kilo değişkenlerine ikinci dereceden polinom çapraz öznitelik uygulanarak bu veriler GELU (Gaussian Error Linear Unit) aktivasyon fonksiyonu içeren sinir ağıyla dmodel boyutunda yüksek boyutlu bir temsil uzayına dönüştürülmüştür. İkinci bileşen olarak 12 kanallı EKG kayıtlarını paralel evrişim işlemleriyle (1D-CNN) çok ölçekli yerel temsillere ayrıldıktan sonra xLSTM (mLSTM) katmanlarıyla sinyallerin zamansal bağımlılıkları modellenmiştir. Üçüncü bileşen olan çapraz dikkat (cross-attention) modülü ile ilk bileşenden elde edilen klinik veri ‘sorgu’, ikinci bileşenden elde edilen EKG verileri ‘anahtar/değer’ olarak alınıp harmanlandıktan sonra elde edilen birleşik beş bağımsız bağlam vektörü üzerinden beş hastalık sınıfı için tahmin üretilmektedir. Model eğitim süreci bilgi sızıntısını önleyecek şekilde tasarlanmış olup; çoklu etiketle uyumlu BCEWithLogitsLoss kaybı ile gerçekleştirilmiştir. Öğrenme oranı ve AdamW ağırlık bozumu (weight decay) seçimleri modelin potansiyelini maksimize etmek amacıyla 12 hücreden ızgara taramasıyla (grid sweep) optimize edilmiş ve her kombinasyon 5 bağımsız tohumla iyileştirilmiştir. Çalışmada tekil bir model başarımı üzerinden gidilmemiş iki bileşenden gelen verilerin etkilerini değerlendirmek amacıyla ablasyon çalışmaları yürütülmüştür. Ayrıca önerilen model, ResNet ve InceptionTime gibi modellerle kıyaslanmış, beş farklı tohum (seed) üzerinden %95 güven aralığında istatistiksel olarak özetlenmiştir. Çalışmada elde edilen makro AUROC 0.9106 ve makro F1 0.7151skorları önerilen yöntemin başarılı performans sergilediğini göstermektedir. Ayrıca dikkat ağırlıklarının EKG sinyali üzerine bindirilmesiyle elde edilen ısı haritaları modelin karar verme mekanizmasına zamansal bir yorumlanabilirlik sunmaktadır. Sonuç olarak çok modlu (multimodal) veri füzyonu, geniş istatistiksel analizler ve yorumlanabilirlik adımlarıyla desteklenen literatüre uyumlu metodolojik bir çerçeve sunmaktadır.

Anahtar Kelimeler

• Derin Öğrenme
• EKG
• Kardiyovasküler Hastalık
• Çok Modlu Füzyon
• Çapraz Dikkat
• 1D-CNN
• xLSTM
• Zamansal Yorumlanabilirlik

Etik Beyan

Bu çalışmada kullanılan veriler, açık erişimli ve kamuya açık olan PTB-XL elektrokardiyografi veri tabanından elde edilmiştir. Veriler tamamen anonimize edilmiş olup, doğrudan insan denekler üzerinde klinik bir müdahale veya primer veri toplama işlemi içermediğinden, bu çalışma için Etik Kurul onayına ve Bilgilendirilmiş Gönüllü Olur (Informed Consent) alınmasına gerek duyulmamıştır.

Teşekkür

Yazarlar, PTB-XL elektrokardiyografi veri tabanını derleyen araştırmacılara ve bu verileri açık erişime sunan PhysioNet platformuna bilimsel araştırmalara sağladıkları katkılardan dolayı teşekkür eder.

Kaynakça

1. [1] World Health Organization, "Cardiovascular diseases (CVDs)," 2015. [Online]. Available: http://www.who.int/cardiovascular_diseases/about_cvd/en/. [Accessed: May 11, 2026].
2. [2] P. Kligfield et al., "Recommendations for the standardization and interpretation of the electrocardiogram: Part I: The electrocardiogram and its technology: A scientific statement from the American Heart Association Electrocardiography and Arrhythmias Committee, Council on Clinical Cardiology," Circulation, vol. 115, no. 10, pp. 1306–1324, Mar. 2007.
3. [3] A. Lyon, A. Mincholé, J. P. Martínez, P. Laguna, and B. Rodriguez, "Computational techniques for ECG analysis and interpretation in light of their contribution to medical advances," J. R. Soc. Interface, vol. 15, no. 138, 2018.
4. [4] P. Wagner, N. Strodthoff, R.-D. Bousseljot, et al., "PTB-XL, a large publicly available electrocardiography dataset," Sci. Data, vol. 7, no. 154, pp. 1-15, May 2020, doi: 10.1038/s41597-020-0495-6.
5. [5] J. Pan and W. J. Tompkins, "A real-time QRS detection algorithm," IEEE Transactions on Biomedical Engineering, vol. 32, no. 3, pp. 230-236, 1985.
6. [6] R. J. Martis et al., "Application of higher order cumulant features for cardiac health diagnosis using ECG signals," International Journal of Neural Systems, vol. 23, no. 04, p. 1350014, 2013.
7. [7] E. J. da S. Luz et al., "ECG-based heartbeat classification for arrhythmia detection: A survey," Computer Methods and Programs in Biomedicine, vol. 127, pp. 144-164, 2016.
8. [8] A. Y. Hannun et al., "Cardiologist-level arrhythmia detection and classification in ambulatory electrocardiograms using a deep convolutional neural network," Nature Medicine, vol. 25, no. 1, pp. 65-69, 2019.

9. [9] A. H. Ribeiro et al., "Automatic diagnosis of the 12-lead ECG using a deep neural network," Nature Communications, vol. 11, no. 1, p. 1760, 2020.
10. [10] N. Strodthoff et al., "Deep learning for ECG analysis: Benchmarks and insights from PTB-XL," IEEE Journal of Biomedical and Health Informatics, vol. 25, no. 5, pp. 1519-1528, 2020.
11. [11] S. Smigiel, K. Pałczyński, and D. Ledziński, "ECG signal classification using deep learning techniques based on the PTB-XL dataset," Entropy, vol. 23, no. 9, p. 1121, 2021.
12. [12] T. Mehari and N. Strodthoff, "Self-supervised representation learning from 12-lead ECG data," Computers in Biology and Medicine, vol. 141, p. 105114, 2022.
13. [13] Ö. Yıldırım, "A novel wavelet sequence based on deep bidirectional LSTM network model for ECG signal classification," Computers in Biology and Medicine, vol. 96, pp. 189-202, 2018.
14. [14] Z. Wang et al., "A deep learning framework for the detection of abnormal heart rhythms," IEEE Access, vol. 7, pp. 121543-121553, 2019.
15. [15] M. Beck et al., "xLSTM: Extended Long Short-Term Memory," arXiv preprint arXiv:2405.04517, 2024.
16. [16] A. Vaswani et al., "Attention is all you need," Advances in Neural Information Processing Systems, vol. 30, 2017.
17. [17] J. Song et al., "Transformer-Based Spatial-Temporal Feature Learning for ECG Arrhythmia Classification," IEEE Journal of Biomedical and Health Informatics, vol. 26, no. 10, pp. 5001-5012, Oct. 2022.
18. [18] C. Che et al., "Constrained transformer network for ECG signal processing and arrhythmia classification," BMC Medical Informatics and Decision Making, vol. 21, 2021.
19. [19] S. C. Huang et al., "Fusion of medical imaging and electronic health records using deep learning: a systematic review and implementation guidelines," NPJ Digital Medicine, vol. 3, no. 136, 2020.
20. [20] C. Qu, X. Zhang, Y. Lu, Y. Wang, and C. Su, "MAF-Net: Multimodal cross-attention-based fusion network for cardiovascular disease classification," PLoS One, vol. 21, no. 4, Art. no. e0345238, Apr. 2026, doi: 10.1371/journal.pone.0345238.
21. [21] S. Kiranyaz, O. Avci, O. Abdeljaber, T. Ince, M. Gabbouj, and D. J. Inman, "1D convolutional neural networks and applications: A survey," Mechanical Systems and Signal Processing, vol. 151, p. 107398, 2021, doi: 10.1016/j.ymssp.2020.107398.
22. [22] J. Qu, Z. Lin, X. Liang, and J. Song, "Decomposing xLSTM: A comprehensive study on financial time series forecasting," Mathematics, vol. 14, no. 8, Art. no. 1282, Apr. 2026, doi: 10.3390/math14081282.
23. [23] T. Baltrušaitis, C. Ahuja, and L.-P. Morency, "Multimodal machine learning: A survey and taxonomy," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 41, no. 2, pp. 423-443, Feb. 2019, doi: 10.1109/TPAMI.2018.2798607.
24. [24] P. Xu, X. Zhu, and D. A. Clifton, "Multimodal learning with transformers: A survey," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 45, no. 10, pp. 12113-12132, Oct. 2023, doi: 10.1109/TPAMI.2023.3275156.
25. [25] K. Han et al., "A Survey on Vision Transformer," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 45, no. 1, pp. 87-110, Jan. 2023, doi: 10.1109/TPAMI.2022.3152247.