CrossMeta-ViT: Concomitant Cross-Attention Guided Multimodal Fusion for Skin Lesion Classification

Abstract

Skin cancer is one of the most prevalent and deadly malignancies, necessitating early and precise diagnosis to improve patient survival rates. While recent advancements in deep learning have produced robust computer-aided diagnosis (CAD) systems, the majority of these models rely exclusively on visual features extracted from dermoscopic or clinical images. Conversely, dermatologists synthesize visual cues with patient clinical metadata (e.g., age, gender, continuous bleeding, and itchiness) to reach an accurate diagnosis. Prior research attempting multimodal fusion has largely depended on black-box concatenation-based late-fusion strategies or simple neural compression modules, obscuring clinical reasoning. To bridge this gap toward Explainable Artificial Intelligence (XAI), we propose CrossMeta-ViT, a deep vision-transformer metadata-fusion framework designed for transparent skin lesion classification. The core contribution of this architecture is a Cross-Attention Fusion module. Instead of sequentially concatenating features, CrossMeta-ViT utilizes encoded patient tabular metadata as a Query (Q) to dynamically attend to visual image patches acting as Keys (K) and Values (V). This mechanism ensures that structural image features are selected and weighted under the direct guidance of the patient's clinical history. We evaluated the framework on the smartphone-captured PAD-UFES-20 dataset for binary classification (Benign vs. Malignant). Using 5-fold cross-validation, CrossMeta-ViT achieved a macro F1-score of 0.8723 ± 0.0009, malignant recall of 0.9927, specificity of 0.7651, and an AUC of 0.955, while the held-out single-split evaluation yielded an accuracy of 0.90. These results support the model as a recall-oriented and interpretable multimodal aid for telemedicine pre-triage rather than as a universally dominant classifier.

Keywords

• Skin cancer classification
• multimodal fusion
• vision transformers
• cross-attention
• PAD-UFES-20

Supporting Institution

This research received no specific grant from any funding agency in the public, commercial, or not-for-profit sectors.

Ethical Statement

Ethics committee approval and/or legal/special permission is not required for this study.

CrossMeta-ViT: Cilt Lezyonu Sınıflandırması İçin Eşzamanlı Çapraz-Dikkat Kılavuzlu Çok Modlu Birleştirme

Abstract

Cilt kanseri, hayatta kalma oranlarını artırmak için erken ve doğru tanı gerektiren yaygın ve ölümcül bir malignitedir. Son dönemdeki derin öğrenme tabanlı bilgisayar destekli tanı sistemleri güçlü sonuçlar üretse de bu modellerin çoğu yalnızca dermoskopik ya da klinik görüntülerden çıkarılan görsel özelliklere dayanmaktadır. Oysa dermatologlar tanıya ulaşırken yaş, cinsiyet, sürekli kanama ve kaşıntı gibi klinik hasta metadatalarını da birlikte değerlendirir. Önceki çok modlu birleştirme çalışmaları çoğunlukla klinik akıl yürütmeyi gizleyen kara kutu geç birleştirme stratejilerine veya basit sıkıştırma modüllerine dayanmaktadır. Bu boşluğu açıklanabilir yapay zeka yönünde azaltmak için şeffaf cilt lezyonu sınıflandırmasına yönelik derin vision-transformer tabanlı bir metadata birleştirme çerçevesi olan CrossMeta-ViT'i öneriyoruz. Mimari içindeki Çapraz-Dikkat Birleştirme modülü, kodlanmış hasta tablosu metadatasını Sorgu olarak kullanıp görsel yama temsillerine dinamik biçimde dikkat uygular; böylece yapısal görüntü özellikleri hastanın klinik geçmişinin doğrudan rehberliğinde ağırlıklandırılır. Akıllı telefonla toplanmış PAD-UFES-20 veri kümesinde ikili sınıflandırma için yapılan 5 katlı çapraz doğrulamada model 0.8723 ± 0.0009 makro F1-skoru, 0.9927 malign recall, 0.7651 özgüllük ve 0.955 AUC elde etmiş; tek bölünmüş değerlendirmede doğruluk 0.90 olarak gözlenmiştir. Bu bulgular, CrossMeta-ViT'in teledermatoloji ön-triyajı için recall odaklı ve yorumlanabilir bir çok modlu yardımcı araç olduğunu göstermektedir.

Keywords

• Cilt kanseri sınıflandırması
• çok modlu birleştirme
• vision transformers
• çapraz dikkat
• PAD-UFES-20

Supporting Institution

Bu araştırma, kamu, ticari veya kâr amacı gütmeyen kuruluşlardaki herhangi bir fon sağlayıcı kurumdan özel bir mali destek almamıştır.

Ethical Statement

Bu çalışma için etik kurul onayı ve/veya yasal/özel izin gerekmemektedir.

References

1. A. Esteva, B. Kuprel, R. A. Novoa, J. Ko, S. M. Swetter, H. M. Blau, and S. Thrun, “Dermatologist-level classification of skin cancer with deep neural networks”, Nature 542 (2017) 115–118. Doi: 10.1038/nature21056.
2. P. Tschandl, C. Rosendahl, and H. Kittler, “The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions”, Sci. Data 5 (2018) 180161. Doi: 10.1038/sdata.2018.161.
3. S. Vachmanus, T. Noraset, W. Piyanonpong, T. Rattananukrom, and S. Tuarob, “DeepMetaForge: A Deep Vision-Transformer Metadata-Fusion Network for Automatic Skin Lesion Classification”, IEEE Access 11 (2023) 145467–145484. Doi: 10.1109/ACCESS.2023.3345225.
4. I. Aruk, I. Pacal, and A. N. Toprak, “A novel hybrid ConvNeXt-based approach for enhanced skin lesion classification”, Expert Syst. Appl. 283 (2025) 127721. Doi: 10.1016/j.eswa.2025.127721.
5. A. Shaik, S. S. Dutta, I. M. Sawant, S. Kumar, A. Balasundaram, and K. De, “An attention based hybrid approach using CNN and BiLSTM for improved skin lesion classification”, Sci. Rep. 15 (2025) 15680. Doi: 10.1038/s41598-025-00025-2.
6. Z. Li, S. Jiang, F. Xiang, C. Li, S. Li, T. Gao, K. He, J. Chen, J. Zhang, and J. Zhang, “White patchy skin lesion classification using feature enhancement and interaction transformer module”, Biomed. Signal Process. Control 107 (2025) 107819. Doi: 10.1016/j.bspc.2025.107819.
7. H. Ghazouani, “Multi-residual attention network for skin lesion classification”, Biomed. Signal Process. Control 103 (2025) 107449. Doi: 10.1016/j.bspc.2024.107449.
8. A. G. C. Pacheco and R. A. Krohling, “The impact of patient clinical information on automated skin cancer detection”, Comput. Biol. Med. 116 (2020) 103545. Doi: 10.1016/j.compbiomed.2019.103545.

9. J. Yap, W. Yolland, and P. Tschandl, “Multimodal skin lesion classification using deep learning”, Exp. Dermatol. 27 (2018) 1261–1267. Doi: 10.1111/exd.13777.
10. A. G. C. Pacheco and R. A. Krohling, “An Attention-Based Mechanism to Combine Images and Metadata in Deep Learning Models Applied to Skin Cancer Classification”, IEEE J. Biomed. Health Inform. 25 (2021) 3554–3563. Doi: 10.1109/JBHI.2021.3062002.
11. X. He, Y. Wang, S. Zhao, and X. Chen, “Co-Attention Fusion Network for Multimodal Skin Cancer Diagnosis”, Pattern Recognit. 133 (2023) 108990. Doi: 10.1016/j.patcog.2022.108990.
12. M. Z. Uzun and T. Talan, “Classification of deep features obtained from mpox images using Xception by selecting them with PCA and mRMR and using SVM”, Acta Infologica 9 (2025) 385–401. Doi: 10.26650/acin.1617557.
13. A. G. C. Pacheco, G. R. Lima, A. S. Salomão, et al., “PAD-UFES-20: A skin lesion dataset composed of patient data and clinical images collected from smartphones”, Data Brief 32 (2020) 106221. Doi: 10.1016/j.dib.2020.106221.
14. T. Akiba, S. Sano, T. Yanase, T. Ohta, and M. Koyama, “Optuna: A next-generation hyperparameter optimization framework”, Proc. ACM SIGKDD Int. Conf. Knowl. Discovery Data Mining (2019) 2623–2631. Doi: 10.1145/3292500.3330701.
15. A. Kumar, “Deep Learning for Multi-Modal Medical Imaging Fusion: Enhancing Diagnostic Accuracy in Complex Disease Detection”, Int. J. Eng. Technol. Res. Manage. 6 (2022) 183–201. Doi: 10.5281/zenodo.15033792.
16. Q. Chen, M. Li, C. Chen, P. Zhou, X. Lv, and C. Chen, “MDFNet: Application of Multimodal Fusion Method Based on Skin Image and Clinical Data to Skin Cancer Classification”, J. Cancer Res. Clin. Oncol. 149 (2023) 3287–3299. Doi: 10.1007/s00432-022-04180-1.
17. Y. He, J. Liu, Y. Li, H. Zhou, L. Cai, and T. Cui, “Multimodal Bayesian Networks for Automatic Skin Disease Diagnosis”, Proc. IEEE Int. Conf. Bioinform. Biomed. (2024) 2018–2025. Doi: 10.1109/BIBM62325.2024.10822856.
18. T. Che, F. Li, M. Li, X. Chen, and L. Chu, “CMDB Net: Multimodal De-Biased Fusion Network for Robust Dermatological Diagnosis”, Research Square (2026). Doi: 10.21203/rs.3.rs-9179471/v1.
19. L. Zuo, Z. Wang, and Y. Wang, “A multi-stage multi-modal learning algorithm with adaptive multimodal fusion for improving multi-label skin lesion classification”, Artif. Intell. Med. 162 (2025) 103091. Doi: 10.1016/j.artmed.2025.103091.
20. N. Gessert, M. Nielsen, M. Shaikh, R. Werner, and A. Schlaefer, “Skin lesion classification using ensembles of multi-resolution EfficientNets with meta data”, MethodsX 7 (2020) 100864. Doi: 10.1016/j.mex.2020.100864.
21. A. Naeem, T. Anees, M. Fiza, R. A. Naqvi, and S. W. Lee, “SCDNet: A Deep Learning-Based Framework for the Multiclassification of Skin Cancer Using Dermoscopy Images”, Sensors 22 (2022) 5652. Doi: 10.3390/s22155652.
22. B. Cassidy, C. Kendrick, A. Brodzicki, J. Jaworek-Korjakowska, and M. H. Yap, “Analysis of the ISIC image datasets: Usage, benchmarks aönd recommendations”, Med. Image Anal. 75 (2022) 102305. Doi: 10.1016/j.media.2021.102305.