Diagnosis of the Skin Cancer by Vision Transformers

Year 2025, Volume: 13 Issue: 1, 588 - 598, 30.01.2025

Uğur Demiroğlu

https://doi.org/10.29130/dubited.1572317

Abstract

Skin cancer, one of the most frequent cancers, requires early identification for efficient treatment and better survival. Early diagnosis relies on precise and quick skin lesion categorization into benign and malignant categories. This work uses Vision Transformers (ViTs) to classify skin cancer photos by modeling long-range relationships and capturing complicated visual patterns. ViTs, originally created for natural language processing, have showed great potential in picture classification tasks because to their self-attention processes, outperforming CNNs. A public collection of 270 skin lesion images—240 malignant and 30 benign—was used in this study. Preprocessing included scaling and normalizing the dataset to 384x384x3 and splitting it into 80% training and 20% testing sets. Transfer learning optimised a pre-trained ViT model for this job. To improve accuracy and avoid overfitting, hyperparameters were carefully selected for network training. Parallel computing accelerated training to 30 minutes and 20 seconds. Vision Transformers classify medical images well, according to the study. The ViT model outperformed numerous other methods with 98.15% accuracy on the test set. A confusion matrix analysis showed great sensitivity in detecting malignant lesions and low misclassification of benign patients. These findings show that ViTs can capture detailed medical picture aspects, making them useful for dermatological diagnoses. This study shows that Vision Transformers can improve diagnosis accuracy and lays the groundwork for their use in other medical imaging fields. In the battle against skin cancer and other illnesses that need early diagnosis, ViTs' scalability, efficiency, and precision are important. Future research might integrate ViTs with other deep learning architectures to improve robustness and flexibility. This study adds to the data supporting sophisticated AI in medical diagnostics and lays the groundwork for automated, reliable, and efficient healthcare solutions.

Keywords

Skin cancer, Categorized images, Malignant and benign classes, Classification, Vision transformers

Ethical Statement

Ethical approval: The authors declare that they comply with ethical standards. Conflict of Interest: The authors declare that they have no known competing financial interests or personal relationships that could have appeared to influence the work reported in this manuscript. Data availability: Since no datasets were collected or analyzed during this study, data sharing does not apply to this publication. There are no data associated with this manuscript. Any inquiries regarding data availability should be directed to the authors.

Vision Transformers ile Cilt Kanseri Tanısı

Abstract

En sık görülen kanserlerden biri olan cilt kanseri, etkili tedavi ve daha iyi sağ kalım için erken teşhis gerektirir. Erken teşhis, cilt lezyonlarının iyi huylu ve kötü huylu kategorilere hassas ve hızlı bir şekilde sınıflandırılmasına dayanır. Bu çalışma, uzun menzilli ilişkileri modelleyerek ve karmaşık görsel desenleri yakalayarak cilt kanseri fotoğraflarını sınıflandırmak için Görüntü Dönüştürücülerini (ViT'ler) kullanır. Başlangıçta doğal dil işleme için oluşturulan ViT'ler, kendi kendine dikkat süreçleri sayesinde CNN'leri geride bırakarak resim sınıflandırma görevlerinde büyük potansiyel göstermiştir. Bu çalışmada 240 kötü huylu ve 30 iyi huylu olmak üzere 270 cilt lezyonu görüntüsünün genel koleksiyonu kullanılmıştır. Ön işleme, veri kümesinin 384x384x3'e ölçeklenmesini ve normalleştirilmesini ve %80 eğitim ve %20 test kümelerine bölünmesini içeriyordu. Transfer öğrenme, bu iş için önceden eğitilmiş bir ViT modelini optimize etti. Doğruluğu artırmak ve aşırı uyumu önlemek için, ağ eğitimi için hiperparametreler dikkatlice seçildi. Paralel hesaplama, eğitimi 30 dakika 20 saniyeye hızlandırdı. Çalışmaya göre, Görüntü Dönüştürücüler tıbbi görüntüleri iyi sınıflandırıyor. ViT modeli, test setinde %98,15 doğrulukla diğer birçok yöntemi geride bıraktı. Bir karışıklık matrisi analizi, kötü huylu lezyonları tespit etmede büyük hassasiyet ve iyi huylu hastaların düşük yanlış sınıflandırılması gösterdi. Bu bulgular, ViT'lerin ayrıntılı tıbbi resim yönlerini yakalayabildiğini ve bu sayede dermatolojik teşhisler için yararlı hale geldiğini gösteriyor. Bu çalışma, Görüntü Dönüştürücülerin teşhis doğruluğunu artırabileceğini ve diğer tıbbi görüntüleme alanlarında kullanımları için temel oluşturduğunu gösteriyor. Cilt kanseri ve erken teşhis gerektiren diğer hastalıklarla mücadelede, ViT'lerin ölçeklenebilirliği, verimliliği ve hassasiyeti önemlidir. Gelecekteki araştırmalar, sağlamlığı ve esnekliği artırmak için ViT'leri diğer derin öğrenme mimarileriyle entegre edebilir. Bu çalışma, tıbbi teşhislerde sofistike yapay zekayı destekleyen verilere katkıda bulunuyor ve otomatik, güvenilir ve verimli sağlık çözümleri için temel oluşturuyor.

Keywords

Cilt kanseri, Kategorize edilmiş görüntüler, Kötü huylu ve iyi huylu sınıflar, Sınıflandırma, Vision transformers

Ethical Statement

Etik onay: Yazarlar etik standartlara uyduklarını beyan ederler. Çıkar Çatışması: Yazarlar, bu yazıda bildirilen çalışmayı etkileyebilecek bilinen rekabet eden finansal çıkarları veya kişisel ilişkileri olmadığını beyan ederler. Veri kullanılabilirliği: Bu çalışma sırasında hiçbir veri seti toplanmadığı veya analiz edilmediği için, veri paylaşımı bu yayın için geçerli değildir. Bu yazıyla ilişkili veri yoktur. Veri kullanılabilirliğiyle ilgili tüm sorular yazarlara yönlendirilmelidir.

References

• [1] B. Banushi, S. R. Joseph, B. Lum, J. J. Lee, and F. Simpson. “Endocytosis in cancer and cancer therapy,” Nature Reviews Cancer, 23(7), 450-473, 2023.
• [2] M. Naqvi, S. Q. Gilani, T. Syed, O. Marques, and H. C. Kim. “Skin cancer detection using deep learning—a review,” Diagnostics, 13(11), 1911, 2023.
• [3] K. Han, Y. Wang, H. Chen, X. Chen, J. Guo, Z. Liu, and D. Tao. “A survey on vision transformer,” IEEE transactions on pattern analysis and machine intelligence, 45(1), 87-110, 2022.
• [4] A. B. Subba, and A. K. Sunaniya. “Computationally optimized brain tumor classification using attention based GoogLeNet-style CNN,” Expert Systems with Applications, 125443, 2024.
• [5] K. Elbedoui, H. Mzoughi, and M. B. Slima. “Deep Learning Approaches for Dermoscopic Image-Based Skin Cancer Diagnosis. In 2024 IEEE 7th International Conference on Advanced Technologies, Signal and Image Processing (ATSIP), 2024, Vol. 1, pp. 1-7, IEEE.
• [6] S. Mejri, and A. E. Oueslati. Dermoscopic Images Classification Using Pretrained VGG-16 and ResNet-50 Models”, in 2024 IEEE 7th International Conference on Advanced Technologies, Signal and Image Processing (ATSIP), 2024, Vol. 1, pp. 342-347, IEEE.
• [7] M. Hameed, A. Zameer, and M. A. Z. Raja. “A Comprehensive Systematic Review: Advancements in Skin Cancer Classification and Segmentation Using the ISIC Dataset,” CMES-Computer Modeling in Engineering & Sciences, 140(3), 2024.
• [8] M. R. Kumar, S. Priyanga, J. S. Anusha, V. Chatiyode, J. Santiago, and P. Revath. “Synergistic Skin Cancer Classification: Vision Transformer alongside MobileNetV2,” in 2023 4th International Conference on Intelligent Technologies (CONIT), 2024, pp. 1-7, IEEE.
• [9] G. H. Dagnaw, M. El Mouhtadi, and M. Mustapha. “Skin cancer classification using vision transformers and explainable artificial intelligence,” Journal of Medical Artificial Intelligence, 2024.
• [10] G. Yang, S. Luo, and J. Li. “Advancing skin cancer classification across multiple scales with attention-weighted transformers,” in Fourth Symposium on Pattern Recognition and Applications (SPRA 2023) (Vol. 13162, pp. 30-35). SPIE, 2024.
• [11] S. Remya, T. Anjali, and V. Sugumaran. “A Novel Transfer Learning Framework for Multimodal Skin Lesion Analysis,” IEEE Access, 2024.
• [12] M. Abou Ali, F. Dornaika, I. Arganda-Carreras, H. Ali, and M. Karaouni. “Naturalize Revolution: Unprecedented AI-Driven Precision in Skin Cancer Classification Using Deep Learning,” BioMedInformatics, 4(1), 638-660, 2024.
• [13] M. Ashfaq, and A. Ahmad. “Skin Cancer Classification with Convolutional Deep Neural Networks and Vision Transformers Using Transfer Learning. In Advances in Deep Generative Models for Medical Artificial Intelligence (pp. 151-176),” Cham: Springer Nature Switzerland, 2023.
• [14] N. Islam, J. T. Raya., M. T. Maisha, and D. M. Farid. “Feature Fusion with Attention Mechanism for Skin Cancer Classification,” in 2023 6th International Conference on Electrical Information and Communication Technology (EICT), 2023, pp. 1-6, IEEE.
• [15] R. P. Desale, and P. S. Patil. “An efficient multi-class classification of skin cancer using optimized vision transformer,” Medical & Biological Engineering & Computing, 62(3), 773-789, 2024.
• [16] R. Kusumastuti, and A. Sunyoto. “Skin Cancer Classification Using EfficientNetV2 and ViT B16,” in 2023 6th International Conference on Information and Communications Technology (ICOIACT), 2023, pp. 395-400, IEEE.
• [17] C. Kaggle. (2024, Oct 20). Dataset [Online]. Available: https://www.kaggle.com/datasets/shashanks1202/skin-cancer-dataset
• [18] C. Paperswithcode. (2024, Oct 20). Method [Online]. Available: https://paperswithcode.com/method/vision-transformer
• [19] C. Mathworks. (2024, Oct 20). Matlab [Online]. Available: https://www.mathworks.com/help/deeplearning/ug/train-vision-transformer-network-for-image-cl assification.html