Enhancing Skin Disease Classification Accuracy through CNN Models: Insights from SHAP and LRP Analyses

Year 2024, Volume: 7 Issue: 1, 63 - 78, 30.06.2024

Cem Özkurt

Abstract

This study presents an in-depth exploration of skin disease classification utilizing the HAM10000 dataset and convolutional neural network (CNN) models. Through meticulous data preparation and extensive model training, we achieve high accuracy in distinguishing between normal and diseased skin conditions. Employing the SHAP model provides valuable insights into the decision-making process of the CNN model, enhancing prediction interpretability.
Our study demonstrates promising accuracy in distinguishing between normal individuals and patients, with 4274 out of 5000 correctly classified as normal and 2962 out of 5015 accurately identified as diseased. However, our model exhibits significant errors, notably misclassifying 726 normals as patients and displaying areas for improvement in reducing false negatives. Leveraging SHAP and LRP analyses, we observed an average value of 2.11251442x10-5 and approximately 0.032795×10-5, respectively, suggesting valuable insights into feature importance and model behavior. These findings underscore the potential for enhancing diagnostic accuracy and mitigating misclassifications in medical applications.
Utilizing various visual representations, including confusion matrices and outputs from SHAP and LRP models, we give comprehensive perspectives on the strengths and limitations of the CNN model, guiding potential refinements aimed at enhancing overall performance.
Despite achieving balanced classification between normal and diseased individuals, further enhancements are warranted to reduce misclassifications and improve overall accuracy. In-depth numerical analysis of SHAP and LRP outputs reveals differences in interpretation capabilities, with SHAP providing a more detailed analysis than LRP, positioning it as the preferred methodology in this context.
This research significantly contributes to the advancement of AI-driven skin disease diagnosis and underscores the potential of CNN models in healthcare applications, particularly in dermatological practice. Future endeavors should focus on enhancing methodologies to bolster clinical decision-making, thereby advancing patient outcomes within dermatologic practice.

Keywords

SHAP, Dermatology, Layerwise Relevance Propagation (LRP), Explainable AI, CNN

SHAP ve LRP Analizlerinden Elde Edilen İçgörülerle CNN Modelleri Aracılığıyla Cilt Hastalığı Sınıflandırma Doğruluğunun Artırılması

Abstract

Bu çalışma, HAM10000 veri kümesini ve evrişimli sinir ağı (CNN) modellerini kullanarak cilt hastalığı sınıflandırmasını derinlemesine incelemektedir. Titiz veri hazırlığı ve kapsamlı model eğitimi yoluyla, normal ve hastalıklı cilt koşulları arasındaki ayrımı yüksek doğrulukla başarıyoruz. SHAP modelini kullanmak, CNN modelinin karar verme sürecine dair değerli içgörüler sunarak tahmin yorumlanabilirliğini artırır.
Çalışmamız, bireyler arasında normal ve hasta olanlar arasında ayırma konusunda umut verici doğruluk sergilemektedir. 5000 kişiden 4274'ü doğru şekilde normal olarak sınıflandırılırken, 5015 kişiden 2962'si doğru şekilde hastalıklı olarak tanımlanmıştır. Ancak, modelimiz önemli hatalar göstermektedir, özellikle 726 normal kişiyi hasta olarak yanlış sınıflandırır ve yanlış negatifleri azaltmada iyileştirme alanları sunar. SHAP ve LRP analizlerini kullanarak, ortalama değerlerinin sırasıyla 2.11251442x10-5 ve yaklaşık olarak 0.032795×10-5 olduğunu gözlemledik, bu da özellik önemini ve model davranışını anlamada değerli içgörüler sağlar. Bu bulgular, tıbbi uygulamalarda tanı doğruluğunu artırma ve yanlış sınıflandırmaları azaltma potansiyelini vurgular.
Karışıklık matrisleri ve SHAP ve LRP modellerinden elde edilen çıktılar da dahil olmak üzere çeşitli görsel temsiller kullanarak, CNN modelinin güçlü yanları ve sınırlamaları hakkında kapsamlı perspektifler sunuyoruz ve genel performansı artırmayı amaçlayan potansiyel iyileştirmelere rehberlik ediyoruz.
Normal ve hastalıklı bireyler arasında dengeli sınıflandırma sağlamamıza rağmen, yanlış sınıflandırmaları azaltmak ve genel doğruluğu artırmak için daha fazla geliştirme gerekmektedir. SHAP ve LRP çıktılarının derinlemesine sayısal analizi, SHAP'ın LRP'den daha detaylı bir analiz sunduğunu ortaya koymaktadır, bu da onu bu bağlamda tercih edilen metodoloji olarak konumlandırır.
Bu araştırma, yapay zeka destekli cilt hastalığı teşhisi alanındaki ilerlemeye önemli katkıda bulunmaktadır ve özellikle dermatoloji uygulamalarında CNN modellerinin sağlık uygulamalarındaki potansiyelini vurgular. Gelecekteki çalışmaların, klinik karar verme sürecini güçlendirmeye odaklanması ve böylece dermatolojik uygulamalarda hastaların sonuçlarını ilerletmesi gerekmektedir.

Keywords

SHAP, Dermatoloji, Layerwise Relevance Propagation (LRP), Açıklanabilir YZ, CNN

References

• A. Holzinger, A. Carrington, H. Müller, ”Measuring The Quality Of Explanations: The System Causability Scale (SCS). Comparing Human And Machine Explanations”, ARXIV-CS.AI, 2019.
• A. Holzinger, A. M. Carrington, H. Müller, ”Measuring The Quality of Explanations: The System Causability Scale (SCS)”, KUNSTLICHE INTELLIGENZ, 2020. (IF: 5).
• C. Seibold, A. Hilsmann, P. Eisert, ”Focused LRP: Explainable AI for Face Morphing Attack Detection”, ARXIV-CS.CV, 2021. (IF: 3).
• M. R. Karim, T. Döhmen, M. Cochez, O. Beyan, D. Rebholz-Schuhmann, S. Decker, ”DeepCOVIDExplainer: Explainable COVID-19 Diagnosis from Chest X-ray Images”, IEEE INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND ..., 2020. (IF:3).
• Y. J. Jung, S. H. Han, H. J. Choi, ”Explaining CNN and RNN Using Selective Layer-Wise Relevance Propagation”, IEEE ACCESS, 2021. (IF: 3).
• G. Chlebus, N. Abolmaali, A. Schenk, H. Meine, ”Relevance Analysis Of MRI Sequences For Automatic Liver Tumor Segmentation”, ARXIV-EESS.IV, 2019.
• A. M. A. Ahmed, L. A. M. Ali, ”Explainable Medical Image Segmentation Via Generative Adversarial Networks and Layer-wise Relevance Propagation”, ARXIV-EESS.IV, 2021.
• M. U. Alam, J. Hollmen, J. R. Baldvinsson, R. Rahmani, ”SHAMSUL: Systematic Holistic Analysis to Investigate Medical Significance Utilizing Local Interpretability Methods in Deep Learning for Chest Radiography Pathology Prediction”, ARXIV-EESS.IV, 2023
• P. R. A. S. Bassi, R. Attux, ”A Deep Convolutional Neural Network for COVID-19 Detection Using Chest X-Rays”, ARXIV-EESS.IV, 2020. (IF: 4).
• S. Suara, A. Jha, P. Sinha, A. A. Sekh, ”Is GradCAM Explainable in Medical Images?”, ARXIV-EESS.IV, 2023
• S. Suthaharan, ”NEGXAI: A Negation-based Explainable AI Through Feature Learning in Fourier Domain”, NANOSCIENCE + ENGINEERING, 2023.
• A. Sadafi, O. Adonkina, A. Khakzar, P. Lienemann, R. M. Hehr, D. Rueckert, N. Navab, C. Marr, ”Pixel-Level Explanation of Multiple Instance Learning Models in Biomedical Single Cell Images”, ARXIV-EESS.IV, 2023
• E. S. Rolfsnes, P. Thangngat, T. Eftestøl, T. Nordström, F. Jäderling, M. Eklund, A. Fernandez-Quilez, ”Reconsidering Evaluation Practices in Modular Systems: On The Propagation of Errors in MRI Prostate Cancer Detection”, ARXIV-EESS.IV, 2023.
• P. Tschandl, C. Rosendahl, H. Kittler “The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions.” Scientific data, 5(1), 1-9, 2018.
• A. A. Nugroho, I. Slamet, S. Sugiyanto, “Skins cancer identification system of HAMl0000 skin cancer dataset using convolutional neural network.” In AIP conference proceedings (Vol. 2202, No. 1), December, 2019. AIP Publishing.
• M. A. Khan, M. Y. Javed, M. Sharif, T. Saba, A. Rehman, “Multi-model deep neural network based features extraction and optimal selection approach for skin lesion classification.” In 2019 international conference on computer and information sciences (ICCIS) (pp. 1-7), April, 2019. IEEE.
• Z. Li, F. Liu, W. Yang, S. Peng, J. Zhou, “A survey of convolutional neural networks: analysis, applications, and prospects.” IEEE transactions on neural networks and learning systems, 2021.
• S. Albawi, T. A. Mohammed, S. Al-Zawi, “Understanding of a convolutional neural network.” In 2017 international conference on engineering and technology (ICET) (pp. 1-6), August, 2017. IEEE.
• J. Gu, Z. Wang, J. Kuen, L. Ma, A. Shahroudy, B. Shuai, T. Chen, “Recent advances in convolutional neural networks.” Pattern recognition, 77, 354-377,2018.
• R. Confalonieri, L. Coba, B. Wagner, T. R. Besold. “A historical perspective of explainable Artificial Intelligence.” Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 11(1), e1391, 2021.
• P. P. Angelov, E. A. Soares, R. Jiang, N. I. Arnold, P. M. Atkinson. “Explainable artificial intelligence: an analytical review.” Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 11(5), e1424, 2021.
• F. K. Došilović, M. Brčić, N. Hlupić, “Explainable artificial intelligence: A survey.” In 2018 41st International convention on information and communication technology, electronics and microelectronics (MIPRO) (pp. 0210-0215), May, 2018. IEEE.
• E. Tjoa, C. Guan, “A survey on explainable artificial intelligence (xai): Toward medical xai.” IEEE transactions on neural networks and learning systems, 32(11), 4793-4813, 2020.
• G. Van den Broeck, A. Lykov, M. Schleich, D. Suciu, “On the tractability of SHAP explanations.” Journal of Artificial Intelligence Research, 74, 851-886, 2022.