Dermoskopik Görüntü Sınıflandırması İçin Gizli Özniteliklerin Topolojik Analizi ile Hibrit Bir Çizge Dikkat Yaklaşımı

Abstract

Giriş: Pigmentli deri lezyonlarının otomatik sınıflandırılması, sınıflar arası yüksek görsel benzerlik ve ciddi sınıf dengesizliği nedeniyle hesaplamalı patolojide zorlu bir görev olmayı sürdürmektedir. Görme Transformatörleri (ViT), küresel bağlamı yakalayarak yeni standartlar belirlemiş olsa da, görüntü yamalarını genellikle bağımsız birimler olarak işlemekte ve karmaşık lezyon morfolojilerini ayırt etmek için kritik olan topolojik ve uzamsal ilişkileri açıkça modelleyememektedir. Yöntemler: Bu çalışmada, dermoskopik görüntülerin örtük yapısal topolojisini modellemek amacıyla, kendi-denetimli öznitelik çıkarımı ile geometrik derin öğrenmeyi birleştiren hibrit bir iskelet önerilmektedir. Mimari, alana özgü ince ayar için düşük-ranklı adaptasyon (LoRA) katmanlarıyla entegre edilmiş, önceden eğitilmiş bir temel modeli omurga olarak kullanmaktadır. Geleneksel ızgara tabanlı yöntemlerin aksine yaklaşımımız, yüksek boyutlu yama gömülmelerinden dinamik bir k-En Yakın Komşu (k-NN) çizgesi inşa etmektedir. Bu gizli çizge daha sonra bir Çizge Dikkat Ağı (GAT) aracılığıyla işlenerek modelin uzamsal ilişkiler ve çok ölçekli yapısal bağımlılıklar üzerine açıkça mantıksal çıkarım yapmasına olanak tanımaktadır. Bulgular: HAM10000 veri kümesi üzerinde yapılan değerlendirmelerde, yöntemimiz %97,80 doğruluk ve %99,65 AUC değerine ulaşarak hem CNN hem de Transformatör tabanlı modellerden daha üstün bir performans sergilemiştir. Bu performansa, yalnızca %3,19 oranında eğitilebilir parametre (10M) kullanılarak ve ilk epokta hızlı yakınsama gösterilerek yüksek hesaplama verimliliğiyle ulaşılmıştır. Sonuç: Bu çalışma, uzamsal etkileşimlerin Çizge Sinir Ağları (GNN) aracılığıyla açıkça modellenmesinin, dermoskopide büyük çaplı yeniden eğitime gerek kalmadan tanısal hassasiyeti önemli ölçüde artırdığını göstermektedir. Önerilen mimari, SSL özniteliklerine ve topoloji-duyarlı akıl yürütmeye dayanması sayesinde diğer dermoskopik veri kümelerine genellenebilir; bilgisayar destekli tanı sistemleri için ölçeklenebilir, yorumlanabilir ve klinik olarak uygulanabilir bir çözüm sunmaktadır.

Keywords

• Çizge Sinir Ağlar
• Uzamsal Akıl Yürütme
• Deri Lezyonu Sınıflandırması
• Hesaplamalı Dermatoloji
• Derin Öğrenme
• Görüntü İşleme
• Bilgisayarlı Görü

Supporting Institution

Yıldız Teknik Üniversitesi

Project Number

FKD-2024-6446

Ethical Statement

Bu çalışma Yıldız Teknik Üniversitesi Bilimsel Araştırma Projeleri Birimi tarafından desteklenmiştir. Proje Numarası: FKD-2024-6446

Thanks

Bu çalışma Yıldız Teknik Üniversitesi Bilimsel Araştırma Projeleri Birimi tarafından desteklenmiştir. Proje Numarası: FKD-2024-6446

Hybrid Graph Attention Framework for Dermoscopic Classification via Topology-Aware Latent Embeddings

Abstract

Abstract Background: Automated stratification of pigmented skin lesions remains a formidable challenge in computational pathology due to high inter-class visual similarity and severe class imbalance. While Vision Transformers (ViTs) have established new benchmarks by capturing global context, they typically process image patches as independent tokens, often failing to explicitly model the topological and spatial relationships critical for differentiating complex lesion morphologies. Methods: We propose a hybrid framework that synergizes self-supervised feature extraction with geometric deep learning to model the latent structural topology of dermoscopic images. The architecture leverages a pre-trained foundation model as a backbone, integrated with low-rank adaptation layers for domain-specific refinement. Unlike conventional grid-based methods, our approach dynamically constructs a k-Nearest Neighbor (k-NN) graph from high-dimensional patch embeddings. This latent graph is then processed through a Graph Attention Network (GAT), enabling the model to explicitly reason over spatial relationships and multi-scale structural dependencies. Results: Evaluated on the HAM10000 benchmark, Under identical experimental conditions, our method achieves an accuracy of 97.80% and an AUC of 99.65%, outperforming both CNN- and Transformer-based baselines. Notably, this performance is achieved with high computational efficiency, utilizing only 3.19% trainable parameters (10M) and demonstrating rapid convergence within the first epoch. Conclusion: This study demonstrates that explicit modeling of spatial interactions via GNNs significantly enhances diagnostic precision in dermoscopy without the need for massive retraining. Although our experiments focus on HAM10000, the design of the framework is expected to generalize to broader dermoscopic datasets due to its reliance on SSL features and topology-aware reasoning. The proposed architecture offers a scalable, interpretable, and clinically viable solution for computer-aided diagnosis systems.

Keywords

• Computational Dermatology
• Graph Neural Networks
• Spatial Reasoning
• Skin Lesion Classification
• Deep Learning
• Computer Vision
• Image Processing

Supporting Institution

Yıldız Technical University

Project Number

FKD-2024-6446

Ethical Statement

This work was supported by Research Fund of the Yıldız Technical University. Project Number: FKD-2024-6446

Thanks

This work was supported by Research Fund of the Yıldız Technical University. Project Number: FKD-2024-6446

References

1. [1] A. Esteva, B. Kuprel, R.A. Novoa, J. Ko, S.M. Swetter, H.M. Blau, and S. Thrun, Nature, 542, 115–118 (2017).
2. [2] P. Tschandl, C. Rosendahl, and H. Kittler, Sci Data, 5, (2018).
3. [3] K. He, X. Zhang, S. Ren, and J. Sun, Deep residual learning for image recognition, in: Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, IEEE Computer Society, (2016), pp. 770–778.
4. [4] A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, and N. Houlsby, (2021).
5. [5] M. Oquab, T. Darcet, T. Moutakanni, H. Vo, M. Szafraniec, V. Khalidov, P. Fernandez, D. Haziza, F. Massa, A. El-Nouby, M. Assran, N. Ballas, W. Galuba, R. Howes, P.-Y. Huang, S.-W. Li, I. Misra, M. Rabbat, V. Sharma, et al., (2024).
6. [6] M. Moor, O. Banerjee, Z.S.H. Abad, H.M. Krumholz, J. Leskovec, E.J. Topol, and P. Rajpurkar, Nature, 616, 259–265 (2023).
7. [7] J.P. Huix, A.R. Ganeshan, J.F. Haslum, M. Söderberg, C. Matsoukas, and K. Smith, (2023).
8. [8] D. Raval and J.N. Undavia, International Journal of Engineering Trends and Technology, 72, 147–156 (2024).

9. [9] E.J. Hu, Y. Shen, P. Wallis, Z. Allen-Zhu, Y. Li, S. Wang, L. Wang, and W. Chen, (2021).
10. [10] P. Veličković, G. Cucurull, A. Casanova, A. Romero, P. Liò, and Y. Bengio, (2018).
11. [11] M. Tan and Q. V. Le, (2019).
12. [12] Z. Liu, Y. Lin, Y. Cao, H. Hu, Y. Wei, Z. Zhang, S. Lin, and B. Guo, Swin Transformer: Hierarchical Vision Transformer using Shifted Windows, in: Proceedings of the IEEE International Conference on Computer Vision, Institute of Electrical and Electronics Engineers Inc., (2021), pp. 9992–10002.
13. [13] W. Wang, E. Xie, X. Li, D.-P. Fan, K. Song, D. Liang, T. Lu, P. Luo, and L. Shao, (2021).
14. [14] R. Azad, A. Kazerouni, M. Heidari, E.K. Aghdam, A. Molaei, Y. Jia, A. Jose, R. Roy, and D. Merhof, Med Image Anal, 91, 103000 (2024).
15. [15] K. Han, Y. Wang, H. Chen, X. Chen, J. Guo, Z. Liu, Y. Tang, A. Xiao, C. Xu, Y. Xu, Z. Yang, Y. Zhang, and D. Tao, (2023).
16. [16] J. Mohan, A. Sivasubramanian, S. V., and V. Ravi, Comput Biol Med, 190, (2025).
17. [17] J. Wu, Z. Wang, M. Hong, W. Ji, H. Fu, Y. Xu, M. Xu, and Y. Jin, Med Image Anal, 102, (2025).
18. [18] M. Jia, L. Tang, B.-C. Chen, C. Cardie, S. Belongie, B. Hariharan, and S.-N. Lim, (2022).
19. [19] R. Dutt, L. Ericsson, P. Sanchez, S.A. Tsaftaris, and T. Hospedales, (2024).
20. [20] D. Ahmedt-Aristizabal, M.A. Armin, S. Denman, C. Fookes, and L. Petersson, Sensors, 21, (2021).
21. [21] M.Y. Lu, D.F.K. Williamson, T.Y. Chen, R.J. Chen, M. Barbieri, and F. Mahmood, Nat Biomed Eng, 5, 555–570 (2021).
22. [22] T. Wang and P. Isola, (2022).
23. [23] Y. Cui, M. Jia, T.-Y. Lin, Y. Song, and S. Belongie, (2019).
24. [24] T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollár, (2018).
25. [25] B.H.M. van der Velden, H.J. Kuijf, K.G.A. Gilhuijs, and M.A. Viergever, Med Image Anal, 79, 102470 (2022). [26] R.R. Selvaraju, M. Cogswell, A. Das, R. Vedantam, D. Parikh, and D. Batra, Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization, in: 2017 IEEE International Conference on Computer Vision (ICCV), IEEE, (2017), pp. 618–62.