Evaluating ChatGPT-5 for the Diagnosis of Benign Skin Lesions: Insights from Macroscopic and Dermoscopic Imaging

Arka Plan: Tıbbi tanı alanında ChatGPT’nin potansiyeli dikkat çekici olmakla birlikte, konu karmaşık olup farklı tıbbi disiplinlerde çok sayıda çalışmada incelenmiştir. Bu bağlamda, bu çalışmanın amacı, makroskopik ve dermoskopik görüntüler kullanılarak benign deri lezyonlarının tanısında ChatGPT-5’in tanısal doğruluğunu değerlendirmektir. Yöntemler: Çalışma kapsamında, yüz yüze muayene sırasında dermatolog tarafından 40 hastanın her birine ait makroskopik ve dermoskopik görüntüler kaydedildi. Bu görüntüler, temel klinik bilgilerle birlikte ChatGPT-5’e yüklendi. Değerlendirme süreci iki aşamalı olarak planlandı. İlk aşamada yalnızca makroskopik görüntüler modele sunuldu. İkinci aşamada ise değerlendirme, makroskopik görüntülere ek olarak dermoskopik görüntülerin de dâhil edilmesiyle gerçekleştirildi. Modelden ön tanı koyması ve tanının hatalı olması durumunda üç ayırıcı tanı önermesi istendi. Modelin doğruluk düzeyi, elde edilen tanıların histopatolojik sonuçlarla karşılaştırılması yoluyla belirlendi. Bulgular: ChatGPT-5 ile yapılan değerlendirmede, yalnızca makroskopik görüntülere dayalı tanısal doğruluk %32,5 iken, makroskopik ve dermoskopik görüntülerin birlikte kullanılmasıyla doğruluk %27,5’e düştü (p = 0,450). Üç ayırıcı tanının dikkate alındığı durumda, makroskopik görüntülerle doğru tanı oranı %48,1 iken, dermoskopik görüntülerin eklenmesiyle bu oran %29,6’ya düştü (p < 0,001). Sonuç: ChatGPT-5 benign deri lezyonları için sınırlı düzeyde tanısal doğruluk göstermiş, dermoskopik görüntüler eklendiğinde performansı düşmüştür. Bu sonuçlar, ChatGPT-5’in bağımsız bir tanı aracı olarak değil, destekleyici bir yardımcı olarak değerlendirilmesi gerektiğini göstermektedir.

Background: While the potential of ChatGPT in the domain of medical diagnosis is noteworthy, the subject is intricate and has been examined in numerous studies across various medical disciplines. In this context, the objective of this study is to utilize ChatGPT-5 to evaluate its diagnostic accuracy for benign skin lesions using macroscopic and dermoscopic images. Methods: During the in-person examination, the dermatologist documented macroscopic and dermoscopic images of each of the 40 patients. These images, along with basic clinical information, were uploaded to ChatGPT-5. The evaluation process was meticulously structured into two distinct phases. In the initial phase, the presentation was limited to macroscopic images alone. In the subsequent phase, the presentation expanded to encompass both macroscopic and dermoscopic images. The model was tasked with making a preliminary diagnosis and, in the event of an inaccuracy, was expected to provide three differential diagnoses. The model's accuracy was assessed by comparing its diagnoses with the histopathological results. Results: In the evaluation conducted with ChatGPT-5, the diagnostic accuracy based solely on macroscopic images was 32.5%, whereas the accuracy for combined macroscopic and dermoscopic images decreased to 27.5% (p = 0.450). When three differential diagnoses were considered, the correct diagnosis was achieved in 48.1% of cases using macroscopic images, whereas this rate declined to 29.6% with the inclusion of dermoscopic images (p < 0.001). Conclusion: ChatGPT-5 demonstrated modest diagnostic accuracy for benign skin lesions, with performance declined when dermoscopic images were included. These results suggest that ChatGPT-5 should be considered a supportive aid rather than a standalone diagnostic tool.