KLİNİK KARAR DESTEK SÜRECİNDE CHATGPT, GEMINI VE DEEPSEEK’İN TANISAL PERFORMANSI: KARŞILAŞTIRMALI BİR ANALİZ

Abstract

Amaç: Bu çalışma, üç farklı büyük dil modeli (LLM) tabanlı yapay zeka aracının-ChatGPT-4, Gemini 2.0 Flash ve DeepSeek-V3-standardize edilmiş klinik senaryolar kullanarak başlangıç klinik karar verme sürecini desteklemedeki tanısal performanslarını karşılaştırmayı amaçlamıştır.

Yöntem: Guide to Diagnostic Tests (7. baskı) kitabındaki tanı algoritmaları temel alınarak, beş ana klinik alanı temsil eden toplam 36 klinik senaryo seçilmiştir. Her bir senaryo için ilgili tanı algoritmasının yalnızca ilk karar basamağı değerlendirilmiştir. Tüm sorular Türkçe olarak sunulmuş; aynı istemler (prompt) kullanılarak modellerin halka açık ücretsiz sürümlerine birer kez girilmiştir. Yanıtlar; üçlü kategorik doğruluk sistemi (tamamen doğru, kısmen doğru, yanlış) kullanılarak analiz edilmiştir.

Bulgular: ChatGPT en yüksek toplam puanı (40/72) alırken, onu Gemini ve DeepSeek (her biri 36/72) izlemiştir; ancak bu fark istatistiksel olarak anlamlı bulunmamıştır (p>0.05). ChatGPT senaryoların %36,1'inde tamamen doğru yanıtlar verirken, bu oran Gemini için %33,3 ve DeepSeek için %22,2 olarak gerçekleşmiştir. ChatGPT ve Gemini arasında tamamen doğru yanıtlarda örtüşen kalıplar gözlemlenmiş olsa da, bu durum istatistiksel anlamlılığa ulaşmamıştır (p>0.05). Performans kategorilere göre değişkenlik göstermiştir: Gemini elektrolit bozukluklarında, ChatGPT enfeksiyon ve sistemik durumlarda öne çıkmış; DeepSeek ise yalnızca endokrinoloji ve hematoloji alanlarında diğerleriyle benzerlik göstermiştir.

Sonuç: Tüm modeller belirli bir tanısal potansiyel sergilese de, hiçbiri klinik muhakemenin yerini alacak yeterli doğruluk seviyesine ulaşamamıştır. Bununla birlikte, kısıtlı klinik bilgiye dayalı tanısal akıl yürütmenin ilk adımı için kullanıldıklarında, bu modeller - özellikle daha geniş klinik karar destek sistemlerine entegre edildiklerinde -klinisyenler için destekleyici bir değer sunabilir.

Keywords

• klinik karar desteği
• büyük dil modelleri
• tanısal doğruluk
• ChatGPT

DIAGNOSTIC PERFORMANCE OF CHATGPT, GEMINI, AND DEEPSEEK IN CLINICAL DECISION SUPPORT: A COMPARATIVE ANALYSIS

Abstract

Objective: This study aimed to compare the diagnostic performance of three large language model (LLM)-based artificial intelligence (AI) tools-ChatGPT-4, Gemini 2.0 Flash, and DeepSeek-V3-in supporting initial clinical decision-making using standardized clinical scenarios.

Methods: A total of 36 clinical scenarios were selected based on diagnostic algorithms from the Guide to Diagnostic Tests (7th ed.), representing five major clinical domains. For each scenario, only the first decision step of the relevant diagnostic algorithm was assessed. All questions were presented in Turkish and entered once, using identical prompts, into the publicly available free versions of the three models. Responses were evaluated using a three-point categorical accuracy system (completely correct, partially correct, incorrect).

Results: ChatGPT achieved the highest total score (40/72), followed by Gemini and DeepSeek (36/72 each); however, this difference was not statistically significant (p>0.05). ChatGPT provided completely correct responses in 36.1% of scenarios, compared with 33.3% for Gemini and 22.2% for DeepSeek. Overlapping patterns of fully correct responses were observed between ChatGPT and Gemini, although this did not reach statistical significance (p>0.05). Performance varied by category: Gemini excelled in electrolyte disorders, ChatGPT in infectious and systemic conditions, and DeepSeek showed parity only in endocrinology and hematology.

Conclusion: While all models showed some diagnostic potential, none reached a level of accuracy sufficient to replace clinical judgment. However, when used for the initial step of diagnostic reasoning based on limited clinical information, these models may offer supportive value to clinicians, particularly when integrated into broader clinical decision-support systems.

Keywords

• clinical decision support
• large language models
• diagnostic accuracy
• ChatGPT

References

1. 1. Sanli DET, Sanli AN, Buyukdereli Atadag Y, Kurt A, Esmerer E. GPT-4o and Specialized AI in Breast Ultrasound Imaging: A Comparative Study on Accuracy, Agreement, Limitations, and Diagnostic Potential. J Ultrasound Med. 2025;44(11):1993-2004. doi:10.1002/jum.16749
2. 2. Ranji SR. Large language models-misdiagnosing diagnostic excellence? JAMA Netw Open. 2024;7(10):e2440901. doi:10.1001/jamanetworkopen.2024.40901
3. 3. Hager P, Jungmann F, Holland R, et al. Evaluation and mitigation of the limitations of large language models in clinical decision-making. Nat Med. 2024;30(9):2613-2622. doi:10.1038/s41591-024-03097-1
4. 4. Austad B, Hetlevik I, Mjølstad BP, Helvik AS. Applying clinical guidelines in general practice: a qualitative study of potential complications. BMC Fam Pract. 2016;17:92. doi:10.1186/s12875-016-0490-3.
5. 5. Corrao S, Argano C. Rethinking clinical decision-making to improve clinical reasoning. Front Med (Lausanne). 2022;9:900543. doi:10.3389/fmed.2022.900543
6. 6. Wu X, Cai G, Guo B, et al. A multi-dimensional performance evaluation of large language models in dental implantology: comparison of ChatGPT, DeepSeek, Grok, Gemini and Qwen across diverse clinical scenarios. BMC Oral Health. 2025;25(1):1272. Published 2025 Jul 28. doi:10.1186/s12903-025-06619-6
7. 7. Meo SA, Abukhalaf FA, ElToukhy RA, Sattar K. Exploring the role of DeepSeek-R1, ChatGPT-4, and Google Gemini in medical education: How valid and reliable are they?. Pak J Med Sci. 2025;41(7):1887-1892. doi:10.12669/pjms.41.7.12183
8. 8. Lee S, Jung S, Park JH, Cho H, Moon S, Ahn S. Performance of ChatGPT, Gemini and DeepSeek for non-critical triage support using real-world conversations in emergency department. BMC Emerg Med. 2025;25(1):176. Published 2025 Sep 1. doi:10.1186/s12873-025-01337-2

9. 9. Nicoll C, Lu C. Decision making. In: Nicoll D, Lu CM, McPhee SJ, eds. Guide to Diagnostic Tests. 7th ed. New York, NY: McGraw-Hill Education; 2017. Available from: https://accessmedicine.mhmedical.com/content.aspx?bookid=2032§ionid=152254676. Accessed February 20, 2025.
10. 10. Takita H, Kabata D, Walston SL, et al. A systematic review and meta-analysis of diagnostic performance comparison between generative AI and physicians. NPJ Digit Med. 2025;8:175. doi:10.1038/s41746-025-01543-z
11. 11. Fattah FH, Salih AM, Salih AM, et al. Comparative analysis of ChatGPT and Gemini (Bard) in medical inquiry: a scoping review. Front Digit Health. 2025;7:1482712. doi:10.3389/fdgth.2025.1482712
12. 12. Chan L, Xu X, Lv K. DeepSeek-R1 and GPT-4 are comparable in a complex diagnostic challenge: a historical control study. Int J Surg. 2025;111(6):4056-4059. doi:10.1097/JS9.0000000000002386
13. 13. Luo PW, Liu JW, Xie X, et al. DeepSeek vs ChatGPT: a comparison study of their performance in answering prostate cancer radiotherapy questions in multiple languages. Am J Clin Exp Urol. 2025;13(2):176-185.
14. 14. Szabó A, Laein GD. Comparative evaluation of large language models performance in medical education using urinary system histology assessment. Sci Rep. 2025;15:31933. doi:10.1038/s41598-025-17571-4