ChatGPT, ACR Uygunluk Kriterlerine Dayalı Olarak Etkili Toraks Görüntüleme İçin Yol Gösterici Olabilir mi?

Öz

Amaç: Bu çalışmanın amacı, American College of Radiology Uygunluk Kriterleri kapsamında torasik klinik senaryolar için önerilen görüntüleme yöntemleri ile ChatGPT tarafından üretilen öneriler arasındaki uyumu değerlendirmektir. Gereç ve Yöntem: ACR Uygunluk Kriterleri’nde tanımlanan 16 torasik tanısal kategoriye ait 68 ayrıntılı klinik senaryo, simüle edilmiş bir klinik karar verme formatında ChatGPT’ye sunulmuştur. Her bir senaryo için ChatGPT tarafından önerilen görüntüleme yöntemleri “genellikle uygun”, “uygun olabilir” veya “genellikle uygun değil” olarak sınıflandırılmıştır. Kategorik farklılıklar ki-kare testi ile analiz edilmiştir. ChatGPT ile ACR değerlendirmeleri arasındaki uyum Cohen’in kappa katsayısı ile değerlendirilmiş, uygun ve uygun olmayan sınıflandırmaların karşılaştırılması için McNemar testi uygulanmıştır. Bulgular: ChatGPT en sık kontrastsız bilgisayarlı tomografiyi (NECT) (%60,29), akciğer grafisini (CXR) (%57,35) ve kontrastlı bilgisayarlı tomografiyi (CECT) (%54,41) önermiştir. Göğüs ultrasonografisi (USG), kontrastsız toraks manyetik rezonans görüntüleme (NEMRI), kontrastlı toraks manyetik rezonans görüntüleme (CEMRI) ve pozitron emisyon tomografisi (PET) gibi diğer yöntemler daha az sıklıkla önerilmiştir. Cohen kappa analizi, CXR için anlamlı düzeyde uyum (κ = 0,625), NECT (κ = 0,460) ve CECT (κ = 0,520) için orta düzeyde uyum, diğer yöntemler için ise düşük düzeyde uyum göstermiştir. McNemar testi, USG dışında hiçbir görüntüleme yöntemi için ChatGPT ve ACR sınıflamaları arasında anlamlı fark olmadığını göstermiştir. Sonuç: ChatGPT, özellikle CXR, NECT ve CECT gibi temel torasik görüntüleme yöntemlerinde ACR önerileri ile orta ve anlamlı düzeyde uyum göstermiştir; ancak ileri görüntüleme tekniklerinde değişkenlik gözlenmiştir. Bu bulgular, ChatGPT’nin radyoloji dışı klinisyenler için sınırlı ölçüde destekleyici bir karar verme aracı olarak değerlendirilebileceğini düşündürmektedir. Anahtar Kelimeler: Yapay Zekâ, Uygunluk Kriterleri, Radyoloji, Tanısal Görüntüleme

Anahtar Kelimeler

• Yapay Zekâ
• Uygunluk Kriterleri
• Radyoloji
• Tanısal Görüntüleme

Can ChatGPT Guide Effective Thoracic Imaging Based on ACR Appropriateness Criteria?

Öz

Aim: This study aimed to assess the concordance between imaging modality recommendations generated by ChatGPT and the American College of Radiology (ACR) Appropriateness Criteria for thoracic clinical scenarios. Materials and Methods:68 detailed clinical case scenarios representing 16 thoracic diagnostic categories defined in the ACR Appropriateness Criteria were presented to ChatGPT in a simulated clinical decision making format. For each scenario, imaging modalities suggested by ChatGPT were classified as “usually appropriate,” “may be appropriate,” or “usually not appropriate.” Categorical differences were analyzed using the chi-square test. Agreement between ChatGPT and ACR ratings was evaluated using Cohen’s kappa coefficient, and the McNemar test was applied to compare appropriate versus inappropriate classifications. Results: ChatGPT most frequently recommended non-contrast-enhanced computed tomography(NECT) (60.29%), chest radiography (CXR) (57.35%), and contrast-enhanced computed tomography (CECT) (54.41%). Other modalities, including chest ultrasound(USG), non-contrast-enhanced thoracic magnetic resonance imaging (NEMRI),contrast-enhanced thoracic magnetic resonance imaging(CEMRI), and positron emission tomography (PET), were less frequently recommended. Cohen’s kappa analysis showed substantial agreement for CXR (κ = 0.625), moderate agreement for NECT (κ = 0.460) ,CECT (κ = 0.520) , and fair agreement for the other modalities. McNemar’s test revealed no significant differences between ChatGPT and ACR classifications for any modality except USG . Conclusion: ChatGPT demonstrated substantial and moderate concordance with ACR recommendations for basic thoracic imaging modalities, particularly CXR, NECT and CECT, but showed variable consistency for advanced imaging techniques. These findings suggest that ChatGPT may have a limited role as a supportive decision-making tool for non-radiologist clinicians. Keywords: Artificial Intelligence, Appropriateness Criteria, Radiology, Diagnostic Imaging

Anahtar Kelimeler

• Artificial Intelligence
• Appropriateness Criteria
• Radiology
• Diagnostic Imaging

Kaynakça

1. 1. A.Eriç , E.G. Özgür , O.F. Asker, N. Bekiroğlu. ChatGPT ve sağlık bilimlerinde kullanımı. CBU-SBED. 2024;11(1):176-182.
2. 2. American College of Radiology. ACR Appropriateness Criteria®. Accessed January 6, 2026. https://www.acr.org/Clinical- Resources/ACR-Appropriateness-Criteria
3. 3. John R. Landis, Gary G. Koch. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159- 174.
4. 4. S. P. Oei, T. H. G. F. Bakkes, M. Mischi, R. A. Bouwman, R. J. G. van Sloun, S. Turco. Artificial intelligence in clinical decision support and the prediction of adverse events. Front Digit Health. 2025;7:1403047.
5. 5. M. Elhaddad, S. Hamam. AI-driven clinical decision support systems: An ongoing pursuit of potential. Cureus. 2024;16(4):e57728.
6. 6. S. A. Alowais, S. S. Alghamdi, N. Alsuhebany, T. Alqahtani, A. I. Alshaya, S. N. Almohareb, et al. Revolutionizing healthcare: the role of artificial intelligence in clinical practice. BMC Med Educ. 2023;23(1):689.
7. 7. T. Dave, S. A. Athaluri, S. Singh. ChatGPT in medicine: An overview of its applications, advantages, limitations, future prospects, and ethical considerations. Front Artif Intell. 2023;6:1169595.
8. 8. R. M. Subramaniam, D. A. Kurth, C. A. Waldrip, F. J. Rybicki. American College of Radiology Appropriateness Criteria: Advancing evidence-based imaging practice. Semin Nucl Med. 2019;49(2):161-170.

9. 9. C. L. Sistrom. The appropriateness of imaging: A comprehensive conceptual framework. Radiology. 2009;251(3):637-649.
10. 10. A.Rao, M. Pang , J. Kim ,M. Kamineni , W. Lie , A.K. Prasad , et al. Assessing the utility of ChatGPT throughout the entire clinical workflow: development and usability study. J Med Internet Res. 2023;25:e48659.
11. 11. T.H. Kung, M. Cheatham, A. Medenilla, C. Sillos, L. De Leon, C. Elepaño, et al. Performance of ChatGPT on USMLE: potential for AI-assisted medical education using large language models. PLOS Digit Health. 2023;2(2):e0000198.
12. 12. A. Rau, S. Rau, D. Zoeller, A. Fink, H. Tran, C. Wilpert, et al. A context-based chatbot surpasses trained radiologists and generic ChatGPT in following the ACR Appropriateness Guidelines. Radiology. 2023;308(1):e230970.
13. 13. S. Doddi, T. Hibshman, O. Salichs, K. Bera, C. Tippareddy, N. Ramaiya, et al. Assessing appropriate responses to ACR urologic imaging scenarios using ChatGPT and Bard. Curr Probl Diagn Radiol. 2024;53(2):226-229.