The Role of ChatGPT-4o in Radiology Assistant Training in Meniscal Tears and Rotator Cuff Pathologies

Abstract

Objective: ChatGPT, which is widely used in daily practice with the developing artificial intelligence technology, is based on natural language processing and deep learning techniques. The aim of this study was to demonstrate the accuracy and contribution of ChatGPT as a supportive training model for radiology assistants. Materials and Methods: In this study prepared as a nonhuman study, some questions were prepared from ‘radiologyassistant’ and ‘radiopedia’ education sites and the questions were asked to 5 assistants separately. The same questions were also asked to ChatGPT 4o. The correct answers to the questions were compared. The agreement of the assistants and the ChatGPT 4o model was analysed. Results: ChatGPT-4o model gave correct answers to 41 questions out of 48 questions in total. In total, the accuracy rate is 85.4%. In total questions, ChatGPT-4o model was shown to contribute to radiology education for only 1 assistant. There was no significant difference between other assistants and ChatGPT-4o model in answering the questions correctly. In the evaluation of 5 assistants among themselves, a statistically significant difference was found in the answers given to the questions (p=0,03). Conclusion: Although the ChatGPT-4o model is a resource to be used in radiology education, its contribution to assistant education is limited. The software needs to be improved.

Keywords

• ChatGPT-4o
• Artificial intelligence
• Musculoskeletal radiology

Menisküs Yırtıklarında ve Rotator Manşet Patolojilerinde Radyoloji Asistanı Eğitiminde ChatGPT-4o'nun Rolü

Abstract

Amaç: Gelişen yapay zeka teknolojisi ile günlük uygulamada yaygın olarak kullanılan ChatGPT, doğal dil işleme ve derin öğrenme tekniklerine dayanmaktadır. Bu çalışmanın amacı, ChatGPT'nin radyoloji asistanları için destekleyici bir eğitim modeli olarak doğruluğunu ve katkısını göstermektir. Gereç ve Yöntem: Nonhuman olarak hazırlanan bu çalışmada, “radiologyassistant” ve “radiopedia” eğitim sitelerinden bazı sorular hazırlanmış ve sorular 5 asistana ayrı ayrı sorulmuştur. Aynı sorular ChatGPT 4o'ya da sorulmuştur. Soruların doğru cevapları karşılaştırılmıştır. Asistanlar ve ChatGPT 4o modelinin uyumu analiz edilmiştir. Bulgular: ChatGPT-4o modeli, toplam 48 sorudan 41'ine doğru cevap verdi. Toplamda doğruluk oranı %85.4'tür. Toplam sorularda, ChatGPT-4o modelinin sadece 1 asistan için radyoloji eğitimine katkıda bulunduğu gösterildi. Diğer asistanlar ile ChatGPT-4o modeli arasında soruları doğru cevaplama konusunda anlamlı bir fark yoktu. 5 asistanın kendi aralarındaki değerlendirmesinde sorulara verilen cevaplarda istatistiksel olarak anlamlı fark bulunmuştur (p=0,03). Sonuç: ChatGPT-4o modeli radyoloji eğitiminde kullanılabilecek bir kaynak olsa da, asistanların eğitimine katkısı sınırlıdır. Yazılımın iyileştirilmesi gerekmektedir.

Keywords

• ChatGPT-4o
• Yapay zeka
• Kas-iskelet radyolojisi

References

1. Referans 1. OpenAI. ChatGPT [Internet]. 30 November 2022 [cited 2025 Aug 19]. Available from: https://openai.com/index/chatgpt/
2. Referans 2. Kapsam Haber. ChatGPT nedir? ChatGPT’nin amacı [Internet]. date unknown [cited 2025 Aug 19]. Available from: https://www.kapsamhaber.com/chatgpt-nedir-chatgpt-nin-amaci/79090
3. Referans 3. Marr B. A short history of ChatGPT: how we got to where we are today. Forbes. 2023 May 19.
4. Referans 4. Innova. ChatGPT-4o nedir? [Internet]. 1 July 2024 [cited 2025 Aug 19]. Available from: https://www.innova.com.tr/blog/chatgpt-4o-nedir
5. Referans 5. Radiology Assistant [Internet]. date unknown [cited 2025 Aug 19]. Available from: https://radiologyassistant.nl/
6. Referans 6. Radiopaedia [Internet]. date unknown [cited 2025 Aug 19]. Available from: https://radiopaedia.org/
7. Referans 7. Gisi M, Ferrari V, Dubon F, Fischer MR, Angstwurm M, Berndt M. Objective and subjective consequences of pandemic-related study program changes for the perceptions of the practical year – a comparison of medical students in Germany with and without the second state examination. GMS J Med Educ 2023;40(4):53.
8. Referans 8. Penny P, Bane R, Riddle V. Advancements in AI medical education: assessing ChatGPT’s performance on USMLE-style questions across topics and difficulty levels. Cureus 2024.

9. Referans 9. Güzelmansur C, Perişan C, İnce AT. Yapay zekâ modeli ChatGPT’nin tıpta uzmanlık sınavı üzerinden değerlendirilmesi. 9. Uluslararası 19 Mayıs Yenilikçi Bilimsel Yaklaşımlar Kongresi; 2023; Türkiye.
10. Referans 10. Akgün BM. ChatGPT’nin sağlık bilimleri eğitimine getirdiği fırsatlar. İleri Teknol Çalışmaları Derg. 2023;1(2):48-54.
11. Referans 11. Kutlucan E, Seferoğlu SS. Eğitimde yapay zekâ kullanımı: ChatGPT’nin KEFE ve PEST analizi. Türk Eğitim Bilimleri Derg. 2024;22(2):1059-1083.
12. Referans 12. Yiğit S, Berşe S, Dirgar E. Yapay zekâ destekli dil işleme teknolojisi olan ChatGPT’nin sağlık hizmetlerinde kullanımı. Eurasian J Health Technol Assess. 2023;7(1):57-65.
13. Referans 13. Talan T, Kalınkara Y. The role of artificial intelligence in higher education: ChatGPT assessment for anatomy course. Uluslararası Yönetim Bilişim Sistemleri ve Bilgisayar Bilimleri Derg. 2023;7(1):33-40.
14. Referans 14. Khan RA, Jawaid M, Khan AR, Sajjad M. ChatGPT - reshaping medical education and clinical management. Pak J Med Sci. 2023;39(2):605-607.
15. Referans 15. Zuckerman M, Flood R, Udaiyar A, Fooks A, Terlecky SR. An explorative assessment of ChatGPT for assessment writing. Med Teach. 2023;45(11):1224-1227.
16. Referans 16. Özdoğan AÇ, Tellioğlu B, Katar O, Özer S. Is ChatGPT’s knowledge on rhinology accurate? Can it be utilized in medical education and patient information? 2025.
17. Referans 17. Naldi L, Bettoli V, Santoro E, Valetto MR, Bolzon A, Cassalia F, et al. Application of ChatGPT as a content generation tool in continuing medical education: acne as a test topic. Dermatol Rep. 2024.
18. Referans 18. Tang P, Xiao R, Cao Y, Ying Z, Xiao W, Wen T, et al. The promise of ChatGPT in medical education: a systematic review [Preprint]. 2025.
19. Referans 19. Oztermeli AD. Is ChatGPT a reliable tool for explaining medical terms? Cureus. 2025.
20. Referans 20. Maaß L, Grab‐Kroll C, Koerner JC, Öchsner W, Schön M, Messerer D, et al. Artificial intelligence and ChatGPT in medical education: a cross-sectional questionnaire on students’ competence. J CME. 2024;14(1).