Use of Artificial Intelligence in Emergency Medicine: Evaluation of the Compliance of ChatGPT with the Rabies Prophylaxis Guide of the Ministry of Health of Turkey

Öz

In our study, we aimed to compare the Turkish Ministry of Health “Rabies Prophylaxis Guide (2019)” and ChatGPT (v.4) in the evaluation of rabies risk animal contact cases. Our aim was to determine whether artificial intelligence tools, which are increasingly used and can respond to questions quickly, can be an alternative to guides in busy and time-sensitive areas such as emergency services and their performance in approaching cases. In our study, 50 patient scenarios involving rabies risk animal contact that can be frequently encountered in emergency services were created. ChatGPT was asked to evaluate and answer the cases in terms of contact category determination (I-II-III-IV), rabies vaccine requirement, rabies immunoglobulin requirement and antibiotic prophylaxis. In addition, 44 questions in the frequently asked questions section of the guide were directed to ChatGPT. The answers were classified as fully compatible, partially compatible and incompatible with the answers in the guide. ChatGPT responses were compared with the Turkish Ministry of Health “Rabies Prophylaxis Guide” and analyzed with SPSS 26.0 program; Chi-square, Cohen’s Kappa and ratio tests (Z-test) were applied. ChatGPT made recommendations that were inconsistent with the guideline in 27 of the 50 patient scenarios in terms of category determination, in 11 in terms of vaccine requirements, in 13 in terms of immunoglobulin requirements, and in 7 in terms of antibiotic prophylaxis. ChatGPT gave fully compatible answers to 21 (47.73%), partially compatible answers to 18 (40.91%) and incompatible answers to 5 (11.36%) of the 44 frequently asked questions in the guide. ChatGPT produced partially compatible results with the rabies prophylaxis guide. Although artificial intelligence tools have become indispensable in the health field in a short time, they should definitely be cross-checked with the guides and used as auxiliary tools for patient safety. The risk of artificial intelligence tools producing incomplete or inconsistent responses could endanger patient health and pose a serious risk to physicians in their clinical decision-making processes. Therefore, it is important to refer to current health guidelines in patient management. We believe that these tools are still not at a level to replace the guidelines.

Anahtar Kelimeler

• Rabies
• Prophylaxis
• ChatGPT
• Artificial Intelligence
• Emergency Medicine

Acil Tıpta Yapay Zekâ Kullanımı: ChatGPT’nin Türkiye Sağlık Bakanlığı Kuduz Profilaksisi Rehberi ile Uyumunun Değerlendirilmesi

Öz

Çalışmamızda, kuduz riskli hayvan teması vakalarının değerlendirilmesinde Türkiye Sağlık Bakanlığı “Kuduz Profilaksi Rehberi (2019)” ile ChatGPT (v.4)’ü karşılaştırmayı amaçladık. Hedefimiz, giderek kullanımı artan ve sorulara hızla yanıt verebilen yapay zekâ araçlarının, acil servis gibi yoğun ve zamanla yarışılan alanlarda rehberlere alternatif olup olamayacağını ve vakalara yaklaşımdaki performansını belirlemekti. Çalışmamızda, acil serviste sıklıkla karşılaşılabilecek 50 adet kuduz riskli hayvan teması içeren hasta senaryosu oluşturuldu. ChatGPT’den, vakaları temas kategorisi tayini (I-II-III-IV), kuduz aşı gerekliliği, kuduz immünoglobulini gerekliliği ve antibiyotik profilaksisi açısından değerlendirerek yanıtlaması istendi. Ayrıca, rehberde sıkça sorulan sorular bölümünde yer alan 44 soru ChatGPT’ye yöneltildi. Yanıtlar; rehberdeki cevaplarla tam uyumlu, kısmi uyumlu, ve uyumsuz şeklinde sınıflandırıldı. ChatGPT yanıtları Türkiye Sağlık Bakanlığı “Kuduz Profilaksi Rehberi” ile karşılaştırılarak SPSS 26.0 programıyla analiz edilmiş olup; Ki-kare, Cohen’s Kappa ve oran testleri (Z-testi) uygulanmıştır. ChatGPT, 50 hasta senaryosunun 27’sinde kategori tayini, 11’inde aşı gerekliliği, 13’ünde immünoglobulin gerekliliği ve 7’sinde antibiyotik profilaksisi açısından rehberle uyumsuz öneride bulunmuştur. ChatGPT, rehberde sıkça sorulan 44 sorunun ise 21’ine (%47,73) tam uyumlu, 18’ine (%40,91) kısmi uyumlu ve 5’ine (%11,36) uyumsuz yanıt vermiştir. ChatGPT, kuduz profilaksisi rehberiyle kısmen uyumlu sonuçlar üretmiştir. Yapay zekâ araçları, kısa sürede sağlık alanında her ne kadar vazgeçilmez hale gelmiş olsa da, hasta güvenliği açısından mutlaka rehberlerle çapraz kontrollü ve yardımcı araçlar olarak kullanılmalıdır. Yapay zekâ araçlarının eksik veya uyumsuz yanıtlar üretme riski, hasta sağlığını tehlikeye atabileceği ve hekim açısından klinik karar süreçlerinde ciddi risk oluşturabileceği için, hasta yönetiminde güncel sağlık rehberlerine başvurulması önem arz etmektedir. Bu araçların hâlâ rehberlerin yerini alacak düzeyde olmadığını düşünmekteyiz.

Anahtar Kelimeler

• Kuduz
• Profilaksi
• ChatGPT
• Yapay Zekâ
• Acil Tıp

Kaynakça

1. 1. Aylan O, Baykam N, Güner R, ve ark. TC Sağlık Bakanlığı Kuduz Profilaksi Rehberi. Ankara: T.C. Sağlık Bakanlığı; 2019.
2. 2. Zhao H, Zhang J, Cheng C, Zhou YH. Rabies acquired through mucosal exposure, China, 2013. Emerg Infect Dis. 2019 May;25(5):1028-9
3. 3. Aksoy M, Demirbaş B, Maden F, ve ark. Ankara ilinde 2005-2009 yılları arasında görülen şüpheli ısırıkların ve kuduz aşılamasının değerlendirilmesi. 3. EKMUD Kongresi; 2010 May 12-16; Ankara, Türkiye. Kongre Özet Kitabı. p.199.
4. 4. World Health Organization. Rabies. Factsheet. Available from: http://www.who.int/mediacentre/factsheets/fs099/en/. [Accessed 2025 Apr 10]
5. 5. O'Brien KL, Nolan T. The WHO position on rabies immunization - 2018 updates. Vaccine. 2019 Oct 3;37 Suppl 1(Suppl 1):A85-7.
6. 6. Chin J. Control of communicable diseases manual. Washington DC: American Public Health Association; 2000.
7. 7. Türkiye Halk Sağlığı Kurumu. Kuduz Saha Rehberi. Ankara: Türkiye Halk Sağlığı Kurumu; 2014.
8. 8. Abela-Ridder B. Rabies: 100 per cent fatal, 100 per cent preventable. Vet Rec. 2015 Aug 8;177(6):148-9.

9. 9. Deng J, Lin Y. The benefits and challenges of ChatGPT: an overview. Front Comput Intell Syst. 2022 Jan 5;2(2):81-3.
10. 10. Kasneci E, Sessler K, Küchemann S, et al. ChatGPT for good? On opportunities and challenges of large language models for education. Learn Individ Differ. 2023 Apr;103:102274.
11. 11. Biswas SS. Role of ChatGPT in public health. Ann Biomed Eng. 2023 May;51(5):868-9.
12. 12. Çolakoğlu Y, Ayten A, Sertkaya C, Toksal K, Karadağ S. Evaluation of Chat Generative Pretrained Transformer (ChatGPT) performance in answering kidney transplant related questions. New J Urol. 2025;20(1):21-3.
13. 13. Aydın FO, Aksoy BK, Ceylan A, ve ark. Refraktif cerrahide sık sorulan sorular için ChatGPT 3.5, ChatGPT 4.0, Gemini ve Microsoft Copilot tarafından oluşturulan yanıtların okunabilirliği ve uygunluğu. Turk J Ophthalmol. 2024 Dec;54(6):313-7.
14. 14. Knobel DL, Cleaveland S, Coleman PG, et al. Re-evaluating the burden of rabies in Africa and Asia. Bull World Health Organ. 2005 May;83(5):360-8.
15. 15. Zhang H. Artificial intelligence in healthcare: opportunities and challenges. Theor Nat Sci. 2023 Dec 20;21(1):130-4.
16. 16. Secinaro S, Calandra D, Secinaro A, Muthurangu V, Biancone P. The role of artificial intelligence in healthcare: a structured literature review. BMC Med Inform Decis Mak. 2021 Apr 10;21(1):125.
17. 17. Wang J, Shue K, Liu L, Hu G. Preliminary evaluation of ChatGPT model iterations in emergency department diagnostics. Scientific Reports. 2025;15:10426.
18. 18. Caglar U, Yildiz O, Meric A, et al. Evaluating the performance of ChatGPT in answering questions related to benign prostate hyperplasia and prostate cancer. Minerva Urol Nephrol. 2023 Dec;75(6):729-33.
19. 19. Yiğit S, Berşe S, Dirgar E. Yapay zekâ destekli dil işleme teknolojisi olan ChatGPT’nin sağlık hizmetlerinde kullanımı. Eurasian J Health Technol Assess. 2023 Jun 30;7(1):57-65.
20. 20. Ozturk N, Yakak I, Ağ MB, Aksoy N. Is ChatGPT reliable and accurate in answering pharmacotherapy-related inquiries in both Turkish and English? Currents in Pharmacy Teaching and Learning. 2024;16(7):102101.
21. 21. Antaki F, Touma S, Milad D, El-Khoury J, Duval R. Evaluating the performance of ChatGPT in ophthalmology: an analysis of its successes and shortcomings. Ophthalmol Sci. 2023 Dec 1;3(4).