Chatgpt ve Deepseek'in Antibiyotik Profilaksisine İlişkin Soruları Yanıtlama Etkinliğinin Multidisipliner Değerlendirmesi

Abstract

Yapay zeka teknolojileri son yıllarda tıp ve diş hekimliği alanlarında hastaların sorularına cevap aradıkları bir kaynak haline gelmiştir. İnvaziv dental ve medikal işlemler öncesinde sistemik komplikasyonları Yapay önlemek amacıyla antibiyotik profilaksisi uygulanmaktadır. Günümüzde, bilgiye erişim kaynağı olarak yapay zeka araçlarına yönelen hastalar güncel kılavuzlara dayalı, doğru ve tutarlı bilgilere ihtiyaç duymaktadırlar. Çalışmanın amacı, antibiyotik profilaksisi uygulamasına dair hastaların yönelttiği sorulara iki farklı yapay zekâ uygulaması (ChatGPT 4.0 ve DeepSeek) tarafından verilen yanıtların doğruluk ve tutarlılığını multidisipliner olarak değerlendirmektir. Literatür taraması ve klinik deneyimlere dayanarak, hastaların sıklıkla yönelttiği antibiyotik profilaksisi ile ilişkili 30 soru belirlendi. Sorular her iki yapay zekâ platformuna yöneltildi ve yanıtlar kaydedildi. Yanıtlar, bir periodontoloji ve bir kardiyoloji uzmanı tarafından bağımsız olarak modifiye Küresel Kalite Ölçeği kullanılarak değerlendirildi. Farklılıklar Wilcoxon Signed Ranks testi ile, değerlendiriciler arasındaki uyum Cohen’s Kappa katsayısı ile analiz edildi. Genel ortalama skoru; ChatGPT 4.0 için 4.56±0.56; DeepSeek için 4.55±0.62 idi. İki grup ve iki hekim arası farklılıklar değerlendirildiğinde yalnızca ChatGPT 4.0 uygulaması için uzmanlar arasında istatistiksel olarak anlamlı bir fark belirlendi. Kardiyoloğun ChatGPT için verdiği skorlar periodontologtan daha yüksek olarak tespit edildi. Cohen’s Kappa katsayısı yalnızca DeepSeek uygulaması için uzmanlar arasında istatistiksel olarak anlamlı ve orta düzeyde uyum belirledi (κ =0.547). Bilgi kaynağı olarak bu uygulamalar, antibiyotik profilaksisi konusunda periodontoloji ve kardiyoloji alanı açısından önemli bir potansiyele sahiptir, ancak limitasyonlar göz önünde bulundurulduğunda halen geliştirilebilir yönleri bulunmaktadır. İki disiplinin değerlendirmeleri arasındaki farklılıklar, bu uygulamaların daha güvenilir olması için multidisipliner doğrulama ve optimizasyona ihtiyaç olduğunu ortaya koymaktadır. Güvenilirliklerinin ve doğruluklarının geliştirilmesi için farklı uzmanlık alanlarının ortak katkısıyla yürütülecek daha kapsamlı çalışmalar gereklidir.

Keywords

• Antibiyotik profilaksisi
• yapay zeka
• bakteriyemi
• kardiyoloji
• periodontoloji

Supporting Institution

Yazarlar bu çalışma için herhangi bir finansal destek almamışlardır.

Ethical Statement

Bu çalışmada insan veya hayvan kaynaklı materyal kullanılmadığı için etik kurul onayı gerekmemektedir. Tüm veriler kamuya açık platformlarda mevcuttur.

Thanks

Yazarların beyan edecekleri herhangi bir teşekkür bulunmamaktadır.

A Multidisciplinary Evaluation of ChatGPT and DeepSeek's Effectiveness in Answering Questions on Antibiotic Prophylaxis

Abstract

In recent years, artificial intelligence technologies have become a source of information for patients seeking answers to questions related to medicine and dentistry. Antibiotic prophylaxis is administered prior to invasive dental and medical procedures to prevent systemic complications. Patients who turn to artificial intelligence tools for information now require accurate and consistent responses based on current guidelines. This study aims to evaluate the accuracy and consistency of answers provided by two artificial intelligence applications (ChatGPT 4.0 and DeepSeek) to patient-generated questions about the use of antibiotic prophylaxis. Thirty frequently asked questions regarding antibiotic prophylaxis were identified through a literature review and clinical experience. These questions were posed to both artificial intelligence platforms and the responses were recorded. The responses were then independently evaluated by specialists in periodontology and cardiology using the modified Global Quality Scale. Differences between the platforms were analyzed using the Wilcoxon Signed Ranks Test and inter-rater agreement was assessed using the Cohen's kappa (κ) coefficient. The mean scale score was 4.56±0.56 for ChatGPT 4.0 and 4.55± 0.62 for DeepSeek. A statistically significant difference was found between the two experts only for ChatGPT, with the cardiologist assigning higher scores than the periodontist. Moderate but significant inter-rater agreement was observed only for DeepSeek (κ = 0.547). These tools show potential as information resources for antibiotic prophylaxis in both periodontology and cardiology, but there are still areas for improvement, bearing in mind the study’s limitations. However, the observed inter-specialty differences highlight the need for multidisciplinary validation and refinement. More comprehensive studies involving contributions from different specialties are required to enhance their reliability and accuracy.

Keywords

• Antibiotic prophylaxis
• artificial intelligence
• bacteremia
• cardiology
• periodontics

Supporting Institution

The authors received no financial support for this study.

Ethical Statement

This study did not use human or animal-derived materials, so ethics committee approval was not required. All data are available on public platforms.

Thanks

The authors have no acknowledgements to declare.

References

1. Martins CC, Lockhart PB, Firmino RT, et al. Bacteremia following different oral procedures: Systematic review and meta-analysis. Oral Dis. 2024;30(3):846-854. doi:10.1111/odi.14531
2. Wilson WR, Gewitz M, Lockhart PB, et al. Prevention of Viridans Group Streptococcal Infective Endocarditis: A Scientific Statement From the American Heart Association. Circulation. 2021;143(20):e963-e978. doi:10.1161/CIR.0000000000000969
3. Farshidfar N, Hamedani S, Amiri MA, Tovani-Palone MR, Nemati S. Modifications to the 2021 American Heart Association guideline for antibiotic prophylaxis prior to invasive dental procedures: Strengths and pitfalls. Spec Care Dentist. 2022;42(2):203-205. doi:10.1111/scd.12655
4. Habib G, Lancellotti P, Antunes MJ, et al. 2015 ESC Guidelines for the management of infective endocarditis: The Task Force for the Management of Infective Endocarditis of the European Society of Cardiology (ESC). Endorsed by: European Association for Cardio-Thoracic Surgery (EACTS), the European Association of Nuclear Medicine (EANM). Eur Heart J. 2015;36(44):3075-3128. doi:10.1093/eurheartj/ehv319
5. Sperotto F, France K, Gobbo M, et al. Antibiotic Prophylaxis and Infective Endocarditis Incidence Following Invasive Dental Procedures: A Systematic Review and Meta-Analysis. JAMA Cardiol. 2024;9(7):599-610. doi:10.1001/jamacardio.2024.0873
6. Sadanandam S, Ruby GF, Singer SR, Shreevats R. Artificial Intelligence: What Is Current in Dentistry?. Dent Clin North Am. 2026;70(1):99-115. doi:10.1016/j.cden.2025.07.008
7. Yeo YH, Samaan JS, Ng WH, et al. Assessing the performance of ChatGPT in answering questions regarding cirrhosis and hepatocellular carcinoma. Clin Mol Hepatol. 2023;29(3):721-732. doi:10.3350/cmh.2023.0089
8. Özcivelek T, Özcan B. Comparative evaluation of responses from DeepSeek-R1, ChatGPT-o1, ChatGPT-4, and dental GPT chatbots to patient inquiries about dental and maxillofacial prostheses. BMC Oral Health. 2025;25(1):871. doi:10.1186/s12903-025-06267-w

9. Balel Y. ScholarGPT's performance in oral and maxillofacial surgery. J Stomatol Oral Maxillofac Surg. 2025;126(4):102114. doi:10.1016/j.jormas.2024.102114
10. Pitchika V, Büttner M, Schwendicke F. Artificial intelligence and personalized diagnostics in periodontology: A narrative review. Periodontol 2000. 2024;95(1):220-231. doi:10.1111/prd.12586
11. Morris MX, Fiocco D, Caneva T, Yiapanis P, Orgill DP. Current and future applications of artificial intelligence in surgery: implications for clinical practice and research. Front Surg. 2024;11:1393898. doi:10.3389/fsurg.2024.1393898
12. Bagde H, Dhopte A, Alam MK, Basri R. A systematic review and meta-analysis on ChatGPT and its utilization in medical and dental research. Heliyon. 2023;9(12):e23050. doi:10.1016/j.heliyon.2023.e23050
13. Wang L, Wan Z, Ni C, et al. Applications and Concerns of ChatGPT and Other Conversational Large Language Models in Health Care: Systematic Review. J Med Internet Res. 2024;26:e22769. doi:10.2196/22769
14. Gilson A, Safranek CW, Huang T, et al. How Does ChatGPT Perform on the United States Medical Licensing Examination (USMLE)? The Implications of Large Language Models for Medical Education and Knowledge Assessment. JMIR Med Educ. 2023;9:e45312. doi:10.2196/45312
15. Huh S. Are ChatGPT’s knowledge and interpretation ability comparable to those of medical students in Korea for taking a parasitology examination?: a descriptive study. J Educ Eval Health Prof. 2023;20:1. doi:10.3352/jeehp.2023.20.1
16. Johnson SB, King AJ, Warner EL, Aneja S, Kann BH, Bylund CL. Using ChatGPT to evaluate cancer myths and misconceptions: artificial intelligence and cancer information. JNCI Cancer Spectr. 2023;7(2):pkad015. doi:10.1093/jncics/pkad015
17. Chatzopoulos GS, Koidou VP, Tsalikis L, Kaklamanos EG. Large language models in periodontology: Assessing their performance in clinically relevant questions. J Prosthet Dent. Published online November 18, 2024. doi:10.1016/j.prosdent.2024.10.020 [Epub ahead of print]
18. Babayiğit O, Tastan Eroglu Z, Ozkan Sen D, Ucan Yarkac F. Potential Use of ChatGPT for Patient Information in Periodontology: A Descriptive Pilot Study. Cureus. 2023;15(11):e48518. doi:10.7759/cureus.48518
19. Tuzlalı M, Baki N, Aral K, Aral CA, Bahçe E. Evaluating the performance of AI chatbots in responding to dental implant FAQs: A comparative study. BMC Oral Health. 2025;25(1):1548. doi:10.1186/s12903-025-06863-w