Evaluation of Responses Provided by Artificial Intelligence Chatbots to Questions on Hyperbaric Oxygen Therapy

Abstract

Background: The aim of this study was to evaluate the accuracy, reliability, and readability of responses provided by artificial intelligence chatbot systems to questions related to hyperbaric oxygen therapy, and to determine their potential as a source of medical information. Methods: The 20 most frequently searched open-ended questions on HBOT were identified using Google Trends and directed to ChatGPT 5.2, ChatGPT-4.0, ChatGPT-4.1, Copilot, Gemini, and Perplexity. All responses were independently evaluated by two expert physicians. Accuracy and completeness were assessed using Likert scales, reliability using the mDISCERN tool, and readability using the SMOG index. Statistical analyses included the Kruskal–Wallis, Dunn, Mann–Whitney U, and Fisher’s exact tests. Results: According to median values, no significant differences were observed among ChatGPT 5.2, ChatGPT 4.0, ChatGPT 4.1, Gemini, and Copilot in terms of accuracy; however, Perplexity demonstrated significantly lower scores (p<0.0001). For completeness, Gemini achieved the highest scores, followed by ChatGPT 5.2, ChatGPT 4.0, and ChatGPT 4.1, whereas Copilot and Perplexity received lower completeness scores (p<0.0001). In terms of mDISCERN, all models except Perplexity showed comparable reliability and quality, whereas Perplexity had significantly lower scores (p<0.0001). Overall readability was at a moderate level across models, with a statistically significant difference observed between groups (p=0.009). Conclusion: AI chatbots demonstrated variable performance in providing information on hyperbaric oxygen therapy. Advanced models received higher scores, whereas Perplexity received lower scores. Overall readability was moderate. These systems may serve as supportive tools; however, they should be carefully evaluated before clinical use.

Keywords

• Artificial intelligence chatbot
• Hyperbaric oxygen therapy
• Accuracy
• Reliability
• Readability

Supporting Institution

none

Ethical Statement

Ethical approval for this study was obtained from the Atatürk University Non-Interventional Clinical Research Ethics Committee (Meeting No: 11, Decision No: 22, dated December 26, 2025).

Thanks

none

Yapay Zeka Sohbet Robotlarının Hiperbarik Oksijen Tedavisi Hakkındaki Sorulara Verdikleri Yanıtların Değerlendirilmesi

Abstract

Amaç: Bu çalışmanın amacı, yapay zeka sohbet robotlarının hiperbarik oksijen tedavisine ilişkin sorulara verdikleri yanıtların doğruluk, güvenilirlik ve okunabilirlik açısından değerlendirilmesi ve bu sistemlerin tıbbi bilgi kaynağı olarak potansiyelinin belirlenmesidir. Yöntem: HBOT ile ilgili sık aranan 20 açık uçlu soru Google Trends kullanılarak belirlendi ve aynı sorular ChatGPT 5.2, ChatGPT-4.0, ChatGPT-4.1, Copilot, Gemini ve Perplexity’ye yöneltildi. Tüm yanıtlar iki uzman hekim tarafından bağımsız olarak değerlendirildi. Doğruluk ve eksiksizlik Likert ölçekleriyle, güvenilirlik mDISCERN ile, okunabilirlik ise SMOG indeksi ile değerlendirildi. İstatistiksel analizde Kruskal–Wallis, Dunn, Mann–Whitney U ve Fisher’s Exact testleri kullanıldı. Bulgular: Likert Doğruluk ve Eksiksizlik Ölçekleri ile mDISCERN indeksine göre yapay zekâ sohbet robotları arasında istatistiksel olarak anlamlı farklılıklar saptanmıştır (tüm karşılaştırmalar için p<0.0001). Doğruluk açısından ChatGPT 5.2, ChatGPT 4.0, ChatGPT 4.1, Gemini ve Copilot benzer düzeyde daha yüksek puanlar alırken, Perplexity daha düşük performans göstermiştir. Eksiksizlik açısından en yüksek skor Gemini’de gözlenmiş, Perplexity en düşük değerleri almıştır. mDISCERN değerlendirmesinde Perplexity dışındaki modeller benzer düzeyde bulunurken, Perplexity anlamlı derecede daha düşük skor göstermiştir. Okunabilirlik genel olarak orta düzeyde olup gruplar arasında anlamlı farklılık saptanmıştır (p=0.009). Sonuç: Yapay zekâ sohbet robotları, hiperbarik oksijen tedavisine ilişkin bilgi sunumunda farklı performans göstermiştir. Gelişmiş modeller daha yüksek, Perplexity ise daha düşük skorlar almıştır. Okunabilirlik genel olarak orta düzeydedir. Bu sistemler destekleyici araçlar olabilir; ancak klinik kullanım öncesinde dikkatle değerlendirilmelidir.

Keywords

• Yapay zekâ sohbet robotları
• Hiperbarik oksijen tedavisi
• Doğruluk
• Güvenilirlik
• Okunabilirlik

Supporting Institution

yok

Ethical Statement

Bu çalışma için etik onay, Atatürk Üniversitesi Girişimsel Olmayan Klinik Araştırmalar Etik Kurulu'ndan alınmıştır (Toplantı No: 11, Karar No: 22, tarih: 26 Aralık 2025).

References

1. 1. Cordeschi R. AI turns fifty: revisiting its origins. Appl Artif Intell 2007;21(4-5):259-279. doi:10.1080/08839510701252304
2. 2. Iqbal U, et al. Impact of large language model (ChatGPT) in healthcare: an umbrella review and evidence synthesis. J Biomed Sci 2025;32(1):45. doi:10.1186/s12929-025-01131-z
3. 3. Birinci Ş. A digital opportunity for patients to manage their health: Turkey National Personal Health Record System (The e-Nabız). Balkan Med J 2023;40(3):215-221. doi:10.4274/balkanmedj.galenos.2023.2023-2-77
4. 4. Hammarlund C. The physiologic effects of hyperbaric oxygenation. In: Kindwall EP, Whelan HT, editors. Hyperbaric Medicine Practice. 2nd revised ed. USA: Best Publishing Company; 2002. p.37-68.
5. 5. Weaver LK. Hyperbaric oxygen in the critically ill. Crit Care Med 2011;39(7):1784-1791. doi:10.1097/CCM.0b013e31821858d1
6. 6. James PB. Indications for oxygen therapy and the Undersea and Hyperbaric Medical Society. Med Gas Res 2023;13(4):219. doi:10.4103/2045-9912.372064
7. 7. Bennett MH, Mitchell SJ. Emerging indications for hyperbaric oxygen. Curr Opin Anaesthesiol 2019;32(6):792-798. doi:10.1097/ACO.0000000000000773
8. 8. Hatem R, Simmons B, Thornton JE. A call to address AI "hallucinations" and how healthcare professionals can mitigate their risks. Cureus 2023;15(9):e44720. doi:10.7759/cureus.44720

9. 9. Chelli M, et al. Hallucination rates and reference accuracy of ChatGPT and Bard for systematic reviews: comparative analysis. J Med Internet Res 2024;26:e53164. doi:10.2196/53164
10. 10. Charnock D, et al. DISCERN: an instrument for judging the quality of written consumer health information on treatment choices. J Epidemiol Community Health 1999;53(2):105-111. doi:10.1136/jech.53.2.105
11. 11. Guan JL, et al. Videos in short-video sharing platforms as sources of information on colorectal polyps: cross-sectional content analysis study. J Med Internet Res 2024;26:e51655. doi:10.2196/51655
12. 12. McLaughlin GH. SMOG grading: a new readability formula. Journal of Reading 1969;12(8):639–646.
13. 13. McMullan M. Patients using the Internet to obtain health information: how this affects the patient-health professional relationship. Patient Educ Couns 2006;63(1-2):24-28. doi:10.1016/j.pec.2005.10.006
14. 14. Van Riel N, et al. The effect of Dr Google on doctor-patient encounters in primary care: a quantitative, observational, cross-sectional study. BJGP Open 2017;1(2):bjgpopen17X100833. doi:10.3399/bjgpopen17X100833
15. 15. Aksu S, Bakır FA. Yapay zeka sohbet robotlarının ‘diş hekimliğinde flor’ konusu ile ilgili sorulara verdikleri yanıtların değerlendirilmesi. Lokman Hekim Dergisi 2025;15(3):1069-1078. doi:10.31020/mutftd.1746766