Guideline concordance of large language models for ERAS colorectal surgery recommendations: a blinded, clinician-rated comparison of Google Gemini and ChatGPT

Öz

Background: Large language models (LLMs) are increasingly used by clinicians and trainees for perioperative decision support, yet their alignment with Enhanced Recovery After Surgery (ERAS) recommendations remains uncertain. Methods: We converted the 2025 ERAS Society recommendations for elective colorectal surgery into a 52‑question bank (preoperative (n=28), intraoperative (n=10), and postoperative (n=14). Each question was asked once, in a new chat, to Google Gemini and OpenAI ChatGPT (web interfaces; no follow‑up prompts or regeneration; queries performed on 17 Feb 2026). Responses were blinded as A/B and independently scored by two clinicians (an anesthesiologist and a general surgeon) for (i) guideline concordance on a 5‑point Likert scale and (ii) safety risk (0=none, 1=potential harm, 2=critical harm). Primary analysis used paired Wilcoxon signed‑rank tests (Likert) and exact McNemar tests (any safety flag ≥1). Inter‑rater agreement was estimated with quadratic weighted kappa (QWK). Results: A total of 208 ratings were generated (52 questions × 2 models × 2 raters). Mean Likert concordance was 4.49±0.62 for Gemini and 4.44±0.65 for ChatGPT (paired Wilcoxon p=0.604). Any safety flag occurred in 20.2% (Gemini) and 15.4% (ChatGPT) of ratings (McNemar p=0.383); no responses were rated as critical harm. Inter‑rater agreement was lower for Gemini (QWK=0.225) than for ChatGPT (QWK=0.597). Conclusions: Both LLMs showed high overall concordance with ERAS colorectal recommendations, with no significant overall difference in scores. However, safety‑relevant deviations were not rare, and rater agreement varied by model, highlighting the need for clinician oversight and standardized evaluation frameworks before bedside use. Keywords: ERAS; colorectal surgery; large language model; ChatGPT; Gemini;

Anahtar Kelimeler

• eras
• colorectal surgery
• artificial intelligence
• comparison gemini chatgpt

ERAS kolorektal cerrahi önerilerine uyum açısından büyük dil modellerinin değerlendirilmesi: Google Gemini ve ChatGPT’nin körlenmiş klinisyen puanlamasıyla karşılaştırılması

Öz

Amaç: Büyük dil modelleri (LLM’ler), perioperatif karar desteği amacıyla klinisyenler ve asistan/hekim adayları tarafından giderek daha sık kullanılmaktadır; ancak Bu modellerin Enhanced Recovery After Surgery (ERAS) önerileriyle uyumu belirsizliğini korumaktadır. Yöntem: Elektif kolorektal cerrahi için 2025 ERAS Society önerileri, 52 soruluk bir soru bankasına dönüştürüldü (preoperatif n=28, intraoperatif n=10, postoperatif n=14). Her soru, yeni bir sohbet oturumunda, Google Gemini ve OpenAI ChatGPT’ye (web arayüzleri; takip sorusu yok; yeniden üretim/regenerasyon yok) yalnızca bir kez soruldu; sorgular 17 Şubat 2026 tarihinde gerçekleştirildi. Yanıtlar A/B şeklinde körlenerek iki klinisyen (bir anesteziyolog ve bir genel cerrah) tarafından bağımsız biçimde değerlendirildi: (i) kılavuzla uyum 5’li Likert ölçeğinde, (ii) güvenlik riski (0=hiç, 1=potansiyel zarar, 2=kritik zarar). Birincil analizde Likert puanları için eşleştirilmiş Wilcoxon işaretli sıralar testi, herhangi bir güvenlik işaretlemesi (≥1) için ise kesin (exact) McNemar testi kullanıldı. Değerlendiriciler arası uyum, kuadratik ağırlıklı kappa (QWK) ile hesaplandı. Bulgular: Toplam 208 değerlendirme elde edildi (52 soru × 2 model × 2 değerlendirici). Ortalama Likert uyum puanı Gemini için 4,49±0,62; ChatGPT için 4,44±0,65 idi (eşleştirilmiş Wilcoxon p=0,604). Herhangi bir güvenlik işaretlemesi oranı değerlendirmelerin %20,2’sinde (Gemini) ve %15,4’ünde (ChatGPT) saptandı (McNemar p=0,383); hiçbir yanıt “kritik zarar” olarak değerlendirilmedi. Değerlendiriciler arası uyum Gemini’de daha düşük (QWK=0,225), ChatGPT’de ise daha yüksekti (QWK=0,597). Sonuç: Her iki LLM, ERAS kolorektal cerrahi önerileriyle genel olarak yüksek düzeyde uyum göstermiş ve toplam puanlar açısından anlamlı bir fark saptanmamıştır. Bununla birlikte, güvenlik açısından önem taşıyan sapmalar nadir değildir ve değerlendirici uyumu modele göre değişkenlik göstermektedir. Bu bulgular, yatak başı kullanımdan önce klinisyen gözetiminin ve standartlaştırılmış değerlendirme çerçevelerinin gerekliliğine işaret etmektedir. Anahtar kelimeler: ERAS; kolorektal cerrahi; büyük dil modeli; ChatGPT; Gemini.

Anahtar Kelimeler

• eras
• kolorektal cerrahi
• yapay zeka
• chatgpt ve gemini karşılaştırma

Kaynakça

1. Gustafsson UO, Rockall TA, Wexner S, et al. Guidelines for perioperative care in elective colorectal surgery: Enhanced Recovery After Surgery (ERAS) Society recommendations 2025. Surgery. 2025;184:109397. doi:10.1016/j.surg.2025.109397.
2. Gustafsson UO, et al. Guidelines for perioperative care in elective colorectal surgery: Enhanced Recovery After Surgery (ERAS®) Society recommendations: 2018. World J Surg. 2019;43(3):659-695. doi:10.1007/s00268-018-4844-y.
3. Hager P, et al. Evaluation and mitigation of the limitations of large language models in clinical decision-making. Nat Med. 2024;30(9):2613-2622. doi:10.1038/s41591-024-03097-1.
4. Gallifant J, et al. The TRIPOD-LLM reporting guideline for studies using large language models. Nat Med. 2025;31(1):60-69. doi:10.1038/s41591-024-03425-5.
5. Collins GS, et al. TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods. BMJ. 2024;385:e078378. doi:10.1136/bmj-2023-078378.
6. Palenzuela DL, Mullen JT, Phitayakorn R. AI Versus MD: Evaluating the surgical decision-making accuracy of ChatGPT-4. Surgery. 2024;176(2):241-245. doi:10.1016/j.surg.2024.04.003.
7. Chatziisaak D, et al. Concordance of ChatGPT artificial intelligence decision-making in colorectal cancer multidisciplinary meetings: retrospective study. BJS Open. 2025;9(3):zraf040. doi:10.1093/bjsopen/zraf040.
8. Cohen J. Weighted kappa: nominal scale agreement with provision for scaled disagreement or partial credit. Psychol Bull. 1968;70(4):213-220. doi:10.1037/h0026256.

9. Schwarzkopf SC, Bereuter JP, Geissler ME, et al. Postoperative complication management: How do large language models measure up to human expertise? PLOS Digit Health. 2025;4(8):e0000933. doi:10.1371/journal.pdig.0000933.
10. Kwon DY, et al. Adherence of a Large Language Model to Clinical Guidelines for Craniofacial Plastic and Reconstructive Surgeries. Ann Plast Surg. 2024;92(3):261-262. doi:10.1097/SAP.0000000000003757.