Are AI Chatbots Ready for HoLEP Patient Education? A Comparative Evaluation of ChatGPT, Gemini, and Claude

Öz

Objective: To compare the quality, guideline concordance, and readability of HoLEP-related patient education responses generated by ChatGPT, Gemini, and Claude. Materials and Methods: Thirty standardized patient questions on holmium laser enucleation of the prostate (HoLEP) were submitted independently to three conversational AI platforms, generating 90 responses. Response quality was evaluated using the 16-item DISCERN instrument, and clinical accuracy was assessed with question-specific four-item guideline-concordance checklists. Readability was measured using seven validated formulas. Platform differences were analyzed using the Friedman test and Bonferroni-corrected Wilcoxon signed-rank tests. Results: Significant differences were found among platforms for DISCERN scores, checklist performance, and all readability metrics. Claude achieved the highest mean DISCERN and checklist scores, followed by ChatGPT, whereas Gemini scored significantly lower. Claude also produced the most readable responses across all formulas. However, all three platforms exceeded the recommended sixth to eighth-grade reading level for patient education materials. Conclusion: Claude and ChatGPT provided higher-quality and more guideline-concordant HoLEP-related information than Gemini, while Claude showed the best readability. Nevertheless, all platforms remained above recommended patient readability levels and produced only poor-to-moderate DISCERN scores. Conversational AI may support HoLEP patient education, but clinician review, simplification, and guideline-based verification remain necessary.

Anahtar Kelimeler

• artificial intelligence
• ChatGPT
• Claude
• Gemini
• HoLEP
• patient education
• DISCERN
• readability

Yapay Zeka Sohbet Robotları, HoLEP Hasta Eğitimi İçin Hazır mı? ChatGPT, Gemini ve Claude’un Karşılaştırmalı Değerlendirmesi

Öz

Amaç: ChatGPT, Gemini ve Claude tarafından üretilen HoLEP ile ilgili hasta eğitimi yanıtlarının kalitesini, kılavuzlara uygunluğunu ve okunabilirliğini karşılaştırmak. Gereç ve Yöntem: Holmium lazerle prostat enükleasyonu (HoLEP) konusunda 30 standart hasta sorusu, üç farklı diyalog tabanlı yapay zeka platformuna bağımsız olarak iletildi ve bu sorulara 90 yanıt üretildi. Yanıt kalitesi, 16 maddelik DISCERN aracı kullanılarak değerlendirildi ve klinik doğruluk, soruya özgü dört maddelik kılavuz uyum kontrol listeleriyle değerlendirildi. Okunabilirlik, yedi adet geçerliliği kanıtlanmış formül kullanılarak ölçüldü. Platformlar arasındaki farklar, Friedman testi ve Bonferroni düzeltmeli Wilcoxon işaretli sıra testi kullanılarak analiz edildi. Bulgular: DISCERN puanları, kontrol listesi performansı ve tüm okunabilirlik ölçütleri açısından platformlar arasında anlamlı farklılıklar saptandı. Claude, en yüksek ortalama DISCERN ve kontrol listesi puanlarını elde ederken, onu ChatGPT izledi; Gemini ise anlamlı derecede daha düşük puan aldı. Claude ayrıca tüm formüllerde en okunabilir yanıtları üretti. Bununla birlikte, üç platform da hasta eğitim materyalleri için önerilen altıncı ila sekizinci sınıf okuma seviyesini aştı. Sonuç: Claude ve ChatGPT, Gemini’ye kıyasla HoLEP ile ilgili daha yüksek kaliteli ve kılavuzlarla daha uyumlu bilgiler sunarken, Claude en iyi okunabilirlik düzeyini sergiledi. Bununla birlikte, tüm platformlar önerilen hasta okunabilirlik seviyelerinin üzerinde kaldı ve yalnızca zayıf ila orta düzeyde DISCERN puanları elde etti. Sohbet tabanlı yapay zeka, HoLEP konusunda hasta eğitimini destekleyebilir; ancak klinisyenlerin gözden geçirmesi, bilgilerin basitleştirilmesi ve kılavuzlara dayalı doğrulama hâlâ gereklidir.

Anahtar Kelimeler

• yapay zeka
• ChatGPT
• Claude
• Gemini
• HoLEP
• hasta eğitimi
• DISCERN
• okunabilirlik

Kaynakça

1. Matlaga BR, Jansen JP, Meckley LM, Byrne TW, Lingeman JE. Treatment of ureteral and renal stones: a systematic review and meta-analysis of randomized, controlled trials. J Urol. 2012;188(1):130-7. doi:10.1016/j.juro.2012.02.2569.
2. Kazama I, Nakajima T. Postrenal acute kidney injury in a patient with unilateral ureteral obstruction caused by urolithiasis: A case report. Medicine (Baltimore). 2017;96(43):e8381. doi:10.1097/MD.0000000000008381.
3. Demirtaş A, Sahin N, Akınsal EC, Ekmekçioğlu O, Tatlışen A. Primary obstructive megaureter with giant ureteral stone: a case report. Case Rep Urol. 2013;2013:198592. doi:10.1155/2013/198592.
4. Zorzi F, Moretto S, Jannello LMI, Bravo-Balado A, Quarà A, Werth H, et al. Understanding steinstrasse: a systematic review of definitions, clinical management, and emerging perspectives in endourology. World J Urol. 2026;44(1):171. doi:10.1007/s00345-026-06267-7.
5. Van Savage JG, Fried FA. Bilateral spontaneous steinstrasse and nephrocalcinosis associated with distal renal tubular acidosis. J Urol. 1993;150:467-8. doi:10.1016/s0022-5347(17)35516-7.
6. Abdulmajed MI, Anandaram PS, Wyn Jones V, Shergill IS. Massive steinstrasse without lithotripsy: a rare case report. Turk J Urol. 2013;39(1):61-3. doi:10.5152/tud.2013.013.
7. Goyal R, Dubey D, Khurana N, Mandhani A, Ansari MS, Srivastava A, et al. Does the type of steinstrasse predict the outcome of expectant therapy? Indian J Urol. 2006;22(2):135-8. doi:10.4103/0970-1591.26569.
8. Parmar K, Manoharan V, Kumar S, Ranjan RK, Chandna A, Chaudhary K. Large spontaneous steinstrasse: Our experience and management issues in tertiary care centre. Urologia. 2022;89(2):226-230. doi:10.1177/03915603211001174.

9. Tezcan E, Burrell R, Bell DJ, Almpanis S. Spontaneous resolution of a spontaneous steinstrasse: a case report. J Surg Case Rep. 2018(10):rjy252. doi:10.1093/jscr/rjy252.
10. Rathod R, Bansal P, Gutta S. A giant ureteric calculus. Indian J Urol. 2013;29(3):263-4. doi:10.4103/0970-1591.117274.
11. Natami M, Makarem A, Ahmed F, Dastgheib N, Zahraei AH. A giant ureteral stone in a 32-year-old man: a case report. Int Med Case Rep J. 2019;12:43-46. doi:10.2147/IMCRJ.S192592.
12. Sarikaya S, Resorlu B, Ozyuvali E, Bozkurt OF, Oguz U, Unsal A. A giant ureteral stone without underlying anatomic or metabolic abnormalities: A case report. Case Rep Med. 2013:236286. doi:10.1155/2013/236286.
13. Donega Yaméogo CAMK, Kaboré M, Sawadogo H, Kirakoya B, Paré AK, Traoré TM, et al. Spontaneous steinstrasse: A case report and literature review. Urol Case Rep. 2025;64:103268. doi:10.1016/j.eucr.2025.103268.
14. Beliaev AM, Beaven T, Koya MP. Spontaneous passage of a very large ureteral stone. ANZ J Surg. 2016;86(12):1063-1064. doi:10.1111/ans.12805.
15. Skolarikos A, Davis NF, Geraghty R, et al. EAU Guidelines on Urolithiasis. European Association of Urology; 2026.
16. Stenberg A, Jacobsson E, Larsson E, Persson AE. Long-term partial ureteral obstruction and its effects on kidney function. Scand J Urol Nephrol. 1992;26(1):35-41. doi:10.3109/00365599209180394.