Beyond the AUROC: data leakage, random splitting, and neglected calibration in critical care machine learning

Abstract

Machine learning is increasingly proposed for predicting triage acuity, deterioration, and mortality in emergency and critical care, yet reported performance is often optimistic. Systematic reviews show that such models are frequently poorly reported and at high risk of bias. We highlight four recurring problems: data leakage, when preprocessing, feature selection, resampling, or hyperparameter tuning extends beyond the training partition; random splitting of a single dataset, which is neither external validation nor statistically efficient; evaluation confined to discrimination or accuracy, disregarding calibration and clinical utility; and unfair comparison of complex algorithms with simpler models and established clinical scores. We urge editors and reviewers to require adherence to current reporting and risk of bias standards, and to constrain claims of clinical readiness without external and prospective validation.

Keywords

• Machine Learning
• Clinical Decision Rules
• Calibration
• Research Design
• Reproducibility of Results

AUROC’nin Ötesinde: Kritik Bakımda Makine Öğrenmesinde Veri Sızıntısı, Rastgele Veri Bölme ve İhmal Edilen Kalibrasyon

Abstract

Makine öğrenmesi, acil ve kritik bakım ortamlarında triyaj önceliğini, klinik kötüleşmeyi ve mortaliteyi öngörmek amacıyla giderek daha fazla önerilmektedir; ancak bildirilen performans çoğu zaman aşırı iyimserdir. Sistematik derlemeler, bu tür modellerin sıklıkla yetersiz raporlandığını ve yüksek yanlılık riski taşıdığını göstermektedir. Bu yazıda dört tekrarlayan soruna dikkat çekiyoruz: ön işleme, değişken seçimi, yeniden örnekleme veya hiperparametre optimizasyonunun eğitim veri setinin dışına taşmasıyla ortaya çıkan veri sızıntısı; tek bir veri setinin rastgele bölünmesi ki bu yaklaşım ne dış doğrulama niteliğindedir ne de istatistiksel açıdan verimlidir; değerlendirmenin yalnızca ayırt edicilik veya doğrulukla sınırlandırılarak kalibrasyon ve klinik yararın göz ardı edilmesi; ve karmaşık algoritmaların daha basit modeller ve yerleşik klinik skorlarla adil olmayan biçimde karşılaştırılması. Editörleri ve hakemleri, güncel raporlama ve yanlılık riski standartlarına uyumu zorunlu tutmaya ve dış doğrulama ile prospektif değerlendirme yapılmadan klinik kullanıma hazır olunduğuna ilişkin iddiaları sınırlandırmaya davet ediyoruz.

Keywords

• makine öğrenmesi
• klinik karar kuralları
• kalibrasyon
• araştırma dizaynı