The Effect of Class-Imbalance Correction Strategies on Discrimination and Calibration in Electronic Health Records: A Comparative Simulation Study of Regularized Logistic Regression and Gradient Boosting

Öz

Outcome events in EHR-based clinical risk prediction are often rare, causing class imbalance; resampling and cost-sensitive corrections have understudied effects on calibration and net benefit. This study compared regularized logistic regression (LR) and gradient boosting (GB) under four correction strategies, and evaluated the corrective effect of recalibration. A synthetic dataset (n=4000; event rate 12%, resembling acute kidney injury) with 15 correlated predictors was generated (Monte Carlo design, 200 replications). LR and GB (XGBoost) were evaluated under no balancing, SMOTE, class weighting, and undersampling via 5-fold nested cross-validation. AUROC, AUPRC, Brier score, calibration slope/intercept, and Integrated Calibration Index (ICI) were computed; clinical utility was assessed by decision curve analysis. The highest discrimination was achieved by unbalanced LR (AUROC 0.706; AUPRC 0.273). Balancing did not improve LR discrimination and worsened GB’s (SMOTE: AUROC 0.681 to 0.632); the LR–GB difference favored LR throughout. Unbalanced models were well calibrated (intercept ≈0.00, slope 1.024, ICI 0.007); balancing severely distorted calibration (intercept ≈−2.0; ICI 0.32–0.34). Unbalanced LR gave the highest net benefit across all thresholds; SMOTE-applied GB the lowest. Intercept recalibration largely reversed the prevalence-driven harm (Brier 0.215→0.099) but did not repair GB’s ranking damage. Balancing did not improve discrimination and impaired calibration and net benefit (the “balancing paradox”). Relying solely on AUROC is misleading; calibration and net benefit must always be reported, and balancing must be followed by recalibration. Regularized LR without balancing was a robust default choice.

Anahtar Kelimeler

• Class imbalance
• calibration
• logistic regression
• gradient boosting
• decision curve analysis
• clinical prediction model

Destekleyen Kurum

No institution or organization supported this study.

Etik Beyan

This study was conducted entirely on synthetic (simulated) data generated by a known data-generating mechanism; no real patient data, biological specimens obtained from real patients, or human/animal subjects were used. Therefore, Ethics Committee application and approval were not required for this study.

Teşekkür

There is no additional contribution or support to acknowledge in this study.

Elektronik Sağlık Kayıtlarında Dengesiz Sınıf Probleminde Dengeleme Stratejilerinin Ayrım ve Kalibrasyon Üzerine Etkisi: Regülarize Lojistik Regresyon ile Gradient Boosting’in Karşılaştırmalı Bir Simülasyon Çalışması

Öz

Elektronik sağlık kayıtlarına (ESK) dayalı klinik risk tahmininde sonuç olayları çoğunlukla nadirdir ve sınıf dengesizliği oluşur. Yaygın kullanılan yeniden örnekleme ve maliyet-duyarlı yöntemlerin kalibrasyon ve klinik net fayda üzerindeki etkisi yeterince incelenmemiştir. Bu çalışmada regülarize lojistik regresyon (LR) ile gradient boosting (GB), dört dengeleme stratejisi altında karşılaştırılmış; ayrıca yeniden kalibrasyonun düzeltici etkisi değerlendirilmiştir. Akut böbrek hasarına benzer, olay oranı %12 olan bir sonuç için 15 öngörücülü sentetik veri (n=4000; 200 replikasyonlu Monte Carlo tasarımı) üretildi. LR ve GB (XGBoost); dengeleme yok, SMOTE, sınıf ağırlıklandırma ve azaltarak örnekleme stratejileriyle 5-katmanlı iç içe çapraz doğrulamayla değerlendirildi. AUROC, AUPRC, Brier skoru, kalibrasyon eğimi/kesişimi ve Entegre Kalibrasyon İndeksi (ICI) hesaplandı; klinik fayda karar eğrisi analiziyle değerlendirildi. En yüksek ayrımı dengelemesiz LR sağladı (AUROC 0,706; AUPRC 0,273). Dengeleme LR ayrımını artırmadı, GB ayrımını kötüleştirdi (SMOTE: AUROC 0,681’den 0,632’ye); LR–GB farkı tüm stratejilerde LR lehineydi. Dengelemesiz modeller iyi kalibre idi (kesişim ≈0,00, eğim 1,024, ICI 0,007); dengeleme kalibrasyonu ciddi biçimde bozdu (kesişim ≈ −2,0; ICI 0,32–0,34). Dengelemesiz LR tüm eşiklerde en yüksek net faydayı sağladı; SMOTE uygulanmış GB en düşük faydayı verdi. Yeniden kalibrasyon, prevalans kaynaklı zararı büyük ölçüde geri döndürdü (Brier 0,215→0,099); ancak GB’nin sıralama hasarını gideremedi. ESK temelli dengesiz sınıf probleminde dengeleme, ayrımı iyileştirmemiş, kalibrasyonu ve net faydayı bozmuştur (“dengeleme paradoksu”). Yalnızca AUROC’a güvenmek yanıltıcıdır; kalibrasyon ve net fayda mutlaka raporlanmalı, dengeleme kullanılacaksa yeniden kalibrasyon izlemelidir. Regülarize LR, dengeleme uygulanmadan, hem kalibrasyon hem klinik fayda açısından güçlü bir varsayılan seçenek olmuştur.

Anahtar Kelimeler

• Sınıf dengesizliği
• kalibrasyon
• lojistik regresyon
• gradient boosting
• karar eğrisi analizi
• klinik tahmin modeli

Destekleyen Kurum

Bu çalışmayı destekleyen bir kurum veya kuruluş bulunmamaktadır.

Etik Beyan

Bu çalışma tamamen bilinen bir üretim mekanizmasına sahip sentetik (simüle edilmiş) veriler üzerinde yürütülmüştür; gerçek hasta verisi, gerçek hastalardan elde edilmiş biyolojik örnek veya insan/hayvan denek kullanılmamıştır. Bu nedenle çalışma için Etik Kurul başvurusu ve onayı gerekmemektedir.

Teşekkür

Bu çalışmada teşekkür edilecek ek bir katkı veya destek bulunmamaktadır.

Kaynakça

1. 1. Steyerberg EW, Vickers AJ, Cook NR, et al. Assessing the performance of prediction models: a framework for traditional and novel measures. Epidemiology. 2010;21(1):128-138.
2. 2. Van Calster B, McLernon DJ, van Smeden M, Wynants L, Steyerberg EW. Calibration: the Achilles heel of predictive analytics. BMC Med. 2019;17(1):230.
3. 3. He H, Garcia EA. Learning from imbalanced data. IEEE Trans Knowl Data Eng. 2009;21(9):1263-1284.
4. 4. Chawla NV, Bowyer KW, Hall LO, Kegelmeyer WP. SMOTE: Synthetic Minority Over-sampling Technique. J Artif Intell Res. 2002;16:321-357.
5. 5. Wynants L, Van Calster B, Collins GS, et al. Prediction models for diagnosis and prognosis of covid-19: systematic review and critical appraisal. BMJ. 2020;369:m1328.
6. 6. van den Goorbergh R, van Smeden M, Timmerman D, Van Calster B. The harm of class imbalance corrections for risk prediction models: illustration and simulation using logistic regression. J Am Med Inform Assoc. 2022;29(9):1525-1534.
7. 7. R Core Team. R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, Vienna, Austria; 2025.
8. 8. Friedman J, Hastie T, Tibshirani R. Regularization paths for generalized linear models via coordinate descent. J Stat Softw. 2010;33(1):1-22.

9. 9. Chen T, Guestrin C. XGBoost: a scalable tree boosting system. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016:785-794.
10. 10. Saito T, Rehmsmeier M. The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. PLoS One. 2015;10(3):e0118432.
11. 11. Austin PC, Steyerberg EW. The Integrated Calibration Index (ICI) and related metrics for quantifying the calibration of logistic regression models. Stat Med. 2019;38(21):4051-4065.
12. 12. Vickers AJ, Elkin EB. Decision curve analysis: a novel method for evaluating prediction models. Med Decis Making. 2006;26(6):565-574.
13. 13. Riley RD, Ensor J, Snell KIE, et al. Calculating the sample size required for developing a clinical prediction model. BMJ. 2020;368:m441.
14. 14. DeLong ER, DeLong DM, Clarke-Pearson DL. Comparing the areas under two or more correlated receiver operating characteristic curves: a nonparametric approach. Biometrics. 1988;44(3):837-845.
15. 15. Collins GS, Reitsma JB, Altman DG, Moons KGM. Transparent reporting of a multivariable prediction model for individual prognosis or diagnosis (TRIPOD): the TRIPOD statement. Ann Intern Med. 2015;162(1):55-63.
16. 16. Collins GS, Moons KGM, Dhiman P, et al. TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods. BMJ. 2024;385:e078378.