Clinical Applicability of Machine Learning Models for Neonatal Bilirubin Prediction

Abstract

Dear Editor, We read with great interest the article entitled “Prediction of Total Bilirubin Levels in Newborns Using Machine Learning”. Machine learning -based approaches for the early identification of neonatal hyperbilirubinemia represent an important and evolving field within clinical decision support systems. In the study, multiple ML algorithms were compared, and the Gradient Boosting model demonstrated the highest accuracy and AUC values in the test dataset . However, the dataset exhibited a marked class imbalance (<12.5 mg/dL: 658; ≥12.5 mg/dL: 40) . It is well established that, in imbalanced datasets, accuracy may overestimate model performance due to majority-class bias (1,2). Indeed, the study reports error rates of 85–100% in the high-risk (≥12.5 mg/dL) group . Given that the primary clinical concern in neonatal hyperbilirubinemia is the timely identification of high-risk infants, model performance within this subgroup warrants particular attention. In clinical prediction modeling, evaluation metrics should extend beyond accuracy and AUC to include sensitivity, positive predictive value, and decision curve analysis, which better reflect clinical utility (3). Missing high-risk cases may have serious neurological consequences, including bilirubin-induced neurotoxicity (5). Although the use of a single bilirubin cut-off value is practical, neonatal bilirubin assessment is typically performed using hour-specific nomograms and gestational age–adjusted risk stratification (4,7,8). Incorporating these dynamic clinical parameters into future machine learning models may enhance predictive accuracy and clinical applicability. Furthermore, the single-center design and absence of external validation limit the generalizability of the findings. Validation using independent multicenter datasets would be essential before clinical implementation. In conclusion, the study provides a valuable contribution to the application of machine learning in neonatal hyperbilirubinemia prediction. Nevertheless, improving model performance in high-risk infants, employing clinically meaningful evaluation metrics, and conducting external validation studies appear essential for translation into routine clinical practice. Sincerely.

Keywords

• Neonatal hyperbilirubinemia
• Clinical decision support systems
• Machine learning

Yenidoğanlarda Total Bilirubin Tahmininde Makine Öğrenmesi Modellerinin Klinik Uygulanabilirliği Üzerine

Abstract

Sayın Editör, Derginizde yayımlanan “Yenidoğanlarda Total Bilirubinin Makine Öğrenmesiyle Tahmin Edilmesi” başlıklı çalışmayı ilgiyle okuduk. Yenidoğan hiperbilirubinemisinin erken tanısına yönelik makine öğrenmesi temelli yaklaşımlar, klinik karar destek sistemleri açısından güncel ve önem taşıyan bir araştırma alanıdır. Çalışmada Gradient Boosting modelinin test veri setinde yüksek doğruluk ve AUC değerleri sergilediği bildirilmiştir. Bununla birlikte veri setindeki sınıf dağılımının belirgin şekilde dengesiz olduğu (<12,5 mg/dL: 658; ≥12,5 mg/dL: 40) görülmektedir. Dengesiz veri setlerinde doğruluk ölçütünün çoğunluk sınıf lehine yanlı sonuçlar üretebileceği ve model performansını olduğundan yüksek gösterebileceği literatürde iyi bilinmektedir (1,2). Nitekim çalışmada yüksek riskli grupta hata oranlarının %85–100 düzeyine ulaştığı belirtilmiştir. Klinik bağlamda esas kritik olan grubun yüksek riskli yenidoğanlar olduğu düşünüldüğünde, model performansının bu alt grup özelinde değerlendirilmesi önem arz etmektedir. Klinik öngörü modellerinin değerlendirilmesinde yalnızca doğruluk ve AUC gibi ölçütlerin yeterli olmadığı; duyarlılık, pozitif prediktif değer ve karar eğrisi analizi gibi klinik sonuç odaklı metriklerin de dikkate alınması gerektiği vurgulanmaktadır (3). Özellikle hiperbilirubinemide yüksek riskli hastaların erken tanınması, nörotoksisite ve uzun dönem komplikasyonların önlenmesi açısından kritik öneme sahiptir (5). Ayrıca total bilirubin için tek bir eşik değer kullanılması pratik bir yaklaşım olmakla birlikte, yenidoğanlarda bilirubin değerlendirmesinin saat-spesifik nomogramlar ve gestasyonel yaşa dayalı risk sınıflamalarıyla birlikte ele alındığı bilinmektedir (4,7,8). Gelecekteki modellerde bu dinamik risk faktörlerinin daha ayrıntılı entegrasyonu, öngörü performansını ve klinik uyarlanabilirliği artırabilir. Çalışmanın tek merkezli olması ve harici doğrulama içermemesi de genellenebilirlik açısından önemli bir kısıt olarak değerlendirilebilir. Bağımsız veri setleriyle yapılacak dış validasyon çalışmaları, modelin gerçek klinik koşullardaki güvenilirliğini ortaya koyacaktır. Sonuç olarak çalışma, yenidoğan hiperbilirubinemisinin öngörülmesine yönelik makine öğrenmesi uygulamalarına değerli bir katkı sunmaktadır. Bununla birlikte özellikle yüksek riskli vakaların doğru sınıflandırılması, performans metriklerinin klinik bağlamda yorumlanması ve çok merkezli doğrulama çalışmalarının yapılması, bu alandaki araştırmaların klinik pratiğe aktarılabilmesi açısından önemli görünmektedir. Saygılarımızla.

Keywords

• Yenidoğan hiperbilirubinemisi
• Klinik karar destek sistemi
• Makine öğrenmesi

References

1. 1. He H, Garcia EA. Learning from imbalanced data. IEEE Trans Knowl Data Eng. 2009;21(9):1263-1284. doi:10.1109/TKDE.2008.239
2. 2. Saito T, Rehmsmeier M. The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. PLoS One. 2015;10(3):e0118432. doi:10.1371/journal.pone.0118432
3. 3. Vickers AJ, Elkin EB. Decision curve analysis: a novel method for evaluating prediction models. Med Decis Making. 2006;26(6):565-574. doi:10.1177/0272989X06295361
4. 4. Bhutani VK, Vilms RJ, Hamerman-Johnson L. Universal bilirubin screening for severe neonatal hyperbilirubinaemia. J Perinatol. 2010;30(Suppl):S6-S15. doi:10.1038/jp.2010.98
5. 5. Stevenson DK, Vreman HJ, Wong RJ. Bilirubin production and the risk of bilirubin neurotoxicity. Semin Perinatol. 2011;35(3):121-126. doi:10.1053/j.semperi.2011.02.005
6. 6. Carbonell X, Botet F, Figueras J, Riu-Godó A. Prediction of hyperbilirubinaemia in the healthy term newborn. Acta Paediatr. 2001;90(2):166-170. doi:10.1080/080352501300049343
7. 7. Newman TB, Liljestrand P, Escobar GJ. Combining clinical risk factors with serum bilirubin levels to predict hyperbilirubinemia in newborns. Arch Pediatr Adolesc Med. 2005;159(2):113-119. doi:10.1001/archpedi.159.2.113
8. 8. Kuzniewicz MW, Escobar GJ, Wi S, Newman TB. Risk factors for severe hyperbilirubinemia among infants with borderline bilirubin levels: a nested case-control study. J Pediatr. 2008;153(2):234-240. doi:10.1016/j.jpeds.2008.01.028