Kalp yetmezliği erken teşhisinde çok aşamalı topluluk öğrenmesi yöntemlerinin performans analizi

Abstract

Kalp yetmezliği, küresel ölçekte önde gelen ölüm nedenlerinden biri olup, hastalığın erken evrede doğru teşhis edilmesi hasta sağkalımı açısından hayati önem taşımaktadır. Ancak, klinik veri setlerinde sıklıkla karşılaşılan sınıf dengesizliği (class imbalance) ve gereksiz değişkenlerin varlığı, makine öğrenmesi modellerinin tahmin başarısını, özellikle riskli vakaların tespitinde (duyarlılık) olumsuz etkilemektedir. Bu çalışmada, söz konusu problemleri aşmak ve yüksek performanslı bir klinik karar destek sistemi geliştirmek amacıyla çok aşamalı hibrit bir makine öğrenmesi mimarisi önerilmiştir. Önerilen yöntem; hiperparametre optimizasyonu (Randomized SearchCV), hibrit veri dengeleme (SMOTE + RUS) ve hibrit özellik seçimi (Filter + Wrapper) tekniklerinin entegrasyonuna dayanmaktadır. Çalışma kapsamında, altı farklı tekil algoritma ve yedi farklı topluluk (ensemble) öğrenmesi modelinin performansları, doğruluk, kesinlik, duyarlılık, F1-skoru ve işlem süreleri açısından karşılaştırmalı olarak analiz edilmiştir. Deneysel sonuçlar, hibrit örnekleme stratejisinin uygulanmasıyla modellerin "Ölüm" vakalarını tespit etme yeteneğinde belirgin bir artış sağlandığını göstermiştir. Yapılan kapsamlı değerlendirmeler sonucunda; orijinal veri setindeki özellik seçimi ile LGBM Classifier modeli, beş katlı çapraz doğrulama testlerinde %85.04 ortalama doğruluk ve %74.43 duyarlılık oranı ile en kararlı ve başarılı model olarak belirlenmiştir. Ayrıca modelin 0.44 saniye gibi çok düşük bir işlem süresine sahip olması, gerçek zamanlı klinik uygulamalar için uygunluğunu kanıtlamaktadır. Bu çalışma, hibrit veri işleme tekniklerinin doğru konfigürasyonunun, tıbbi teşhis problemlerinde model güvenilirliğini ve hesaplama verimliliğini önemli ölçüde artırdığını ortaya koymaktadır.

Keywords

• Kalp yetmezliği
• makine öğrenmesi
• hibrit örnekleme (SMOTE+RUS)
• özellik seçimi
• LGBM
• classifier

Performance analysis of multi-stage ensemble learning methods for early detection of heart failure

Abstract

Heart failure is one of the leading causes of mortality worldwide, and accurate diagnosis at an early stage is of vital importance for improving patient survival. However, class imbalance and the presence of irrelevant features, which are frequently encountered in clinical datasets, adversely affect the predictive performance of machine learning models, particularly in identifying high-risk cases in terms of sensitivity. In this study, a multi-stage hybrid machine learning architecture is proposed to address these challenges and to develop a high-performance clinical decision support system. The proposed framework integrates hyperparameter optimization (Randomized SearchCV), hybrid data resampling techniques (SMOTE + RUS), and hybrid feature selection methods (Filter + Wrapper). Within the scope of the study, the performance of six individual algorithms and seven ensemble learning models were comparatively evaluated in terms of accuracy, precision, recall, F1-score, and computational time. Experimental results demonstrate that the application of the hybrid resampling strategy significantly enhances the models’ ability to identify mortality cases. As a result of comprehensive evaluations, the LGBM Classifier model, combined with feature selection applied to the original dataset, was identified as the most stable and effective model, achieving an average accuracy of 85.04% and a sensitivity of 74.43% in five-fold cross-validation tests. Moreover, the model’s remarkably low computational time of 0.44 seconds confirms its suitability for real-time clinical applications. Overall, this study demonstrates that the proper configuration of hybrid data processing techniques can substantially improve model reliability and computational efficiency in medical diagnosis problems.

Keywords

• Heart failure
• machine learning
• hybrid sampling (SMOTE + RUS)
• feature selection
• LGBM
• classifier

References

1. Chicco, D. ve Jurman, G., Machine learning can predict survival of patients with heart failure from serum creatinine and ejection fraction alone, BMC Medical Informatics and Decision Making, 20, Article 16, https://doi.org/10.1186/s12911-020-1023-5, (2020).
2. Rahayu, S., et al., Prediction of survival of heart failure patients using random forest, Jurnal PILAR Nusa Mandiri, 16(2), 255–260, (2020).
3. Salman, O. K. M. ve Aksoy, B., Rasgele orman ve ikili parçacık sürü zekâsı yöntemiyle kalp yetmezliği hastalığındaki ölüm riskinin tahminlenmesi, Uluslararası 3B Yazıcı Teknolojileri ve Dijital Endüstri Dergisi, 6(3), 416–428, (2022).
4. Ishaq, A., et al., Improving the prediction of heart failure patients’ survival using SMOTE and effective data mining techniques, IEEE Access, 9, 39707–39716, https://doi.org/10.1109/ACCESS.2021.3064632, (2021).
5. Gürfidan, R. ve Ersoy, M., Classification of death related to heart failure by machine learning algorithms, Advances in Artificial Intelligence Research, 1(1), 13–18, (2021).
6. Türkmenoğlu, B. K. ve Yıldız, O., Dengesiz veri setlerinde kalp yetmezliği hastalarının sağkalım tespiti, 29th Signal Processing and Communications Applications Conference (SIU), (2021).
7. Bozkurt Keser, S. ve Keskin, K., Kalp yetmezliği hastalarının sağ kalım tahmini: Sınıflandırmaya dayalı makine öğrenmesi algoritmalarının bir uygulaması, Afyon Kocatepe Üniversitesi Fen ve Mühendislik Bilimleri Dergisi, 23, 362–369, (2023).
8. Erdaş, Ç. B. ve Ölçer, D., A machine learning-based approach to detect survival of heart failure patients, Medical Technologies Congress (TIPTEKNO), (2020).

9. Aktaş Potur, E. ve Erginel, N., Kalp yetmezliği hastalarının sağ kalımlarının sınıflandırma algoritmaları ile tahmin edilmesi, Avrupa Bilim ve Teknoloji Dergisi, 24, 112–118, (2021).
10. Şenyer Yapıcı, İ., Uzun Arslan, R. ve Erkaymaz, O., Kalp yetmezliği tanılı hastaların hayatta kalma tahmininde topluluk makine öğrenme yöntemlerinin performans analizi, Karaelmas Fen ve Mühendislik Dergisi, 14(1), 59–69, (2024).
11. Angraal, S., Mortazavi, B. J., Gupta, A., et al., Machine learning prediction of mortality and hospitalization in heart failure with preserved ejection fraction, JACC: Heart Failure, 8(1), 12–21, https://doi.org/10.1016/j.jchf.2019.06.013, (2020).
12. Adler, A., Agmon, Y., Ziv, A., et al., Improving risk prediction in heart failure using machine learning, European Journal of Heart Failure, 22, 139–147, https://doi.org/10.1002/ejhf.1642, (2019).
13. Mortazavi, B. J., Downing, N. S., Bucholz, E. M., et al., Analysis of machine learning techniques for heart failure readmissions, Circulation: Cardiovascular Quality and Outcomes, 9, 629–640, https://doi.org/10.1161/CIRCOUTCOMES.116.003039, (2016).
14. Gligorijevic, D., Stojanovic, J., Djuric, N., et al., Deep attention model for triage of patients with heart failure, Proceedings of the 2019 SIAM International Conference on Data Mining, 1–9, https://doi.org/10.1137/1.9781611975673.1, (2019).
15. König, S., Hohenstein, S., et al., Machine learning algorithms for claims data-based prediction of in-hospital mortality in patients with heart failure, ESC Heart Failure, 8, 1–10, https://doi.org/10.1002/ehf2.13418, (2021).
16. Panahiazar, M., Taslimitehrani, V., Pereira, N. ve Pathak, J., Using EHRs and machine learning for heart failure survival analysis, Studies in Health Technology and Informatics, 216, 40–44, (2015).
17. Masetic, Z. ve Subasi, A., Congestive heart failure detection using random forest classifier, Computer Methods and Programs in Biomedicine, 130, 54–64, https://doi.org/10.1016/j.cmpb.2016.03.020, (2016).
18. Bharti, R., Khamparia, A., Shabaz, M., et al., Prediction of heart disease using a combination of machine learning and deep learning, Computational Intelligence and Neuroscience, Article 8387680, https://doi.org/10.1155/2021/8387680, (2021).
19. Gao, J., Zhang, Y., et al., Machine learning-based prediction of heart failure readmission, Health Information Science and Systems, 11(1), 1–12, https://doi.org/10.1007/s13755-023-00219-3, (2023).
20. Li, F., Xin, H., Zhang, J., et al., Prediction model of in-hospital mortality in intensive care unit patients with heart failure, BMJ Open, 11(7), e044779, https://doi.org/10.1136/bmjopen-2020-044779, (2021).
21. Heart Failure Clinical Records [Data set], UCI Machine Learning Repository, https://doi.org/10.24432/C5Z89R, (2020).
22. Hosmer, D. W., Lemeshow, S. ve Sturdivant, R. X., Applied Logistic Regression (3rd ed.), John Wiley & Sons, (2013).
23. Breiman, L., Random forests, Machine Learning, 45(1), 5–32, https://doi.org/10.1023/A:1010933404324, (2001).
24. Pedregosa, F., Varoquaux, G., Gramfort, A., et al., Scikit-learn: Machine learning in Python, Journal of Machine Learning Research, 12, 2825–2830, (2011).
25. Chen, T. ve Guestrin, C., XGBoost: A scalable tree boosting system, Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 785–794, https://doi.org/10.1145/2939672.2939785, (2016).
26. Ke, G., Meng, Q., Finley, T., et al., LightGBM: A highly efficient gradient boosting decision tree, Advances in Neural Information Processing Systems, 30, 3146–3154, (2017).
27. Prokhorenkova, L., Gusev, G., Vorobev, A., et al., CatBoost: Unbiased boosting with categorical features, Advances in Neural Information Processing Systems, 31, (2018).
28. Polikar, R., Ensemble based systems in decision making, IEEE Circuits and Systems Magazine, 6(3), 21–45, https://doi.org/10.1109/MCAS.2006.1688199, (2006).
29. Freund, Y. ve Schapire, R. E., A decision-theoretic generalization of on-line learning and an application to boosting, Journal of Computer and System Sciences, 55(1), 119–139, https://doi.org/10.1006/jcss.1997.1504, (1997).
30. Breiman, L., Bagging predictors, Machine Learning, 24(2), 123–140, https://doi.org/10.1007/BF00058655, (1996).
31. Bergstra, J. ve Bengio, Y., Random search for hyper-parameter optimization, Journal of Machine Learning Research, 13(2), 281–305, (2012).
32. Chawla, N. V., Bowyer, K. W., Hall, L. O. ve Kegelmeyer, W. P., SMOTE: Synthetic minority over-sampling technique, Journal of Artificial Intelligence Research, 16, 321–357, https://doi.org/10.1613/jair.953, (2002).
33. Lemaître, G., Nogueira, F. ve Aridas, C. K., Imbalanced-learn: A Python toolbox to tackle the curse of imbalanced datasets, Journal of Machine Learning Research, 18(17), 1–5, (2017).
34. Kohavi, R. ve John, G. H., Wrappers for feature subset selection, Artificial Intelligence, 97(1–2), 273–324, https://doi.org/10.1016/S0004-3702(97)00043-X, (1997).