Performance analysis of ensemble machine learning methods for predicting survival of patients with heart failure

Yıl 2024, Cilt: 14 Sayı: 1, 59 - 69, 29.04.2024

İrem Şenyer Yapıcı , Rukiye Uzun Arslan , Okan Erkaymaz

Öz

Heart failure is a cardiovascular disease with significant morbidity and mortality, affecting an increasing number of people worldwide. It is very difficult to predict the survival of patients diagnosed with heart failure using clinical data. In this study, an intelligent machine learning (ML)-based artificial intelligence model is designed by identifying important features and an effective ML algorithm that will improve the accuracy of survival prediction of patients diagnosed with heart failure. For this purpose, the performance of seven different ML algorithms were compared regarding the extracted features from the dataset. Synthetic minority oversampling technique (SMOTE) and two different cross-validation techniques were used to remove the imbalance in the dataset and to obtain models with more realistic accuracy. Experimental results showed that SMOTE technique significantly improve the performance of classifiers in predicting the survival rate of patients diagnosed with heart failure. In the one-out cross-validation technique, the random forest algorithm achieved 90% accuracy, while in the 10-fold cross-validation technique, the extreme gradient boosting algorithm achieved the highest performance with 93% accuracy. When the results obtained are compared with the studies conducted in the literature used similar data sets, it is found that the proposed method exhibits higher performance. The proposed method has the potential to both improve the healthcare system and be an effective method for healthcare providers in predicting the survival of patients diagnosed with heart failure. In addition, it will guide specialist physicians in planning the treatment process of patients diagnosed with heart failure.

Anahtar Kelimeler

Heart failure, machine learning, feature selection, SMOTE

Kalp Yetmezliği Tanılı Hastaların Hayatta Kalma Tahmininde Topluluk Makine Öğrenme Yöntemlerinin Performans Analizi

Öz

Kalp yetmezliği önemli morbidite ve mortaliteye sahip bir kardiyovasküler hastalık olup, dünya çapında giderek daha fazla insanı etkilemektedir. Klinik verilerle kalp yetmezliği tanılı hastaların sağ kalımlarını tahmin etmek oldukça zordur. Bu çalışmada, kalp yetmezliği tanılı hastaların hayatta kalma tahmininin doğruluğunu artıracak önemli özellikler ve etkili makine öğrenme (MÖ) algoritması tespit edilerek, etkili ve verimli bir MÖ temelli bir yapay zeka modeli tasarlanmaya çalışılmıştır. Bunun için yedi farklı MÖ algoritmasının performansları veri setinden çıkarılan belirleyici özelliklere dayanarak karşılaştırılmıştır. Veri setindeki dengesizliği gidermek ve daha gerçekçi doğruluk değerine sahip modeller elde etmek için amacıyla sentetik azınlık aşırı örnekleme tekniği (SMOTE) ile iki farklı çapraz doğrulama tekniğinden yararlanılmıştır. Yapılan benzetim çalışmaları sonucunda SMOTE tekniğinin kalp yetmezliği tanılı hastaların hayatta kalma oranını tahmininde sınıflandırıcıların performanslarını önemli ölçüde arttırdığı tespit edilmiştir. Birisi dışarıda çapraz doğrulama tekniğinde rastgele orman algoritmasıyla %90’lık bir başarım elde edilirken, 10 kat çapraz doğrulama tekniğinde ekstrem gradyan arttırma algoritmasıyla %93 doğruluk değeriyle en yüksek başarım değerine ulaşılmıştır. Elde edilen sonuçlar literatürde benzer veri seti kullanılarak yapılan çalışmalarla kıyaslandığında önerilen yöntemin daha yüksek performans sergilediği tespit edilmiştir. Önerilen yöntem hem sağlık sistemini iyileştirme hem de sağlık hizmeti sağlayıcıları için kalp yetmezliği tanılı hastaların hayatta kalmasını tahmininde etkili bir yöntem olma potansiyeli bulunmaktadır. Bununla birlikte uzman hekimlere kalp yetmezliği tanılı hastaların tedavi sürecinin planlanmasında yol gösterici olacaktır.

Anahtar Kelimeler

Kalp yetmezliği, makine öğrenmesi, özellik seçimi, SMOTE

Kaynakça

• Ahmad, T., Munir, A., Bhatti, SH., Aftab, M., … Raza, MA. 2017. Survival analysis of heart failure patients: A case study. PloS one, 12(7): e0181001. Doi: 10.1371/journal.pone.0181001.
• Ali, L., Khan, S. U., Golilarz, N. A., Yakubu, I., Qasim, I., Noor, A., Nour, R. 2019. A feature-driven decision support system for heart failure prediction based on χ^2statistical model and Gaussian Naive Bayes. Computational and Mathematical Methods in Medicine, 2019: 6314328-8. Doi: 10.1155/2019/6314328.
• Atasoy, D., Kara, H. 2023. Karar ağacı optimizasyon algoritması üzerine bir çalışma. Iğdır Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 13(2): 1247-1255. Doi: 10.21597/jist.1214796.
• Azam, MS., Rahman, A., Iqbal, SHS., Ahmed, MT. (2020). Prediction of liver diseases by using few machine learning based approaches. Aust. J. Eng. Innov. Technol, 2(5): 85-90.
• Bektaş, B., Babur, S. 2016. Makine öğrenmesi teknikleri kullanılarak meme kanseri teşhisinin performans değerlendirmesi, TıpTekno"16 Tıp Teknolojileri Kongresi, s.1-4, Türkiye.
• Beltozar-Clemente, S., Diaz-Vega, E., Ramos, IC., Navarrete, RT. 2024. Improving accuracy: Comparative analysis of machine learning models for prostate cancer prediction. International Journal of Intelligent Systems and Applications in Engineering, 12(2): 654-664.
• Bentéjac, C., Csörgő, A., Martínez-Muñoz, G. 2021. A comparative analysis of gradient boosting algorithms. Artif. Intell. Rev., 54:1937-1967. Doi: 10.1007/s10462-020-09896-5.
• Blagus, R., Lusa, L. 2015. Joint use of over-and under-sampling techniques and cross-validation for the development and assessment of prediction models. BMC bioinformatics, 16(1): 1-10. Doi: 10.1186/s12859-015-0784-9.
• Cesur, E., Cemal, E. 2023. Kampüs içi kapali alanlarda hava kalitesinin modellenmesi ve karar destek sistemi geliştirilmesi. Zeki Sistemler Teori ve Uygulamaları Dergisi, 6(2): 181-190. Doi: 10.38016/jista.1222483.
• Charbuty, B., Abdulazeez, A. 2021. Classification based on decision tree algorithm for machine learning. Journal of Applied Science and Technology Trends, 2(01): 20-28. Doi: 10.38094/jastt20165.
• Chawla, NV. 2010. Data mining for imbalanced datasets: An overview. In: Maimon, O., Rokach, L. (eds). Data mining and knowledge discovery handbook, Springer, Boston, MA pp. 853-867.
• Chiarugi, F., Colantonio, S., Emmanouilidou, D., Moroni, D., Salvetti, O. 2008. Biomedical signal and image processing for decision support in heart failure. In Advances in Mass Data Analysis of Images and Signals in Medicine, Biotechnology, Chemistry, and Food Industry. Proceeding of the Third International Conference, Leipzig, Germany, (Lecture Notes in Computer Science), Ed. by P. Perner and O. Salvetti (Springer, 2008), Vol. 5108, pp. 38–51.
• Chicco, D., Jurman, G. 2020. Machine learning can predict survival of patients with heart failure from serum creatinine and ejection fraction alone. BMC Medical Informatics and Decision Making, 20(1):1-16. Doi: 10.1186/s12911-020-1023-5.
• Çilhoroz, İA., Çilhoroz, Y. 2021. Kardiyovasküler hastalıklara bağlı ölümleri etkileyen faktörlerin belirlenmesi: OECD ülkeleri üzerinde bir araştırma. Acıbadem Sağlık Bilimleri Dergisi, 12(2):340-345. Doi: 10.31067/acusaglik.849024
• Erdas, CB., Olcer, D. 2020. A machine learningbased approach to detect survival of heart failure patients. 2020 Medical Technologies Congress, pp. 1–4, Antalya, Turkey. Friedman, JH. 2002. Stochastic gradient boosting. Computational statistics & data analysis, 38(4): 367-378. Doi: 10.1016/S0167-9473(01)00065-2.
• Gürfidan, R., Ersoy, M. 2021. Classification of death related to heart failure by machine learning algorithms. Advances in Artificial Intelligence Research, 1(1): 13-18.
• Gürgen, G., Serttaş, S. 2023. Kalp yetmezliği hastalığının erken teşhisinde makine öğrenimi algoritmalarının performans karşılaştırması. Euroasia Journal of Mathematics, Engineering, Natural & Medical Sciences, 10(28):165-174. Doi: 10.5281/zenodo.8238065.
• Hart, PE., Stork, DG., Duda, RO. 2000. Pattern classification. Hoboken: Wiley, NJ, USA. Ishaq, A., Sadiq, S., Umer, M., Ullah, S., Mirjalili, S., Rupapara, V., Nappi, M. 2021. Improving the prediction of heart failure patients’ survival using SMOTE and effective data mining techniques. IEEE access, 9, 39707-39716.
• James, G., Witten, D., Hastie, T., Tibshirani, R. 2013. An Introduction to Statistical Learning. New York, Springer.
• Keser, SB., Keskin, K. 2023. Kalp yetmezliği hastalarının sağ kalım tahmini: Sınıflandırmaya dayalı makine öğrenmesi algoritmalarının bir uygulaması. Afyon Kocatepe Üniversitesi Fen Ve Mühendislik Bilimleri Dergisi, 23(2), 362-369.
• Khan, RA., Rashid, N., Shahzaib, M., Malik, UF., Arif, A., Iqbal, J., …Tiwana, M. 2023. A novel framework for classification of two-class motor imagery EEG signals using logistic regression classification algorithm. Plos one, 18(9), e0276133.
• Küçükakçalı, Z., Çiçek, I., Güldoğan, E., Çolak, C. 2020. Assessment of associative classification approach for predictıng mortality by heart failure. The Journal of Cognitive Systems, 5(2):41-45.
• Maulana, A., Faisal, FR., Noviandy, TR., Rizkia, T., Idroes, GM., Tallei, TE.,…Idroes, R. 2023. Machine learning approach for diabetes detection using fine-tuned XGBoost algorithm. Infolitika Journal of Data Science, 1(1):1-7. Doi: 10.60084/ijds.v1i1.72.
• Mamun, M., Farjana, A., Al Mamun, M., Ahammed, MS., Rahman, MM. 2022,. Heart failure survival prediction using machine learning algorithm: am I safe from heart failure?. 2022 IEEE World AI IoT Congress, pp. 194-200.
• Mansur Huang, N. S., Ibrahim, Z., Mat Diah, N. 2021. Machine learning techniques for early heart failure prediction. Malaysian Journal of Computing (MJoC), 6(2), 872-884.
• Meng, F., Zhang, Z., Hou, X., Qian, Z., Wang, Y., Chen, Y.,...Zou, J. (2019). Machine learning for prediction of sudden cardiac death in heart failure patients with low left ventricular ejection fraction: study protocol for a retroprospective multicentre registry in China. BMJ open, 9(5), e023724. Muntasir Nishat, M., Faisal, F., Jahan Ratul, I., Al-Monsur, A., Ar-Rafi, AM., Nasrullah, SM., … Khan, MRH. 2022. A comprehensive investigation of the performances of different machine learning classifiers with SMOTE-ENN oversampling technique and hyperparameter optimization for imbalanced heart failure dataset. Scientific Programming, 2022:1-17. Doi: 10.1155/2022/3649406
• Narin, A., İşler, Y., Özer, M. 2014. Konjestif kalp yetmezliği teşhisinde kullanılan çapraz doğrulama yöntemlerinin sınıflandırıcı performanslarının belirlenmesine olan etkilerinin karşılaştırılması. Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi, 16(48): 1-8.
• Natekin, A., Knoll, A. 2013. Gradient boosting machines, a tutorial. Frontiers in neurorobotics, 7: 21. Doi: 10.3389/fnbot.2013.00021.
• Nusrat, F., Uzbaş, B., Baykan, ÖK. 2020. Prediction of diabetes mellitus by using gradient boosting classification. European Journal of Science and Technology, 268-272. Doi: 10.31590/ejosat.803504
• Oladimeji, OO., Oladimeji, O. 2020. Predicting survival of heart failure patients using classification algorithms. Journal of Information Technology and Computer Engineering, 4(2): 90-94. Doi: 10.25077/jitce.4.02.90-94.2020.
• Özbay, FA., Özbay, E. 2022. Makine öğrenmesi algoritmalarının kalp yetmezliği hastalarının hayatta kalma tahmini üzerindeki performans karşılaştırılması, 2. International Mediterranean Scientific Research and Innovation Congress, pp. 503-515, Girne, KKTC.
• Pandimurugan, V., Usha, D., Guptha, MN., Hema, MS. 2022. Random forest tree classification algorithm for predicating loan. Materials Today: Proceedings, 57 (2022), 2216-2222. Doi: 10.1016/j.matpr.2021.12.322.
• Potur, EA., Erginel, N. 2021. Kalp yetmezliği hastalarının sağ kalımlarının sınıflandırma algoritmaları ile tahmin edilmesi. Avrupa Bilim ve Teknoloji Dergisi, (24): 112-118. Doi: 10.31590/ejosat.902357
• Rahayu, S., Purnama, JJ., Pohan, A. B., Nugraha, FS., Nurdiani, S., Hadianti, S. 2020. Prediction of survival of heart failure patients using random forest. Jurnal Pilar Nusa Mandiri, 16(2): 255-260.
• Salman OKM., Aksoy B. 2022. Rasgele orman ve ikili parçacık sürü zekâsı yöntemiyle kalp yetmezliği hastalığındaki ölüm riskinin tahminlenmesi. Uluslararası 3B Yazıcı Teknolojileri ve Dijital Endüstri Dergisi, 6(3): 416-428.
• Sarıkaya, BS. 2020. AES algoritmasına yapılan zaman odaklı önbellek saldırılarının makine öğrenmesi ile tespiti. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi, 13(1): 57-68.
• Saqlain, M., Hussain, W., Saqib, NA., Khan, MA. 2016. Identification of heart failure by using unstructured data of cardiac patients. 45th International Conference on Parallel Processing Workshops (ICPPW), pp. 426-431, Philadelphia, PA, USA.
• Selvakuberan, K., Indradevi, M., Rajaram, R. 2008. Combined feature selection and classification–a novel approach for the categorization of web pages. Journal of Information and Computing Science, 3(2): 083-089.
• Seven, S., Aydin, T., Karaman, G. 2023. Öğrenci bilgi seviyesinin veri madenciliği yöntemleri ile belirlenmesi ve tahmin edilmesi. Cognitive Models and Artificial Intelligence Conference, s.36, Türkiye. Doi: doi.org/10.36287/setsci.6.1.016.
• Shamsham, F., Mitchell, J. 2000. Essentials of the diagnosis of heart failure. American family physician, 61(5), 1319-1328.
• Solanki, Y., Sharma, S. 2019. A survey on risk assessments of heart attack using data mining approaches. International Journal of Information Engineering and Electronic Business, 11(4):43-51. Doi: 10.5815/ijieeb.2019.04.05. Takcı, H. 2023. Performance-enhanced KNN algorithm-based heart disease prediction with the help of optimum parameters. Journal of the Faculty of Engineering and Architecture of Gazi University, 38(1):451-460. Doi: 10.17341/gazimmfd.977127.
• TKD 2023. https://tkd.org.tr/menu/112/kalp-yetersizligi-farkindalik-gunu
• Tripoliti, EE., Papadopoulos, TG., Karanasiou, GS., Naka, KK., Fotiadis, DI. 2017. Heart failure: diagnosis, severity estimation and prediction of adverse events through machine learning techniques. Computational and structural biotechnology journal, 15, 26-47. Doi: 10.1016/j.csbj.2016.11.001.
• Turan, T. 2023. Optimize edilmiş denetimli öğrenme algoritmaları ile obezite analizi ve tahmini. Mehmet Akif Ersoy Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 14(2) : 301-312.
• Türkmenoğlu, BK., Yildiz, O. 2021. Predicting the survival of heart failure patients in unbalanced data sets. 29th Signal Processing and Communications Applications Conference, pp. 1-4, Istanbul,Turkey.
• UCI, 2023. https://archive.ics.uci.edu/dataset/519/heart+failure+clinical+records
• Uzun, R., Isler, Y., Toksan, M. 2018. Use of support vector machines to predict the success of wart treatment methods. 2018 Innovations in Intelligent Systems and Applications Conference (ASYU), pp. 1-4, Turkey.
• Wang, J. 2021. Heart failure prediction with machine learning: a comparative study. In Journal of Physics: Conference Series, 2031:p. 012068, IOP Publishing: London, UK.
• WHO 2023. https://www.who.int/health-topics/cardiovascular-diseases#tab=tab_1
• Wong, TT. 2015. Performance evaluation of classification algorithms by k-fold and leave-one-out cross validation. Pattern recognition, 48(9):2839-2846.
• Wong, TT., Yeh, PY. 2020. Reliable accuracy estimates from k-fold cross validation. IEEE Transactions on Knowledge and Data Engineering, 32(8):1586-1594.
• Yancy, CW., Jessup, M., Bozkurt, B., Butler, J., Casey, DE., Drazner, MH., … Wilkoff, BL. 2013. 2013 ACCF/AHA guideline for the management of heart failure: a report of the American College of Cardiology Foundation/American Heart Association Task Force on Practice Guidelines. Journal of the American college of cardiology, 62(16): e147-e239
• Yılmaz, EK., Bakır, H. 2023. Hyperparameter Tunning and Feature Selection Methods for Malware Detection. Journal of Polytechnıc, 1-1. Doi: 10.2339/politeknik.1243881.