Conventional Machine Learning and Ensemble Learning Techniques in Cardiovascular Disease Prediction and Analysis

Öz

Cardiovascular diseases, which significantly affect the heart and blood vessels, are one of the leading causes of death worldwide. Early diagnosis and treatment of these diseases, which cause approximately 19.1 million deaths, are essential. Many problems, such as coronary artery disease, blood vessel disease, irregular heartbeat, heart muscle disease, heart valve problems, and congenital heart defects, are included in this disease definition. Today, researchers in the field of cardiovascular disease are using approaches based on diagnosis-oriented machine learning. In this study, feature extraction is performed for the detection of cardiovascular disease, and classification processes are performed with a Support Vector Machine, Naive Bayes, Decision Tree, K-Nearest Neighbor, Bagging Classifier, Random Forest, Gradient Boosting, Logistic Regression, AdaBoost, Linear Discriminant Analysis and Artificial Neural Networks methods. A total of 918 observations from Cleveland, Hungarian Institute of Cardiology, University Hospitals of Switzerland, and Zurich, VA Medical Center were included in the study. Principal Component Analysis, a dimensionality reduction method, was used to reduce the number of features in the dataset. In the experimental findings, feature increase with artificial variables was also performed and used in the classifiers in addition to feature reduction. Support Vector Machines, Decision Trees, Grid Search Cross Validation, and existing various Bagging and Boosting techniques have been used to improve algorithm performance in disease classification. Gaussian Naïve Bayes was the highest-performing algorithm among the compared methods, with 91.0% accuracy on a weighted average basis as a result of a 3.0% improvement.

Anahtar Kelimeler

• Ensemble learning
• classification
• conventional techniques
• cardiovascular disease
• hyperparameter optimization

Kardiyovasküler Hastalık Tahmini ve Analizinde Geleneksel Makine Öğrenmesi ve Topluluk Öğrenme Teknikleri

Öz

Kalp ve kan damarlarını önemli ölçüde etkileyen kardiyovasküler hastalıklar, dünya çapında önde gelen ölüm nedenlerinden biridir. Yaklaşık 19,1 milyon kişinin ölümüne neden olan bu hastalıkların erken teşhis ve tedavisi büyük önem taşıyor. Koroner arter hastalığı, kan damarı hastalığı, düzensiz kalp atışı, kalp kası hastalığı, kalp kapağı sorunları ve doğumsal kalp kusurları gibi birçok sorun bu hastalık tanımına girmektedir. Günümüzde kardiyovasküler hastalık alanındaki araştırmacılar tanı odaklı makine öğrenmesine dayalı yaklaşımlar kullanmaktadır. Bu çalışmada kardiyovasküler hastalık tespiti için özellik çıkarma işlemi gerçekleştirilmiş ve Destek Vektör Makinesi, Naive Bayes, Karar Ağacı, K-En Yakın Komşu, Torbalı Sınıflandırıcı, Rastgele Orman, Gradyan Artırım, Lojistik Regresyon, AdaBoost, Doğrusal Diskriminant Analizi ve Yapay Sinir Ağları yöntemleri ile sınıflandırma işlemleri yapılmıştır. Cleveland, Macaristan Kardiyoloji Enstitüsü, İsviçre Üniversite Hastaneleri ve Zürih VA Tıp Merkezi’nden toplam 918 gözlem çalışmaya dahil edilmiştir. Veri kümesindeki özellik sayısını azaltmak için bir boyut azaltma yöntemi olan Temel Bileşen Analizi kullanılmıştır. Deneysel bulgularda, özellik azaltmanın yanı sıra yapay değişkenlerle özellik artırımı da gerçekleştirilmiş ve sınıflandırıcılarda kullanılmıştır. Hastalık sınıflandırmasında algoritma performansını artırmak için Destek Vektör Makineleri, Karar Ağaçları, Izgara Arama Çapraz Doğrulama, var olan çeşitli Torbalama ve Artırma teknikleri kullanılmıştır. Gauss Naïve Bayes, %3,0’lık bir iyileştirme sonucunda ağırlıklı ortalama bazında %91,0 doğrulukla karşılaştırılan yöntemler arasında en yüksek performans gösteren algoritma olmuştur.

Anahtar Kelimeler

• Topluluk öğrenme
• sınıflandırma
• geleneksel yöntemler
• kardiyovasküler hastalık
• hiperparametre optimizasyonu

Kaynakça

1. Abdi, H., Williams, L.J., 2010. Principal component analysis. Wiley Interdiscip. Rev. Comput. Stat. 2, 433–459.
2. Akman, M., Civek, S., 2022. Dünyada ve Türkiye’de kardiyovasküler hastalıkların sıklığı ve riskin değerlendirilmesi. J. Turk. Fam. Physician 13, 21–28.
3. Alkan, Ö., 2008. Temel bileşenler analizi ve bir uygulama örneği. Atatürk Üniversitesi Sos. Bilim. Enstitüsü İşletme Anabilimdalı Üksek Lisans Tezi Erzurum 125s.
4. Asuero, A.G., Sayago, A., González, A.G., 2006. The correlation coefficient: An overview. Crit. Rev. Anal. Chem. 36, 41–59.
5. Badem, H., 2019. Parkinson Hastaliğinin Ses Sinyalleri Üzerinden Makine Öğrenmesi Teknikleri ile Tanimlanmasi. Niğde Ömer Halisdemir Üniversitesi Mühendis. Bilim. Derg. 8, 630–637.
6. Bektaş, B., Babur, S., 2016. Makine Öğrenmesi Teknikleri Kullanılarak Meme Kanseri Teşhisinin Performans Değerlendirmesi.
7. Breiman, L., 2001. Random forests. Mach. Learn. 45, 5–32.
8. Cervantes, J., Garcia-Lamont, F., Rodríguez-Mazahua, L., Lopez, A., 2020. A comprehensive survey on support vector machine classification: Applications, challenges and trends. Neurocomputing 408, 189–215.

9. Chollet, F., 2021. Deep learning with Python. Simon and Schuster.
10. Cihan, Ş., 2018. Koroner arter hastalığı riskinin makine öğrenmesi ile analiz edilmesi (PhD Thesis). Yüksek Lisans Tezi. Kırıkkale Üniversitesi Fen Bilimleri Enstitüsü, Kırıkkale.
11. Çi̇l, E., Güneş, A., 2022. Makine öğrenmesi algoritmalarıyla kalp hastalıklarının tespit edilmesine yönelik performans analizi. İstanbul Aydin Üniversitesi Dergisi Anadolu Bil Meslek Yüksekokulu.
12. Cristianini, N., Shawe-Taylor, J., 2000. An introduction to support vector machines and other kernel-based learning methods. Cambridge university press.
13. Géron, A., 2022. Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow. O’Reilly Media, Inc.
14. Gregg, L.P., Hedayati, S.S., 2018. Management of traditional cardiovascular risk factors in CKD: what are the data? Am. J. Kidney Dis. 72, 728–744.
15. Gu, Z., Cao, M., Wang, C., Yu, N., Qing, H., 2022. Research on Mining Maximum Subsidence Prediction Based on Genetic Algorithm Combined with XGBoost Model. Sustainability 14, 10421.
16. Guo, G., Wang, H., Bell, D., Bi, Y., Greer, K., 2003. KNN model-based approach in classification. In: On The Move to Meaningful Internet Systems 2003: CoopIS, DOA, and ODBASE: OTM Confederated International Conferences, CoopIS, DOA, and ODBASE 2003, Catania, Sicily, Italy, November 3-7, 2003. Proceedings. Springer, pp. 986–996.
17. Hastie, T., Rosset, S., Zhu, J., Zou, H., 2009. Multi-class adaboost. Stat. Interface 2, 349–360.
18. Imad, M., Abul Hassan, M., Hussain Bangash, S., Naimullah, 2022. A Comparative Analysis of Intrusion Detection in IoT Network Using Machine Learning. In: Big Data Analytics and Computational Intelligence for Cybersecurity. Springer, pp. 149–163.
19. Kaba, G., Kalkan, S.B., 2022. Kardiyovasküler Hastalık Tahmininde Makine Öğrenmesi Sınıflandırma Algoritmalarının Karşılaştırılması. İstanbul Ticaret Üniversitesi Fen Bilim. Derg. 21, 183–193.
20. Kara, K., Çınar, S., 2011. Diyabet bakım profili ile metabolik kontrol değişkenleri arasındaki ilişki. Kafkas J Med Sci 1, 57–63.
21. Karamizadeh, S., Abdullah, S.M., Manaf, A.A., Zamani, M., Hooman, A., 2013. An overview of principal component analysis. J. Signal Inf. Process. 4, 173.
22. Keser, S.B., Keskin, K., 2022. Ağırlıklı Oy Tabanlı Topluluk Sınıflandırma Algoritması ile Göğüs Kanseri Teşhisi. Mühendis. Bilim. Ve Araştırmaları Derg. 4, 112–120.
23. Kramer, O., 2016. Scikit-Learn. In: Kramer, O. (Ed.), Machine Learning for Evolution Strategies, Studies in Big Data. Springer International Publishing, Cham, pp. 45–53.
24. Kurita, T., Watanabe, K., Otsu, N., 2009. Logistic discriminant analysis. IEEE International Conference on Systems, Man and Cybernetics. Presented at the 2009 IEEE International Conference on Systems, Man and Cybernetics - SMC, IEEE, San Antonio, TX, USA, pp. 2167–2172.
25. Li, L., Zhou, Z., Bai, N., Wang, T., Xue, K.-H., Sun, H., He, Q., Cheng, W., Miao, X., 2022. Naive Bayes classifier based on memristor nonlinear conductance. Microelectron. J. 129, 105574.
26. Liashchynskyi, Petro, Liashchynskyi, Pavlo, 2019. Grid search, random search, genetic algorithm: a big comparison for NAS. ArXiv Prepr. ArXiv191206059.
27. Lopez, E.O., Ballard, B.D., Jan, A., 2022. Cardiovascular disease. In: StatPearls [Internet]. StatPearls Publishing.
28. Malik, P., Pathania, M., Rathaur, V.K., 2019. Overview of artificial intelligence in medicine. J. Fam. Med. Prim. Care 8, 2328.
29. Meng, J., Yang, Y., 2012. Symmetrical two-dimensional PCA with image measures in face recognition. Int. J. Adv. Robot. Syst. 9, 238.
30. Meseci, E., Ozkaynak, E., Dilmac, M., Ozdemir, D., 2022. PDC Dünya Dart Şampiyonası Karmaşık Ağlarında Komşuluk Tabanlı Bağlantı Tahmini. 5th Int. Conf. Data Sci. Appl. ICONDATA’22.
31. Mintemur, Ö., 2021. Doğrusal regresyonla vücut yağ tahmininde korelasyon türlerinin etkisi. EurasianSciEnTech 2021.
32. Moosaei, H., Ganaie, M.A., Hladík, M., Tanveer, M., 2023. Inverse free reduced universum twin support vector machine for imbalanced data classification. Neural Netw. 157, 125–135.
33. Muschelli, J., 2020. ROC and AUC with a Binary Predictor: a Potentially Misleading Metric. J. Classif. 37, 696–708.
34. Perez, H., Tah, J.H., 2020. Improving the accuracy of convolutional neural networks by identifying and removing outlier images in datasets using t-SNE. Mathematics 8, 662.
35. Platt, J., 1999. Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods. Adv. Large Margin Classif. 10, 61–74.
36. Pushpakumar, R., Prabu, R., Priscilla, M., Renisha, P.S., Prabu, R.T., Muthuraman, U., 2022. A Novel Approach to Identify Dynamic Deficiency in Cell using Gaussian NB Classifier. In: 2022 7th International Conference on Communication and Electronics Systems (ICCES). IEEE, pp. 31–37.
37. Qin, Y., Zhang, S., Zhu, X., Zhang, J., Zhang, C., 2007. Semi-parametric optimization for missing data imputation. Appl. Intell. 27, 79–88.
38. Ranjan, G.S.K., Verma, A.K., Radhika, S., 2019. K-nearest neighbors and grid search cv based real time fault monitoring system for industries. In: 2019 IEEE 5th International Conference for Convergence in Technology (I2CT). IEEE, pp. 1–5.
39. Sharma, N., Malviya, L., Jadhav, A., Lalwani, P., 2023. A hybrid deep neural net learning model for predicting Coronary Heart Disease using Randomized Search Cross-Validation Optimization. Decis. Anal. J. 9, 100331.
40. Singh, N., Jena, S., Panigrahi, C.K., 2022. A novel application of Decision Tree classifier in solar irradiance prediction. Mater. Today Proc. 58, 316–323.
41. Sun, B., Chen, S., Wang, J., Chen, H., 2016. A robust multi-class AdaBoost algorithm for mislabeled noisy data. Knowl.-Based Syst. 102, 87–102.
42. Tekin, B.Y., Ozcan, C., Pekince, A., Yasa, Y., 2022. An enhanced tooth segmentation and numbering according to FDI notation in bitewing radiographs. Comput. Biol. Med. 146, 105547.
43. Tharwat, A., Gaber, T., Ibrahim, A., Hassanien, A.E., 2017. Linear discriminant analysis: A detailed tutorial. AI Commun. 30, 169–190.
44. Umargono, E., Suseno, J.E., S. K., V.G., 2019. K-Means Clustering Optimization using the Elbow Method and Early Centroid Determination Based-on Mean and Median: In: Proceedings of the International Conferences on Information System and Technology. Presented at the International Conferences on Information System and Technology, Scitepress-Science and Technology Publications, Yogyakarta, Indonesia, pp. 234–240.
45. Vatansever, B., Aydın, H., Çetinkaya, A., 2021. Genetik algoritma yaklaşımıyla Öznitelik seçimi kullanılarak makine Öğrenmesi algoritmaları ile kalp hastalığı tahmini. J. Sci. Technol. Eng. Res. 2, 67–80.
46. Veranyurt, Ü., Deveci, A., Esen, M.F., Veranyurt, O., 2020. Makine Öğrenmesi Teknikleriyle Hastalık Sınıflandırması: Random Forest, K-nearest Neighbour ve Adaboost Algoritmaları Uygulaması. Uluslar. Sağlık Önetimi Ve Strat. Araşt. Derg. 6, 275–286.
47. Zein Elabedin Mohammed, A., Osama Fathy Kayed, M., Samy Abd El-Samee, M., 2020. Heart rate recovery time after excercise stress test in diabetic patients with suspected coronary artery disease. Al-Azhar Med. J. 49, 1845–1852.
48. Zhang, H., 2004. The optimality of naive Bayes. Aa 1, 3.
49. Zhang, S., 2010. KNN-CF approach: Incorporating certainty factor to knn classification. IEEE Intell Inform. Bull 11, 24–33.
50. Zhang, S., Li, X., Zong, M., Zhu, X., Cheng, D., 2017. Learning k for knn classification. ACM Trans. Intell. Syst. Technol. TIST 8, 1–19.