Comparison of Machine Learning Algorithms for Predicting Financial Risk in Cash Flow Statements

Abstract

Nowadays, making financial decisions and evaluating loan applications is a complex and sensitive process. Cash flow data, which shows the financial risk status of businesses, plays a key role in evaluating loan applications. Cash flow data, which shows the financial risk status of businesses, plays a key role in evaluating loan applications. Guiding business managers in making strategic decisions and managing financial risks, quarterly data provides a detailed timeline of business performance and helps identify seasonal changes. A detailed analysis using machine learning algorithms evaluates the performance of different models built to compare businesses quarters in the loan classification process and highlights the role of cash flow data in the process. It was aimed to create effective algorithms by taking into account the suitability of the quarterly data between 2018 and 2022 of the 282 companies used in the study, and to provide a unique approach in the field of evaluating these algorithms with information criteria. The model performances of the quarters are very close to each other and a high success rate is obtained. Therefore, it was observed that quarterly periods did not make a significant difference in model performance. The model created for the 2nd quarter of 2019 was selected as the best model with 99% accuracy and 99% F1 value. It was also determined that the selection of variables with high accuracy rates in the models established for each quarter is important in terms of predicting financial risk.

Keywords

• credit classification
• machine learning algorithms
• cash flow statements
• risk
• ınformation criteria

References

1. [1] S. Çil Koçyiğit, Ş. Güngör Tanç, Nakit Akışlarının Sağlandığı Faaliyetler Modeli ile İşletmelerin Nakit Akış Profillerinin İncelenmesi: BİST 30, BİST 50 Ve BİST 100 Endeksleri Karşılaştırması, Muhasebe ve Finansman Dergisi – Ağustos 2021 Özel Sayı, (2021), 137148. ISSN: 2146-3042.
2. [2] R. Aktaş, M. Mete Doğanay, B. Yıldız, Mali Başarısızlığın Öngörülmesi: İstatistiksel Yöntemler ve Yapay Sinir Ağı Karşılaştırılması, Ankara Üniversitesi SBF Dergisi, 58, (2003), 1-24. Doi: 10.1501/SBFder_0000001691.
3. [3] Y. Aker, Finansal Başarısızlık Tahmininde Makine Öğrenmesi Yöntemlerinin Kullanımı: Türkiyedeki KOBİ’ ler Üzerine Bir Uygulama, Giresun Üniversitesi Sosyal Bilimler Enstitüsü İşletme Anabilim Dalı Doktora Tezi, (2021), 1-44.
4. [4] B. Karataş, A. V. Can, Bibliometric Analysis of Postgraduate Theses Published On Financial Failure Prediction In Turkey (1991-2021), Journal of Accounting and Taxation Studies, (2023), 17-55. Doi:10.29067/muvu.1139919.
5. [5] K. Sadeghzadeh, B. Elmas, Makroekonomik Faktörlerin Hisse Senedi Getirilerine Etkilerinin BIST’de Araştırılması, Muhasebe ve Finansman Dergisi, (2018), 211-213. Doi: 10.25095/mufad.465941.
6. [6] H. Altınbaş, Metaheuristic Algorithms and Modern Credit Classification Methods: A Systematic Review, Istanbul Business Research, 49(1), (2020) 146-175 Doi : 10.26650/ibr.2020.49.0033.
7. [7] D. Ilter, E. Deniz Howe, O. Kocadagli, Hybridized ANN Classifiers with a Novel Feature Selection Procedure based Genetic Algorithms and Information Complexity in Credit Scoring, Appl Stoch Model Bus Ind., 37(2), (2021), 203-228. Doi:10.1002/Asmb.2614.
8. [8] D. Ilter, E. Deniz Howe, O. Kocadagli, Hybridized ANN Classifiers with a Novel Feature Selection Procedure based Genetic Algorithms and Information Complexity in Credit Scoring, Appl Stoch Model Bus Ind., 37(2), (2021), 203-228. Doi:10.1002/Asmb.2614.

9. [9] A. M. Esi, Bankacılık Sektöründe Kredi Ödemelerinin Makine Öğrenimi Siniflandirma Algoritmalarina Göre Analizi, Marmara Üniversitesi sosyal Bilimler Enstitüsü Ekonometrik anabilim Dalı Yöneylem Araştırması Bilim Dalı Yüksek Lisans Tezi, (2022), 181.
10. [10] D. Ilter, Kredi Skorlamada Yapay Zekâ Teknikleri İle Çok Aşamali Lojiistik Modellemeyi Temel Alan Hibrit Yaklaşimlar, Mimar Sinan Güzel Sanatlar Üniversitesi Fen Bilimleri Enstitüsü İstatistik Anabilim Dalı Doktora Tezi, (2021), 1-59.
11. [11] L. E. Melkumova, S. Ya. Shatskikh, Comparing Ridge and Lasso Estimators for Data Analysis, Procedia Engineering, 201, (2017),746-755.
12. [12] S. Vimalraj, R. D. Porkodi, A Review on Imbalanced Data, Proceeding of 2018 IEEE International Conference on Current Trends toward Converging Technologies, Coimbatore, India, 3(4), (2017), 444–449. Doi:10.23883/IJRTER.2017.3168.0UWXM
13. [13] E. Kartal, Z. Ozen, Dengesiz Veri Setlerinde Sınıflandırma, CHAP, (2017), 109 -131. ISSN: 978-605-4735-98-3.
14. [14] N. V. Chawla, K. W. Bowyer, L. O. Hall, W. P. Kegelmeyer, SMOTE: synthetic minority over-sampling technique, Journal of artificial intelligence research, 16, (2002), 321–357.
15. [15] A. Alan, M. Karabatak, Veri Seti - Sınıflandırma İlişkisinde Performansa Etki Eden Faktörlerin Değerlendirilmesi, Fırat Üniversitesi Müh. Bil. Dergisi, 32(2), (2020), 531 – 540.
16. [16] G. Altan, S. Demirci, Makine Öğrenmesi ile Nakit Akış Tablosu Üzerinden Kredi Skorlaması: XGBoost Yaklaşımı, Journal of Economic Policy Researches, 9(2), (2022), 398-424. E-ISSN: 2148-3876.
17. [17] T. E. Tütüncü, S. Gürsakal, Kredi Temerrüt Riskini Tahmin Etmede Makine Öğrenme Algoritmalarının Karşılaştırılması, European Journal of Science and Technology, 50, (2023), 14-22. Doi: 10.31590/ejosat.1171611.
18. [18] Ö. Y. Can, Makine Öğrenmesi Teknikleri Kullanılarak Kredi Analizi, İstanbul Aydın Üniversitesi Bilgisayar Mühendisliği Anabilim Dalı Yüksek Lisans Tezi, (2020), 1-57.
19. [19] V. Aithal, R. D. Jathanna, Credit Risk Assessment using Machine Learning Techniques, International Journal of Innovative Technology and Exploring Engineering (IJITEE), 9(1), (2019), 3482-3486.
20. [20] D. Ilter, O. Kocadagli, N. Ravishanker, Feature Selection Approaches for Machine Learning Classifiers on Yearly Credit Scoring Data, Young Business and Industrial Statisticians Workshop on Recent Advantages in Data and Business Analytics (y-BIS2019), Istanbul, Turkey, 2019. Conference Proceeding e-Book with ISBN (978-605-5005-95-5) and Serial Number (eMSGSÜ-FEF-İST019/09-Kat1), (http://kutuphane.msgsu.edu.tr/yordambt/yordam.php?aDemirbas=EK925DE7C3), (2009), 200-204.
21. [21] K. Ş. Erdem, M. A. Bakır, Makine ve Ekipman İmalatı Sektöründe İzolasyon Ormanı ve Yeniden Örnekleme Yöntemleri Kullanılarak Finansal Başarısızlığın Tespit Edilmesi, Journal of Productivity, 57 (4), (2023), 719-734.
22. [22] Z. Kardeş, T. Kandemir, Bağımsız Denetim Görüşlerinin Tahmin Edilmesinde Lojistik Regresyon ve Yapay Sinir Ağı Yöntemlerinin Karşılaştırılması: BİST Kimya İlaç Petrol Lastik ve Plastik Ürünler Sektöründe Bir Uygulama, KMÜ Sosyal ve Ekonomik Araştırmalar Dergisi (KMUSEKAD), 25(44), (2023), 293-308.
23. [23] S. Hamal, Decision Making Approaches For Financial Accounting Fraud: Case Study For Small and Medium-sized Enterprises (SMEs) in Turkey, Marmara University Institute for Graduate Studies in pure and Applied Sciences Department of Industrial Engineering Master thesis, (2022), 1-236.
24. [24] O. A. Okocha, Machine Learning Approach to the Prediction of Bank Customer Churn Problem, Istanbul Aydın University Institute of Graduate Studies Department of Software Engineering Artificial Intelligence and Data Science Program Master thesis, (2023), 1-48.
25. [25] F. Uyanık, Telekomünikasyon Sektörü İçin Veri Madenciliği ve Makine Öğrenmesi Teknikleri İle Ayrılan Müşteri Analizi, İstanbul Ticaret Üniversitesi İstanbul Ticaret Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Anabilim Dalı Yüksek Lisans Tezi, (2021), 1-57.
26. [26] G. Zengin, Finansal Teknoloji Alanında Kullanıcı Deneyimlerinin Makine Öğrenmesi Yöntemleri İle İncelenmesi, Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü İstatistik Anabilim Dalı Yüksek Lisans Tezi, (2022), 1-100.
27. [27] M. Çalışkan, Makine Öğrenme Teknikleri Kullanarak Epilepsi Teşhisi, Kahramanmaraş Sütçü İmam Üniversitesi Fen Bilimleri Enstitüsü Enformatik Ana Bilim Dalı Yüksek Lisans Tezi, (2021), 1-54.
28. [28] Y. C. Kılıçkap, Lojistik Sektöründe Makine Öğrenmesi Modelleri Yardımı ile Uygun Paket Türünün Seçilmesi, İstanbul Ticaret Üniversitesi Fen Bilimleri Enstitüsü Endüstri Mühendisliği Anabilim Dalı Yüksek Lisans Tezi, (2023), 1-69.
29. [29] G. Kim, S. Kim, B. Jang, Classification of mathematical test questions using machine learning on datasets of learning management system questions, PLoS ONE 18(10), (2023), 1-17.
30. [30] Is Yatirim, Stocks, https://www.isyatirim.com.tr/tr-tr/analiz/hisse/Sayfalar/default.aspx , [Date of Access: 20.03.2023].