Makine Öğrenmesi Yöntemleri ile Banka Müşteri Kaybı Tahmini

Abstract

Müşteri kaybı, bir müşterinin bir işletmenin sunduğu hizmetleri kullanmayı bırakmasıdır. Bankacılık sektöründe müşteri kaybının tahmini, müşteri ilişkileri yönetimi açısından büyük önem taşımaktadır. Bu çalışmada, bankaların müşteri kaybını önceden tahmin edebilmesi amacıyla makine öğrenmesi yöntemleri kullanılarak bir analiz gerçekleştirilmiştir. Kaggle'dan alınan ve Fransa, Almanya, İspanya'daki banka müşterilerine ait veri seti üzerinde lojistik regresyon, K-en yakın komşu, karar ağacı, rastgele orman, LightGBM ve CatBoost algoritmaları uygulanmış ve performansları karşılaştırılmıştır. Veri setinde dengesiz sınıf dağılımını dengelemek için SMOTE yöntemi kullanılmış, değişken önem analizi gerçekleştirilmiştir. Analiz sonuçlarına göre, müşteri kaybını en çok etkileyen faktör banka ürün sayısı olup, bunu müşterinin yaşı, hesap bakiyesi, coğrafi konumu, tahmini maaşı ve kredi notu takip etmiştir. Cinsiyet ve kredi kartı sahipliği gibi değişkenlerin ise müşteri kaybı üzerinde daha düşük bir etkisi olduğu tespit edilmiştir. Makine öğrenmesi modellerinin performansı doğruluk, kesinlik, duyarlılık ve F1 skoru metrikleri ile değerlendirilmiştir. En yüksek doğruluk oranı %90,43 ile CatBoost algoritması tarafından elde edilmiştir. CatBoost modelinin başarısı, kategorik değişkenleri etkili bir şekilde işlemesi ve ağaç tabanlı öğrenme süreçlerinde yüksek genelleme performansı göstermesiyle açıklanabilir. Bu çalışma, bankaların müşteri kaybını azaltmaya yönelik karar alma süreçlerinde veri odaklı modellerin önemini vurgulamakta ve müşteri bağlılığını artırmak için stratejik planlamaya katkı sağlamaktadır.

Keywords

• Makine öğrenmesi
• Müşteri kaybı analizi
• Sınıflandırma algoritmaları
• Banka

Bank Customer Churn Prediction with Machine Learning Methods

Abstract

Customer churn refers to a customer’s decision to stop using the services offered by a business. In the banking sector, predicting customer churn holds significant importance for customer relationship management. In this study, an analysis was conducted using machine learning methods to predict customer churn in banks. A dataset obtained from Kaggle, which includes bank customers from France, Germany, and Spain, was utilized. Logistic Regression, K-Nearest Neighbors, Decision Tree, Random Forest, LightGBM, and CatBoost algorithms were applied and their performances compared. To address class imbalance in the dataset, the SMOTE method was employed, and feature importance analysis was performed. The results indicated that the number of bank products was the most influential factor on customer churn, followed by customer age, account balance, geographical location, estimated salary, and credit score. Variables such as gender and credit card ownership were found to have a relatively lower impact on churn. The performance of machine learning models was evaluated using accuracy, precision, recall, and F1-score metrics. The highest accuracy rate of 90.43% was achieved by the CatBoost algorithm. The success of the CatBoost model can be attributed to its effective handling of categorical variables and its strong generalization performance in tree-based learning processes. This study highlights the importance of data-driven models in supporting decision-making processes aimed at reducing customer churn in the banking sector and contributes to strategic planning for enhancing customer loyalty.

Keywords

• Machine learning
• Churn analysis
• Classification algorithms
• Bank

References

1. Ahmad, A. K., Jafar, A., & Aljoumaa, K. (2019). Customer churn prediction in telecom using machine learning in big data platform. Journal of Big Data, 6(1), 1-24. https://doi.org/10.1186/s40537-019-0191-6
2. Akyiğit, H. E., & Taşcı, T. (2022). Sigortacılık sektöründe makine öğrenmesi ile müşteri kaybı analizi. Tasarım Mimarlık ve Mühendislik Dergisi, 2(1), 66-79. https://dergipark.org.tr/en/pub/dae/issue/68555/1073934
3. Alotaibi, M. Z., & Haq, M. A. (2024). Customer churn prediction for telecommunication companies using machine learning and ensemble methods. Engineering Technology and Applied Science Research, 14(3), 14572–14578. https://doi.org/10.48084/etasr.7480
4. Amuda, K. A., & Adeyemo, A. B. (2019). Customers churn prediction in financial institution using artificial neural network. arXiv.org. https://arxiv.org/abs/1912.11346
5. Arya, S., Mount, D. M., Netanyahu, N. S., Silverman, R., & Wu, A. Y. (1998). An optimal algorithm for approximate nearest neighbor searching fixed dimensions. Journal of the ACM (JACM), 45(6), 891-923. https://doi.org/10.1145/293347.293348
6. Birant, D. (2011). Comparison of decision tree algorithms for predicting potential air pollutant emissions with data mining models. Journal of Environmental Informatics, 17(1). https://doi.org/10.3808/jei.201100186
7. Budak, İ., Şen, B., & Yıldırım, M. Z. (2013). Lojistik regresyon ile bilgisayar ağlarında anomali tespiti. Akademik Bilişim 2013 – XV. Akademik Bilişim Konferans, Antalya, 813-818. https://ab.org.tr.inetd.org.tr/ab13/kitap/budak_sen_AB13.pdf
8. Breiman, L. (2001). Random forests. Machine learning, 45(1), 5-32. https://doi.org/10.1023/a:1010933404324

9. Chang, V., Hall, K., Xu, Q. A., Amao, F. O., Ganatra, M. A., & Benson, V. (2024). Prediction of customer churn behavior in the telecommunication industry using machine learning models. Algorithms, 17(6), 231 https://doi.org/10.3390/a17060231
10. Chapman, P., Clinton, J., Kerber, R., Khabaza, T., Reinartz, T., Shearer, C., & Wirth, R. (2000). CRISP-DM 1.0: Step-by-step data mining guide. SPSS, 1-77.
11. Çalış, A., Kayapınar, S., & Çetinyokuş, T. (2014). Veri madenciliğinde karar ağacı algoritmaları ile bilgisayar ve internet güvenliği üzerine bir uygulama. Endüstri Mühendisliği, 25(3), 2-19. https://dergipark.org.tr/tr/pub/endustrimuhendisligi/issue/46771/586362
12. Çokluk, Ö. (2010). Lojistik regresyon analizi: Kavram ve uygulama. Kuram ve Uygulamada Eğitim Bilimleri, 10(3), 1357-1407.
13. De Lima Lemos, R. A., Silva, T. C., & Tabak, B. M. (2022). Propension to customer churn in a financial institution: A machine learning approach. Neural Computing and Applications, 34(14), 11751–11768. https://doi.org/10.1007/s00521-022-07067-x
14. Dilki, G., & Başar, Ö. D. (2020). İşletmelerin iflas tahmininde k-en yakın komşu algoritması üzerinden uzaklık ölçütlerinin karşılaştırılması. İstanbul Ticaret Üniversitesi Fen Bilimleri Dergisi, 19(38), 224-233.
15. Domingos, E., Ojeme, B., & Daramola, O. (2021). Experimental analysis of hyperparameters for deep learning‐based churn prediction in the banking sector. Computation, 9(3). https://doi.org/10.3390/computation9030034
16. Höppner, S., Stripling, E., Baesens, B., Broucke, S. vanden, & Verdonck, T. (2020). Profit driven decision trees for churn prediction. European Journal of Operational Research, 284(3), 920–933. https://doi.org/10.1016/j.ejor.2018.11.072
17. Karadoğan, A. (2014). Takviyeli öğrenme için yapay atom algoritması (A3) kullanımı (Tez No. 390631) [Yüksek lisans tezi, İnönü Üniversitesi]. https://tez.yok.gov.tr/UlusalTezMerkezi
18. Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., ... & Liu, T. Y. (2017). Lightgbm: A highly efficient gradient boosting decision tree. Advances in neural information processing systems (NIPS 2017), 30.
19. Khattak, A., Mehak, Z., Ahmad, H., Asghar, M. U., Asghar, M. Z., & Khan, A. (2023). Customer churn prediction using composite deep learning technique. Scientific Reports, 13(1), 17294. https://doi.org/10.1038/s41598-023-44396-w
20. Larose, D. T., & Larose, C. D. (2014). Discovering knowledge in data: an introduction to data mining. John Wiley & Sons.
21. Li, J. (2024). Customer churn prediction using machine learning: A case study of e-commerce data. International Journal of Computer Applications, 186(48), 22–25. https://doi.org/10.5120/ijca2024924140
22. Mahesh, B. (2020). Machine learning algorithms-a review. International Journal of Science and Research (IJSR), 9(1), 381-386. https://doi.org/10.21275/ART20203995
23. Mitchell, T. M. (2006). The discipline of machine learning. Carnegie Mellon University, School of Computer Science, Machine Learning Department. https://www.cs.cmu.edu/afs/cs/usr/mitchell/ftp/pubs/MachineLearningTR.pdf
24. Ngo, V. B., & Vu, V. H. (2024). Multi-level machine learning model to improve the effectiveness of predicting customers churn banks. Cybernetics and Information Technologies, 24(3), 3–20. https://doi.org/10.2478/cait-2024-0022
25. Nizam, H., & Akın, S. S. (2014). Sosyal medyada makine öğrenmesi ile duygu analizinde dengeli ve dengesiz veri setlerinin performanslarının karşılaştırılması. XIX. Türkiye'de İnternet Konferansı, İzmir, 77-84. https://inet-tr.org.tr/inetconf19/kitap/nizam_akin_inet14.pdf
26. Omotehinwa, T. O., Oyewola, D. O., & Dada, E. G. (2023). A light gradient-boosting machine algorithm with tree-structured parzen estimator for breast cancer diagnosis. Healthcare Analytics, 4, 100218. https://doi.org/10.1016/j.health.2023.100218
27. Schapire, R. E., Freund, Y. (2013). Boosting: Foundations and algorithms, Kybernetes, 42(1), 164-166. https://doi.org/10.1108/03684921311295547
28. Sikri, A., Jameel, R., Idrees, S. M., & Kaur, H. (2024). Enhancing customer retention in telecom industry with machine learning driven churn prediction. Scientific Reports, 14(1), 13097. https://doi.org/10.1038/s41598-024-63750-0
29. Stephenson, B., Cook, D., Dixon, P., Duckworth, W., Kaiser, M., Koehler, K., & Meeker, W. (2008). Binary response and logistic regression analysis, Iowa State University.
30. Suyanto, M. L. (2018). Machine learning: Tingkat dasar dan lanjut. Informatika Bandung.
31. Tekin, A. T., & Sarı, C. (2022). Mağaza tabanlı talep tahmini: Topluluk öğrenmesi yaklaşımları ile zaman serisi yaklaşımı karşılaştırılması. International Engineering and Technology Management Summit 2022 (ETMS2022), İstanbul, 225-230.
32. Topre, G. (2022). Bank customer churn dataset [Veri seti]. Kaggle. https://www.kaggle.com/datasets/gauravtopre/bank-customer-churn-dataset
33. Văduva, A. G., Oprea, S. V., Niculae, A. M., Bâra, A., & Andreescu, A. I. (2024). Improving churn detection in the banking sector: A machine learning approach with probability calibration techniques. Electronics (Switzerland), 13(22). https://doi.org/10.3390/electronics13224527
34. Vijayakumar Bharathi, S., Pramod, D., & Raman, R. (2022). An ensemble model for predicting retail banking churn in the youth segment of customers. Data, 7(5), 61. https://doi.org/10.3390/data7050061
35. Wanikar, P., Maurya, S., Vishvakarma, M., Sujatha, K., Rakesh, N., Vimal, V., & Shelke, N. (2024). Telco customer churn prediction using ML models. International Journal of Intelligent Systems and Applications in Engineering, 12(2), 644–653. https://ijisae.org/index.php/IJISAE/article/view/4309