Comparative Analysis of XAI Techniques on Telecom Churn Prediction Using SHAP and Interpreted ML Partial Dependence

Abstract

A comparative analysis of two prominent Explainable Artificial Intelligence (XAI) techniques, SHAP (SHapley Additive exPlanations) and Interpreted ML Partial Dependence, was conducted on a Telecom Churn dataset. The objective of this study was to evaluate and compare the effectiveness of these techniques in enhancing the transparency and interpretability of machine learning models, specifically in telecom churn prediction. The study emphasizes the importance of XAI in ensuring trust and comprehension in predictive modeling. The methodology outlined the steps of data preprocessing and model training. Two separate analyses using SHAP and Interpreted ML Partial Dependence were conducted to evaluate their effectiveness in explaining model decisions and uncovering feature importance. The results of both techniques were discussed, highlighting their strengths and weaknesses, and providing valuable insights into interpretability and robustness. The SHAP analysis demonstrated that it is a powerful tool for identifying which features influence churn, thereby making it easier to understand why the model made certain predictions. The Interpreted ML Partial Dependence method showed the general effects of features, allowing for a broader perspective on model behavior. These results enhanced the transparency of model decisions, instilling trust in users and helping them understand how the model works. The comparative analysis contributed to understanding XAI methods and emphasized the importance of selecting appropriate techniques to enhance transparency in telecom churn prediction models.

Keywords

• Explainable Artificial Intelligence
• SHAP
• Interpreted ML Partial Dependence
• Transparency and interpretability

Comparative Analysis of XAI Techniques on Telecom Churn Prediction Using SHAP and Interpreted ML Partial Dependence

Abstract

Önde gelen iki Açıklanabilir Yapay Zeka (XAI) tekniği olan SHAP (SHapley Additive exPlanations) ve Interpreted ML Kısmi Bağımlılık, 7.043 müşteri kaydından oluşan gerçek bir Telekom Churn veri kümesi üzerinde karşılaştırmalı bir analizle değerlendirildi. Bu çalışmanın amacı, bu tekniklerin makine öğrenimi modellerinin şeffaflığını ve yorumlanabilirliğini artırmadaki etkinliğini, özellikle telekom abonelik iptali (churn) tahmini bağlamında karşılaştırmaktır. Çalışmada, %94,12 doğruluk oranına ulaşarak diğer makine öğrenimi modellerinden üstün performans gösteren XGBoost modeli kullanılmıştır. Metodoloji kapsamında veri ön işleme ve model eğitimi adımları açıklanmış, SHAP ve Interpreted ML Kısmi Bağımlılık yöntemleriyle yapılan iki ayrı analiz karşılaştırılmıştır. Elde edilen sonuçlar, bu tekniklerin güçlü ve zayıf yönlerini ortaya koyarak model yorumlanabilirliği ve dayanıklılığı hakkında önemli içgörüler sunmuştur. SHAP analizi, Sözleşme Türü (Contract), Aylık Ücretler (Monthly Charges) ve Teknik Destek (Tech Support) gibi özelliklerin müşteri kaybı üzerindeki etkisini güçlü bir şekilde belirleyerek, modelin belirli tahminlerde bulunma nedenlerini açıklamada etkili bir yöntem olduğunu göstermiştir. Örneğin, SHAP değerleri, kısa vadeli sözleşmelere sahip ve teknik destek hizmeti almayan müşterilerin, 0,6'nın üzerinde SHAP etkisine sahip olarak, churn olasılığının önemli ölçüde yüksek olduğunu göstermiştir. Bu detaylı analiz, bireysel müşteri tahminlerini anlamak için kritik bilgiler sağlamıştır. Öte yandan, Interpreted ML Kısmi Bağımlılık yöntemi, Aylık Ücretler ve Abonelik Süresi (Tenure) gibi değişkenlerin churn olasılığı üzerindeki genel etkilerini göstererek daha geniş bir bakış açısı sunmuştur. Analiz sonuçları, özellikle uzun süreli abonelik süresine sahip müşterilerin daha düşük churn olasılığına sahip olduğunu ortaya koymuştur. Bu çalışmanın temel katkısı, telekom sektörü için SHAP ve Interpreted ML Kısmi Bağımlılık yöntemlerinin karşılaştırmalı bir değerlendirmesini sunarak, yorumlanabilirlik ihtiyaçlarına göre uygun XAI tekniklerinin seçilmesine yönelik yapılandırılmış bir çerçeve sunmasıdır. SHAP, bireysel tahminleri açıklamak için güçlü bir araç sunarken, Kısmi Bağımlılık yöntemi makro düzeyde analizler yapmak ve yüksek seviyeli kararlar almak için faydalıdır. Bu karşılaştırmalı analiz, XAI yöntemlerinin daha iyi anlaşılmasına katkı sağlamakta ve telekom abonelik iptali tahmin modellerinde şeffaflığı artırmak için uygun tekniklerin seçilmesinin önemini vurgulamaktadır.

Keywords

• Açıklanabilir Yapay Zeka
• SHAP
• Yorumlanabilir ML
• Şeffaflık ve Yorumlanabilirlik

References

1. Y. Qi, Jun Wang, Xin Ma, Na Dong, Hong-Mei Yuan, "Coupon Recommendation System Based on Machine Learning and Simulated Annealing Algorithm," Other Conferences, 2023.
2. Fadhlullah Ramadhani, Reddy Pullanagari, Gabor Kereszturi, Jonathan Procter, "Mapping of Rice Growth Phases and Bare Land Using Landsat-8 OLI with Machine Learning," International Journal of Remote Sensing, 2020.
3. Yue Qiu, Jianan Fang, "Prediction of Potential Credit Card Users of Bank Based on Deep Learning," Neural Networks, Information and Communication Engineering, 2022.
4. Félix Lussier, Vincent Thibault, Benjamin Charron, Gregory Q. Wallace, Jean-Francois Masson, "Deep Learning and Artificial Intelligence Methods for Raman and Surface-enhanced Raman Scattering," Trends in Analytical Chemistry, 2020.
5. V Kirankumar, Somula Ramasubbareddy, G Kannayaram, K Nikhil Kumar, "Classification Of Diabetes Disease Using Support Vector Machine," Journal of Computational and Theoretical Nanoscience, 2019.
6. Garima Jain, Rajeev Ranjan Prasad, "Machine Learning, Prophet and XGBoost Algorithm: Analysis of Traffic Forecasting in Telecom Networks with Time Series Data," 2020 8th International Conference on Reliability, Infocom ..., 2020.
7. K. Kikuma, Takeshi Yamada, Koki Sato, K. Ueda, "Preparation Method in Automated Test Case Generation Using Machine Learning," Proceedings of the 10th International Symposium on ..., 2019.
8. Sandro Skansi, Kristina Sekrst, Marko Kardum, "A Different Approach for Clique and Household Analysis in Synthetic Telecom Data Using Propositional Logic," 2020 43rd International Convention on Information, ..., 2020.

9. Ryan Mukai, Zaid Towfic, Monika Danos, Mazen Shihabi, David Bell, "MSL Telecom Automated Anomaly Detection," 2020 IEEE Aerospace Conference, 2020.
10. Abdelrahim Kasem Ahmad, Assef Jafar, Kadan Aljoumaa, "Customer Churn Prediction in Telecom Using Machine Learning in Big Data Platform," Journal of Big Data, 2019.
11. Mingtao Wu, Zhengyi Song, Young B. Moon, "Detecting Cyber-physical Attacks in CyberManufacturing Systems with Machine Learning Methods," Journal of Intelligent Manufacturing, 2019.
12. Dorina Weichert, Patrick Link, Anke Stoll, Stefan Rüping, Steffen Ihlenfeldt, Stefan Wrobel, "A Review of Machine Learning for The Optimization of Production Processes," The International Journal of Advanced Manufacturing ..., 2019.
13. Raffaele Cioffi, Marta Travaglioni, Giuseppina Piscitelli, Antonella Petrillo, Fabio De Felice, "Artificial Intelligence and Machine Learning Applications in Smart Production: Progress, Trends, and Directions," Sustainability, 2020.
14. Zhenwei Zhang, Ervin Sejdic, "Radiological Images And Machine Learning: Trends, Perspectives, And Prospects," arXiveess.IV, 2019.
15. Jiajing Liu, Congming Wei, Shengjun Wen, An Wang, "Design and Implementation of A Physical Security Evaluation System for Cryptographic Chips Based on Machine Learning," Conference on Intelligent Computing and Human-Computer, 2023.
16. Kailai Chen, "On A Machine Learning Based Analysis of Online Transaction," Conference on Machine Learning and Computer Application, 2023.
17. W. A. W. A. Bakar, M. Zuhairi, M. Man, J. A. Jusoh, N. L. N. Josdi, "Deep Learning Algorithm Vs XGBoost Using Wisconsin Breast Cancer Diagnosis," Conference on Computer Science and Communication Technology, 2022.
18. Angona Biswas, MD Abdullah Al Nasim, Md Shahin Ali, Ismail Hossain, Dr. Md Azim Ullah, Sajedul Talukder, "Active Learning on Medical Image," arXiv-eess.IV, 2023.
19. Jun Gong, Yueyi Zhang, Siji Chen, Jingnan Liu, "Survey on The Application of Machine Learning in Elevator Fault Diagnosis," International Conference on Applied Mathematics, Modelling, 2023.
20. Johnson, J. M. (2019). Survey on Deep Learning with Class Imbalance.
21. Guo, Y., Wang, H., Hu, Q., Liu, H., Liu, L., Bennamoun, M. (2019). Deep Learning For 3D Point Clouds: A Survey.
22. Chen, J., Ran, X. (2019). Deep Learning With Edge Computing: A Review.
23. Hüllermeier, E., Waegeman, W. (2019). Aleatoric And Epistemic Uncertainty In Machine Learning: An Introduction To Concepts And Methods.
24. Dargan, S., Kumar, M., Ayyagari, M. R., Kumar, G. (2019). A Survey of Deep Learning and Its Applications: A New Paradigm to Machine Learning.
25. Duan, Y., Edwards, J. S., Dwivedi, Y. K. (2019). Artificial Intelligence for Decision Making in The Era of Big Data - Evolution, Challenges and Research Agenda. International Journal of Information Management, IF: 7.
26. Long, D., Magerko, B. (2020). What Is AI Literacy? Competencies and Design Considerations. Proceedings of the 2020 CHI Conference on Human Factors in..., IF: 6.
27. Shrestha, Y. R., Ben-Menahem, S. M., von Krogh, G. (2019). Organizational Decision-Making Structures in The Age of Artificial Intelligence. California Management Review, IF: 5.
28. Shen, Y., Song, K., Tan, X., Li, D., Lu, W., Zhuang, Y. (2023). HuggingGPT: Solving AI Tasks with ChatGPT and Its Friends in Hugging Face. arXiv-CS.CL, IF: 5.
29. Ma, S., Lei, Y., Wang, X., Zheng, C., Shi, C., Yin, M., Ma, X. (2023). Who Should I Trust: AI or Myself? Leveraging Human and AI Correctness Likelihood to Promote Appropriate Trust in AI-Assisted Decision-Making. arXiv-CS.HC, IF: 3.
30. Carlos Fernández-Loría; Foster Provost; Xintian Han; "Explaining Data-Driven Decisions Made By AI Systems: The Counterfactual Approach", ARXIV-CS.LG, 2020.
31. Remah Younisse; Ashraf Ahmad; Q. A. Al-Haija; "Explaining Intrusion Detection-Based Convolutional Neural Networks Using Shapley Additive Explanations (SHAP)", BIG DATA COGN. COMPUT., 2022.
32. Heewoo Jun; Alex Nichol; "Shap-E: Generating Conditional 3D Implicit Functions", ARXIV-CS.CV, 2023.
33. T. Pianpanit; Sermkiat Lolak; Phattarapong Sawangjai; Thapanun Sudhawiyangkul; Theerawit Wilaiprasitporn; "Parkinson’s Disease Recognition Using SPECT Image and Interpretable AI: A Tutorial", IEEE SENSORS JOURNAL, 2021.