Makine Öğrenmesi ile Müşteri Şikayetlerinin Sınıflandırılması

Abstract

Müşteri memnuniyetinin bir göstergesi olan müşteri yorumları işletmeler açısından önemli bir veri kaynağı oluşturuken, aynı zamanda, işletmelerin ürün veya hizmetlerinde iyileştirme ve hataları düzeltebilmeleri açısından önem kazanmaktadır. Bunun yanında, farklı sorunlara yönelik müşteri yorum sayısı arttıkça çözüm önerileri geliştirme açısından bu büyüklükteki veri ile baş edebilmek zorlaşmaktadır. Bu çalışmada, Türkiye'nin önde gelen üç tüketici elektroniği perakende firmasına yapılan müşteri şikayetleri, çevrimiçi şikâyet platformlarından sikayetvar.com sitesinden alınmış, şikayetlerin otomatik kategorilere ayrılması ve analizi yapılmıştır. Çalışmada, İade/Değişim ve Geri Ödeme, Teslimat/Kargo, Müşteri İlişkileri ve Hizmetleri ve Garanti ve Servis olmaz üzere dört kategori belirlenerek, denetimli makine öğrenmesi algoritmalarından Lojistik Regresyon, Doğrusal Destek Vektör Makineleri ve Olasılıksal Dereceli Azalma kullanılarak eğitim ve test süreci gerçekleştirilmiştir. En başarılı sonuç %80 doğruluk ile Lojistik Regresyon ile sağlanmıştır. Bu sonuca göre etiketlenmemiş müşteri şikayetleri Lojistik Regresyon ile tahminlenip elde edilen bulgular yorumlanmış, işletmeler açısından büyük miktardaki şikâyet verisinin tahminlenerek kategorilere ayrılmasının önemi irdelenmiştir.

Keywords

• Makine Öğrenmesi
• Metin Sınıflandırma
• Müşteri Şikayetleri
• Doğal Dil İşleme

Classification of Customer Complaints with Machine Learning

Abstract

Customer comments, an important indicator of customer satisfaction, are a valuable data source for businesses and a significant tool for improving and correcting product or service errors. In addition, increasing number of customer comments for different problems complicates developing solutions with such a large amount of data. In this study, customer complaints submitted to three leading consumer electronics retail companies in Turkey were collected from the online complaint platform, sikayetvar.com, and automatic categorization and analysis of the complaints were conducted. In the study, four categories were determined as Return/Exchange and Refund, Delivery/Shipping, Customer Relations and Services, and Warranty and Repairs, and the training and testing process was carried out using supervised machine learning algorithms, i.e., Logistic Regression, Linear Support Vector Machines and Stochastic Gradient Descent. The most successful result was obtained via Logistic Regression with 80% accuracy. According to this result, unlabeled customer complaints were estimated by Logistic Regression, and the findings were interpreted. Subsequently, the importance of estimation and categorization of a large amount of complaint data for businesses was examined.

Keywords

• Machine Learning
• Text Classification
• Customer Complaints
• Natural Language Processing

References

1. Ahmed, H., Traore, I., & Saad, S. (2017). Detecting Opinion Spams and Fake News Using Text Classification. Security and Privacy, 1(1), e9. https://doi.org/10.1002/spy2.9
2. Amasyalı, M. F., & Yıldırım, T. (2004). Otomatik Haber Metinleri Sınıflandırma, Proceedings of the IEEE 12th Signal Processing and Communications Applications Conference, Kuşadası, 224–226.
3. Arı, O., & Akbıyık, A. (2022). Lojistik Regresyon ile Faydalı Müşteri Yorumlarını Tahminleme. Journal of Research in Business, 7(1), e15-32. https://doi.org/ 10.29228/JRB.1024602
4. Arslan, H., Kaynar, O., & Şahin, S. (2019). Classification of Customer Demands by Using Doc2Vec Feaure Extraction Method, 27th Signal Processing and Communications Applications Conference (SIU), Sivas, 1-4.
5. Aytekin, Ç., Sütçü, C. S., & Özfidan, U. (2018). Karar Ağacı Algoritması ile Metin Sınıflandırma: Müşteri Yorumları Örneği. Uluslararası Sosyal Araştırmalar Dergisi, 11(55), 782-792. https://doi.org/ 10.17719/jisr.20185537249
6. Barboza, F., Kimura, H., & Altman, E. (2017). Machine Learning Models and Bankruptcy Prediction. Expert Systems with Applications, 83, 405–417. https://doi.org/10.1016/j.eswa.2017.04.006
7. Başkaya, F., & Aydın, İ. (2017). Haber Metinlerinin Farklı Metin Madenciliği Yöntemleriyle Sınıflandırılması, 2017 International Artificial Intelligence and Data Processing Symposium (IDAP), 1-5.
8. Bilgin, M. (2017). Gerçek Veri Setlerinde Klasik Makine Öğrenmesi Yöntemlerinin Performans Analizi. 19. Akademik Bilişim Konferansı, Aksaray, 1-6.

9. Büyükeke, A., Sökmen, A., & Gencer, C. (2020). Metin Madenciliği ve Duygu Analizi Yöntemleri ile Sosyal Medya Verilerinden Rekabetçi Avantaj Elde Etme: Turizm Sektöründe Bir Araştırma. Journal of Tourism and Gastronomy Studies, 8(1), 322–335. https://doi.org/10.21325/jotags.2020.550
10. Chen, Q., Yao, L., & Yang, J. (2016). Short Text Classification Based on LDA Topic Model, 2016 International Conference on Audio, Language and Image Processing (ICALIP), 749-753.
11. Çınar, A. (2019). Sınıflandırma Algoritmaları ile Bir Metin Madenciliği Uygulaması. M. Erdal Balaban ve Elif Kartal (Ed.), Veri Madenciliği ve Makine Öğrenmesi: Temel Kavramlar, Algoritmalar, Uygulamalar, 105-140, İstanbul: Çağlayan Kitabevi.
12. Dalal, M. K., & Zaveri, M. A. (2011). Automatic Text Classification: A Technical Review. International Journal of Computer Applications, 28(2), 37-40. https://doi.org/10.5120/3358-4633
13. Dalian, Y., Yilun, L., Songbai, L., Xuejunc, L., & Liyong, M. (2015). Gear Fault Diagnosis Based on Support Vector Bachine Optimized by Artificial Bee Colony Algorithm. Mechanism and Machine Theory, 90, 219–229. https://doi.org/10.1016/j.mechmachtheory.2015.03.013
14. Deepa, N., Prabadevi, B., Maddikunta, P. K., Gadekallu, T. R., Baker, T., Khan, M. A., & Tariq, U. (2020). An AI-Based Intelligent System for Healthcare Analysis Using Ridge-Adaline Stochastic Gradient Descent Classifier. The Journal of Supercomputing, 77(2), 1998–2017. https://doi.org/10.1007/s11227-020-03347-2
15. Ekici, B., & Takcı, H. (2021). Spam Tespitinde Word2Vec ve TF-IDF Yöntemlerinin Karşılaştırılması ve Başarı Oranının Artırılması Üzerine Bir Çalışma. Bilecik Şeyh Edebali Üniversitesi Fen Bilimleri Dergisi, 8(2), 646-655. https://doi.org/10.35193/bseufbd.935247
16. Ercan, F. (2019). Sosyal Medyada Otel İşletmelerine Yönelik Yorumların Müşteri Memnuniyeti ve Memnuniyetsizliği Açısından Analizi. Selçuk Üniversitesi Sosyal Bilimler Meslek Yüksekokulu Dergisi, 22(2), 552–571. https://doi.org/10.29249/selcuksbmyd.569684
17. Gamgam, H., & Altunkaynak, B. (2021). SPSS Uygulamalı Regresyon Analizi, Ankara: Seçkin Yayıncılık.
18. Göker, H., & Tekedere, H. (2017). FATİH Projesine Yönelik Görüşlerin Metin Madenciliği Yöntemleri ile Otomatik Değerlendirilmesi. Bilişim Teknolojileri Dergisi, 10(3), 291-299. https://doi.org/10.17671/gazibtd.331041
19. Gültepe, Y. (2019). Makine Öğrenmesi Algoritmaları ile Hava Kirliliği Tahmini Üzerine Karşılaştırmalı Bir Değerlendirme. European Journal of Science and Technology, 16, 8–15. https://doi.org/10.31590/ejosat.530347
20. Güven, H. (2020). Covid-19 Sürecinde E-Ticaret Sitelerine Yöneltilen Müşteri Şikâyetlerinin İncelenmesi. Journal of Turkish Studies, 15(4), 511–530. http://doi.org/10.7827/TurkishStudies.44354
21. Hoşgör, H., & Tosun, N. (2019). İstanbul İlindeki Bir Üniversite Hastanesine Yapılan Şikâyetlerin İncelenmesi. Cumhuriyet Üniversitesi Edebiyat Fakültesi Sosyal Bilimler Dergisi, 43(2), 239-252.
22. Ikonomakis, M., Kotsiantis, S., & Tampakas, V. (2005). Text Classification Using Machine Learning Techniques. WSEAS Transactions on Computers, 4(8), 966-974.
23. Kaşıkçı, T., & Gökçen, H. (2014). Metin Madenciliği ile E-Ticaret Sitelerinin Belirlenmesi. Bilişim Teknolojileri Dergisi, 7(1), 25-32. http://doi.org/10.12973/bid.2014
24. Kazan, S., & Karakoca, H. (2019). Makine Öğrenmesi ile Ürün Kategorisi Sınıflandırma. Sakarya University Journal of Computer and Information Sciences, 2(1), 18-27. https://doi.org/10.35377/saucis.02.01.523139
25. Keskinkılıç, M., Ağca, Y., & Karaman, E. (2016). İnternet ve Bilgi Sistemleri Kullanımının Turizm Dağıtım Kanallarına Etkisi Üzerine Bir Uygulama. İşletme Araştırmaları Dergisi, 8(4), 445–445. https://doi.org/10.20491/isarder.2016.227
26. Khalid, S., Khalil, T., & Nasreen, S. (2014). A Survey of Feature Selection and Feature Extraction Techniques in Machine Learning, Proceedings of 2014 Science and Information Conference, SAI 2014, London.
27. Lykourentzou, I., Giannoukos, I., Nikolopoulos, V., Mpardis, G., & Loumos, V. (2009). Dropout Prediction in E-learning Courses through the Combination of Machine Learning Techniques. Computers & Education, 53(3), 950–965. https://doi.org/10.1016/j.compedu.2009.05.010
28. Özdemir, A., Onan, A., & Çınarlı Ergene, V. (2021). İş Tatmini Faktörlerini Belirlemeye ve Analiz Etmeye Yönelik Olarak Çalışanların Çevrimiçi Değerlendirmelerinin Sınıflandırıcı Topluluklarına Dayalı Analizi. Avrupa Bilim ve Teknoloji Dergisi, 28, 531-538. https://doi.org/10.31590/ejosat.1008691
29. Teker, Ö. (2021). Derinlemesine Python AI Natural Language Processing, İstanbul: Godoro Yayıncılık.
30. Tekin, M. C., & Tunalı, V. (2019). Yazılım Geliştirme Taleplerinin Metin Madenciliği Yöntemleriyle Önceliklendirilmesi. Pamukkale Üniversitesi Mühendislik Bilimleri Dergisi, 25(5), 615-620. https://doi.org/10.5505/pajes.2019.47827
31. Topçuoğlu Dönmez, D. ve Genç, E. (2021). COVID-19 Pandemi Sürecinin Kargo Sektörü Çalışanlarının İşe Yönelik Tutumlarına Etkisi: PTT Örneği. Optimum Ekonomi ve Yönetim Bilimleri Dergisi, 8(2), 373-396. https://doi.org/10.17541/optimum.875531
32. Tretyakov, K. (2004). Machine Learning Techniques in Spam Filtering, Data Mining Problem-Oriented Seminar, MTAT, Vol. 3, No. 177, 60-79.
33. Uysal, A. K., Günal, S., Ergin, S., & Günal, E. Ş. (2012). Mobil Telefonlarda İstenmeyen SMS Mesajlarının Belirlenmesi, 2012 20th Signal Processing and Communications Applications Conference (SIU), Muğla, 1-4.
34. Yıldız, O. (2017). Metin Madenciliğinde Anahtar Kelime Seçimi: Bir Üniversite Örneği. Yönetim Bilişim Sistemleri Dergisi. 2(1), 29-50.
35. Yılmaz, Ö. D. (2014). Tüketici Şikayetlerinin Örgütsel Öğrenme Aracı Olarak Değerlendirilmesi: Konaklama İşletmeleri ve Tur Operatörlerine Yönelik Şikayetler Üzerine Bir Araştırma. Atatürk Üniversitesi İktisadi ve İdari Bilimler Dergisi, 28(4), 131-148.