Detection and Classification of Customer Comments Containing Complaints

Year 2023, Issue: 52, 37 - 45, 15.12.2023

Elif Ayanoğlu , Zeynep Çolak , Toygar Tanyel , Hasan Yunus Sarıoğlu , Banu Diri

Abstract

The Detection and Classification of Customer Reviews Containing Complaints system has been developed in order to determine exactly which feature of the product or service the person making the comment actually complains about in the negative comments made to the products on the e-commerce sites. In the first stage of the study, it was determined with 95% accuracy whether a comment about the product was positive or negative. In the second stage, it has been tried to determine which of the 5 categories that we have determined is included in the negative comment. Complaint category or categories belonging to the comment were determined by measuring the closeness between the word vectors extracted with Word2Vec of the predetermined keywords expressing the selected categories, the word in the comment and the sentence vector values obtained with the BERT, by measuring the cosine similarity. The most successful method was the method using word vectors extracted with Word2Vec, and in this method, the complaint category belonging to the comments was determined with an accuracy of 82.5% for single-label comments and 82% for two-label comments.

Keywords

Sentiment Analysis, Aspect Based, BERT, Word2Vec, CNN, LSTM

Şikayet İçeren Müşteri Yorumlarının Tespiti ve Sınıflandırılması

Abstract

Şikayet İçeren Müşteri Yorumlarının Tespiti ve Sınıflandırılması sistemi, e-ticaret sitelerindeki ürünlere yapılmış olan olumsuz yorumlarda, yorumu yapan kişinin aslında ürünün veya hizmetin tam olarak hangi özelliğinden şikayetçi olduğunu tespit etmek amacıyla geliştirilmiştir. Çalışmanın ilk aşamasında ürün hakkında yapılan bir yorumun olumlu veya olumsuz olup olmadığı %95 doğrulukla tespit edilmiştir. İkinci aşamasında da yapılan olumsuz yorumun belirlemiş olduğumuz 5 adet kategoriden hangisine dahil olduğu tespit edilmeye çalışılmıştır. Seçilen kategorileri ifade eden önceden belirlenmiş anahtar kelimelerin Word2Vec ile çıkarılmış kelime vektörleri ile yorum içerisinde geçen kelime ve BERT ile elde edilen cümle vektör değerleri arasındaki yakınlık kosinüs benzerliği ile ölçülerek yoruma ait olan şikayet kategorisi veya kategorileri belirlenmiştir. En başarılı yöntem Word2Vec ile çıkarılmış olan kelime vektörlerinin kullanıldığı yöntem olmuştur ve bu yöntemde yorumlara ait olan şikayet kategorisi tek etiketli yorumlar için %82,5, iki etiketli yorumlar için de %82 doğrulukla tespit edilmiştir.

Keywords

Duygu Analizi, hedef tabanlı, BERT, Word2Vec, CNN, LSTM

References

• Acikalin, U. U., Bardak, B., & Kutlu, M. (2020, October). Turkish sentiment analysis using bert. In 2020 28th Signal Processing and Communications Applications Conference (SIU) (pp. 1-4). IEEE.
• Tanyel, T., Alkurdi, B., & Ayvaz, S. (2022, September). Linguistic-based Data Augmentation Approach for Offensive Language Detection. In 2022 7th International Conference on Computer Science and Engineering (UBMK) (pp. 1-6). IEEE.
• Ahmetoğlu, H., & Resul, D. A. Ş. (2020). Türkçe Otel Yorumlarıyla Eğitilen Kelime Vektörü Modellerinin Duygu Analizi ile İncelenmesi. Süleyman Demirel Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 24(2), 455-463.
• Akba, F., Uçan, A., Sezer, E. A., & Sever, H. (2014, July). Assessment of feature selection metrics for sentiment analyses: Turkish movie reviews. In 8th European Conference on Data Mining (Vol. 191, No. 2002, pp. 180-184).
• Akgül, E. S., Ertano, C., & Diri, B. (2016). Twitter verileri ile duygu analizi. Pamukkale University Journal of Engineering Sciences, 22(2).
• Suat, A. T. A. N., & ÇINAR, Y. (2019). Borsa İstanbul’da finansal haberler ile piyasa değeri ilişkisinin metin madenciliği ve duygu (sentiment) analizi ile incelenmesi. Ankara Üniversitesi SBF Dergisi, 74(1), 1-34.
• Bayraktar, K., Yavanoglu, U., & Ozbilen, A. (2019, December). A rule-based holistic approach for Turkish aspect-based sentiment analysis. In 2019 IEEE International Conference on Big Data (Big Data) (pp. 2154-2158). IEEE.
• Çetin, F. S., & Eryiğit, G. (2018). Türkçe hedef tabanlı duygu analizi için alt görevlerin incelenmesi–hedef terim, hedef kategori ve duygu sınıfı belirleme. Bilişim Teknolojileri Dergisi, 11(1), 43-56.
• Ciftci, B., & Apaydin, M. S. (2018, September). A deep learning approach to sentiment analysis in Turkish. In 2018 International Conference on Artificial Intelligence and Data Processing (IDAP)(pp. 1-5). IEEE.
• Dehkharghani, R. (2018). A hybrid approach to generating adjective polarity lexicon and its application to turkish sentiment analysis. International Journal of Modern Education and Computer Science, 11(11), 11.
• Dehkharghani, R., Yanikoglu, B., Saygin, Y., & Oflazer, K. (2017). Sentiment analysis in Turkish at different granularity levels. Natural Language Engineering, 23(4), 535-559.
• Demirci, G. M., Keskin, Ş. R., & Doğan, G. (2019, December). Sentiment analysis in Turkish with deep learning. In 2019 IEEE international conference on big data (big data) (pp. 2215-2221). IEEE.
• Kama, B., Ozturk, M., Karagoz, P., Toroslu, I. H., & Kalender, M. (2017, November). Analyzing implicit aspects and aspect dependent sentiment polarity for aspect-based sentiment analysis on informal Turkish texts. In Proceedings of the 9th international conference on management of digital EcoSystems (pp. 134-141).
• Öztürk, Z. K., Cicek, Z. I., & Ergül, Z. (2017). Sentiment analysis: an application to anadolu university.
• Karagoz, P., Kama, B., Ozturk, M., Toroslu, I. H., & Canturk, D. (2019). A framework for aspect based sentiment analysis on turkish informal texts. Journal of Intelligent Information Systems, 53, 431-451.
• Karamollaoğlu, H., Doğru, İ. A., Dörterler, M., Utku, A., & Yıldız, O. (2018, September). Sentiment analysis on Turkish social media shares through lexicon based approach. In 2018 3rd International Conference on Computer Science and Engineering (UBMK) (pp. 45-49). IEEE.
• Karaöz, B., & Gürsoy, U. T. (2018). Adaptif öğrenme sözlüğü temelli duygu analiz algoritması önerisi. Bilişim Teknolojileri Dergisi, 11(3), 245-253.
• Karcioğlu, A. A., & Aydin, T. (2019, April). Sentiment analysis of Turkish and english twitter feeds using Word2Vec model. In 2019 27th Signal Processing and Communications Applications Conference (SIU) (pp. 1-4). IEEE.
• Kaya, M., Fidan, G., & Toroslu, I. H. (2012, December). Sentiment analysis of Turkish political news. In 2012 IEEE/WIC/ACM International Conferences on Web Intelligence and Intelligent Agent Technology (Vol. 1, pp. 174-180). IEEE.
• Kaynar, O., Görmez, Y., Yıldız, M., & Albayrak, A. (2016, September). Makine öğrenmesi yöntemleri ile Duygu Analizi. In International Artificial Intelligence and Data Processing Symposium (IDAP'16) (Vol. 17, No. 18, pp. 17-18).
• Nalçakan, Y., Bayramoğlu, Ş. S., & Tuna, S. (2015). Sosyal Medya Verileri Üzerinde Yapay Öğrenme ile Duygu Analizi Çalışması. Technical Report.
• Nizam, H., & Akın, S. S. (2014). Sosyal medyada makine öğrenmesi ile duygu analizinde dengeli ve dengesiz veri setlerinin performanslarının karşılaştırılması. XIX. Türkiye'de İnternet Konferansı, 1(6).
• Parlar, T., Özel, S. A., & Song, F. (2018). QER: a new feature selection method for sentiment analysis. Human-centric Computing and Information Sciences, 8, 1-19.
• Santur, Y. (2019, September). Sentiment analysis based on gated recurrent unit. In 2019 International Artificial Intelligence and Data Processing Symposium (IDAP) (pp. 1-5). IEEE.
• Shehu, H. A., & Tokat, S. (2020). A hybrid approach for the sentiment analysis of Turkish Twitter data. In Artificial Intelligence and Applied Mathematics in Engineering Problems: Proceedings of the International Conference on Artificial Intelligence and Applied Mathematics in Engineering (ICAIAME 2019) (pp. 182-190). Springer International Publishing.
• Shehu, H. A., Tokat, S., Sharif, M. H., & Uyaver, S. (2019, December). Sentiment analysis of Turkish Twitter data. In AIP Conference Proceedings (Vol. 2183, No. 1, p. 080004). AIP Publishing LLC.
• Uslu, A., Tekin, S., & Aytekin, T. (2019, April). Sentiment analysis in Turkish film comments. In 2019 27th Signal Processing and Communications Applications Conference (SIU) (pp. 1-4). IEEE.
• Velioğlu, R., Yıldız, T., & Yıldırım, S. (2018, September). Sentiment analysis using learning approaches over emojis for Turkish tweets. In 2018 3rd International Conference on Computer Science and Engineering (UBMK) (pp. 303-307). IEEE.
• Vural, A. G., Cambazoglu, B. B., Senkul, P., & Tokgoz, Z. O. (2013). A framework for sentiment analysis in turkish: Application to polarity detection of movie reviews in turkish. In Computer and information sciences III: 27th international symposium on computer and information sciences (pp. 437-445). Springer London.
• Yurtalan, G., Koyuncu, M., & Turhan, Ç. (2019). A polarity calculation approach for lexicon-based Turkish sentiment analysis. Turkish Journal of Electrical Engineering and Computer Sciences, 27(2), 1325-1339.
• Öztürk, N., & Ayvaz, S. (2018). Sentiment analysis on Twitter: A text mining approach to the Syrian refugee crisis. Telematics and Informatics, 35(1), 136-147.