Automated Analysis of E-Commerce Product Reviews with Machine Learning

Year 2023, Issue: 52, 110 - 121, 15.12.2023

Müjdat Çabuk Fatih Yücalar Mansur Alp Toçoğlu

Abstract

With the development of technology, the e-commerce sector has grown very rapidly. Thanks to this development, a large increase is observed in the comments made on the products. As the number of reviews of the products increased, it became very difficult to examine and analyze them one by one, and the sellers became unable to evaluate all the comments made on their products. Within the scope of this study, a sentiment analysis study was conducted on e-commerce product reviews. First, 15170 product reviews were collected from e-commerce platforms operating in Turkey. In the labeling phase of the raw data set, the comments were labeled twice as positive and negative at different times and a two-class data set was prepared. With this dataset, a model was trained using the Long-Short-Term Memory algorithm, and a data set containing 203274 comments collected from e-commerce platforms was automatically labeled with this model. In the second stage of the study, the performance of the automatically labeled dataset was compared with the manually labeled dataset using four different deep learning algorithms (Recurrent Neural Networks, Long-Short-Term Memory, Gated Recurrent Unit, Convolutional Neural Networks). In the last stage of the study, classification performances of four traditional machine learning (Logistic Regression, Support Vector Machines, Random Forest, Naive Bayes) and four different deep learning algorithms were compared using automatically labeled datasets with high classification performance. As a result of the experimental studies, it has been observed that deep learning algorithms are more successful than machine learning algorithms, and high results have been obtained in experiments where the data set automatically labeled with the developed model is used.

Keywords

Machine Learning, Deep Learning, Text Mining, Turkish Texts, E-commerce, Product Reviews

Makine Öğrenmesi ile E-Ticaret Ürün Yorumlarının Otomatik Analizi

Abstract

Teknolojinin gelişmesiyle birlikte e-ticaret sektörü oldukça hızlı bir büyüme sağlamıştır. Bu gelişim sayesinde ürünlere yapılan yorumlarda büyük oranlarda artış gözlemlenmektedir. Ürünlerin yorum sayıları arttıkça bunları tek tek inceleyip analiz etmek oldukça zorlaşmış ve satıcılar ürünlerine yapılan yorumların hepsini değerlendiremez duruma gelmiştir. Bu çalışma kapsamında, e-ticaret ürün yorumları üzerinden bir duygu analizi çalışması gerçekleştirilmiştir. Öncelikle Türkiye’de faaliyet gösteren e-ticaret platformlarından 15170 adet ürün yorumu toplanmıştır. Ham veri setinin etiketleme aşamasında yorumlar olumlu ve olumsuz olarak farklı zamanlarda iki kere etiketlenmiş ve iki sınıflı bir veri seti hazırlanmıştır. Bu veri seti ile Uzun-Kısa Süreli Bellek algoritması kullanılarak bir model eğitilmiş ve bu modelle yine e-ticaret platformlarından toplanan 203274 adet yorumun yer aldığı bir veri seti otomatik olarak etiketlenmiştir. Çalışmanın ikinci aşamasında, otomatik olarak etiketlenmiş veri setinin performansı dört farklı derin öğrenme algoritması (Tekrarlayan Sinir Ağları, Uzun-Kısa Süreli Bellek, Geçitli Tekrarlayan Birim, Evrişimli Sinir Ağları) kullanılarak manuel olarak etiketlenmiş veri setiyle karşılaştırılmıştır. Çalışmanın son aşamasında, yüksek sınıflandırma performansı gösteren otomatik olarak etiketlenmiş veri seti kullanılarak dört geleneksel makine öğrenmesi (Lojistik Regresyon, Destek Vektör Makineleri, Rastgele Orman, Naive Bayes) ile dört farklı derin öğrenme algoritmasının sınıflandırma performansları karşılaştırılmıştır. Yapılan deneysel çalışmalar sonucunda, derin öğrenme algoritmalarının makine öğrenmesi algoritmalarına kıyasla daha başarılı olduğu gözlemlenmiş ve geliştirilen modelle otomatik olarak etiketlenen veri setinin kullanıldığı deneylerde yüksek sonuçlar elde edilmiştir.

Keywords

Makine Öğrenmesi, Derin Öğrenme, Metin Madenciliği, Türkçe Metinler, E-ticaret, Ürün Yorumları

References

• Rumelli, M., Akkuş, D., Kart, Ö. ve Isik, Z. (2019) Türkçe Metinlerde Makine Öğrenmesi Algoritmaları ile Duygu Analizi. 2019 Innovations in Intelligent Systems and Applications Conference (ASYU). 31 Ekim – 02 Kasım, İzmir, Türkiye. (IEEE, 1-5)
• Topçu, A. E. ve Erkaya, A. E. (2020). Recent Research and Assessments for Computer Engineering. Ed.: Ahmet Ercan Topçu, Livre de Lyon, 1-14 s.
• Tuzcu, S. (2020), Çevrimiçi Kullanıcı Yorumlarının Duygu Analizi ile Sınıflandırılması. ESTUDAM Bilişim Dergisi. 1(2), 1-5.
• Mengutayci, Ü. ve Temurtas, H. (2021). Yapay Sinir Ağları ile Türkçe Otel Yorumlarının Sınıflandırılması. International Black Sea Coastline Countries Scientific Research Symposium – VI. 683-687
• Mayda, I. ve Korkmaz, M. (2018). Sentiment Analysis with Turkish Adjective Dictionary. 2018 Innovations in Intelligent Systems and Applications Conference (ASYU). 4-6 Ekim, Adana, Türkiye. (IEEE, 1-6)
• Gezici, G. ve Yanıkoğlu, B. (2018). Sentiment Analysis in Turkish. Theory and Applications of Natural Language Processing. 255–271.
• Pervan, N. ve Keleş, H. Y. (2017). Sentiment Analysis Using A Random Forest Classifier On Turkish Web Comments. Communications Faculty of Sciences University of Ankara Series A2-A3 Physical Sciences and Engineering. 59(2), 69-79.
• Onan, A. (2021). Ensemble of Classifiers and Term Weighting Schemes for Sentiment Analysis in Turkish. Scientific Research Communications. 1(1), 1-12.
• Demircan, M., Seller, A., Abut, F. ve Akay, M. F. (2021). Developing Turkish sentiment analysis models using machine learning and e-commerce data. International Journal of Cognitive Computing in Engineering. 2, 202-207.
• Toçoğlu, M. A., Öztürkmenoğlu, O. ve Alpkoçak, A. (2019). Emotion Analysis from Turkish Tweets using Deep Neural Networks. IEEE Access. 7, 183061-183069.
• Çataltaş, M., Doğramacı, S., Yumuşak, S. ve Öztoprak, K. (2020). Extraction of Product Defects and Opinions from Customer Reviews by Using Text Clustering and Sentiment Analysis. 2020 IEEE International Conference on Big Data (Big Data), Atlanta, ABD, 4529-4534.
• Maalouf, M. (2011). Logistic regression in data analysis: an overview. International Journal of Data Analysis Techniques and Strategies. 3(3), 281-299.
• Mahesh, B. (2020). Machine Learning Algorithms - A Review. International Journal of Science and Research (IJSR). 9(1), 381-386.
• Drăguţ, L., Belgiu, M. (2016). Random Forest in remote sensing: A review of applications and future directions. ISPRS Journal of Photogrammetry and Remote Sensing. 114, 24-31.
• LeCun, Y., Bengio, Y., Hinton, G. (2015). Deep learning. Nature. 521, 436–444.
• Yang, S., Yu X., Zhou, Y. (2020). LSTM and GRU Neural Network Performance Comparison Study: Taking Yelp Review Dataset as an Example. 2020 International Workshop on Electronic Communication and Artificial Intelligence (IWECAI). Shanghai, China, 98-101.
• Bozuyla, M., Özçift, A. (2022). Developing a fake news identification model with advanced deep language transformers for Turkish COVID-19 misinformation data. 30, 908-926.