Sentiment Analysis on Amazon Food Reviews Using Ensemble Learning Algorithms

Abstract

Nowadays, users prefer to share their opinions, suggestions, and complaints about the products and/or services they buy more on e-commerce sites, or they can decide to buy based on the comments written by other users. Sentiment analysis is very useful in determining their attitudes towards them. This study aims to perform ensemble learning-based sentiment analysis. For this purpose, firstly, data pre-processing was implemented on Amazon meal review data, the text was preprocessed, and the data was brought into a format suitable for learning models with feature engineering. Then the text has been classified according to whether it contained positive, negative, or neutral sentiments using Random Forest (RF), CatBoost, and XGBoost ensemble learning models. The obtained results have been evaluated in terms of training and test accuracy, precision, recall, and F1-score metrics. The highest test accuracy of 90.22% has been achieved in the classification using RF and CountVectorizer technique. In addition, the models have been tested on a new dataset created with web scraping. The results obtained provide insight into the company's products and services.

Keywords

• Ensemble Learning
• Natural Language Processing
• Sentiment Analysis
• Feature Engineering
• Web Scraping

Topluluk Öğrenmesi Algoritmaları Kullanarak Amazon Yemek Yorumları Üzerine Duygu Analizi

Abstract

Günümüzde kullanıcılar satın aldıkları ürün ve/veya hizmetler ile ilgili görüş, öneri ve şikayetlerini e-ticaret sitelerinde paylaşmayı daha çok tercih etmekte veya diğer kullanıcıların yazdıkları yorumları dikkate alarak satın alma işlemine karar verebilmektedir. Duygu analizi, kullanıcıların ürünlere karşı tutumlarını belirlemede oldukça yararlıdır. Bu çalışmada, topluluk öğrenmesi tabanlı duygu analizi yapılması amaçlanmıştır. Bu amaçla, ilk olarak Amazon yemek yorum verileri üzerinde veri önişleme adımları gerçekleştirilmiş, metin önişleme yapılmış ve öznitelik mühendisliği ile veriler öğrenme modelleri için istenilen formata getirilmiştir. Daha sonra Rastgele Orman, CatBoost ve XGBoost topluluk öğrenmesi modelleri kullanılarak olumlu, olumsuz ve tarafsız (nötr) duygular şeklinde sınıflandırma yapılmıştır. Eğitim ve test doğruluğu, kesinlik, duyarlılık ve F1-skor metrikleri açısından sonuçlar değerlendirilmiştir. En yüksek %90,22 test doğruluk değerine Rasgele Orman ve CountVectorizer tekniğinin kullanıldığı sınıflandırmada ulaşılmıştır. Ayrıca web kazıma ile oluşturulan yeni bir veri seti üzerinde modeller test edilmiştir. Elde edilen sonuçlar işletmenin ürün ve hizmetleri ile ilgili bir öngörü sunmaktadır.

Keywords

• Topluluk Öğrenmesi
• Doğal Dil İşleme
• Duygu Analizi
• Öznitelik Mühendisliği
• Web Kazıma

References

1. Kazmaier, J. & Van Vuuren, J. H. (2022). The Power of Ensemble Learning in Sentiment Analysis. Expert Systems with Applications, 187, 115819.
2. Çelik, E., Dal, D., & Aydın, T. (2021). Duygu Analizi İçin Veri Madenciliği Sınıflandırma Algoritmalarının Karşılaştırılması. Avrupa Bilim ve Teknoloji Dergisi, 27, 880-889.
3. Hemalatha S., & Ramathmika, R. (2019). Sentiment Analysis of Yelp Reviews by Machine Learning. Proceedings of the International Conference on Intelligent Computing and Control Systems (ICICCS 2019), IEEE, Madurai, Hindistan, 700-704.
4. Yarkareddy, S., Sasikala, T., & Santhanalakshmi, S. (2022). Sentiment Analysis of Amazon Fine Food Reviews. 2022 IEEE 4th International Conference on Smart Systems and Inventive Technology (ICSSIT), 20-22 Ocak 2022, Tirunelveli, Hindistan, 1242-1247.
5. Tokcaer, S. (2021). Türkçe Metinlerde Duygu Analizi. Yaşar Üniversitesi E-Dergisi, 16 (63), 1514-1534.
6. Pang, B., Lee, L., & Vaithyanathan, S. (2002). Thumbs Up? Sentiment Classification using Machine Learning Techniques, Conference on Empirical Methods in Natural Language Processing (EMNLP 2002), 6-7 Temmuz 2002, Philadelphia, ABD, 79-86.
7. Demirci, G. M., Keskin, Ş. R., & Doğan, G. (2019). Sentiment Analysis in Turkish with Deep Learning, 2019 IEEE International Conference on Big Data (Big Data), 09-12 Aralık 2019, Los Angeles, ABD, 2215-2221.
8. B. Engülü. 2018. Twitter Sentiment Analysis, Bahçeşehir Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, 62s, İstanbul.

9. Toçoğlu, M. A., Çelikten, A, Aygün, İ., & Alpkoçak, A. 2019. Türkçe Metinlerde Duygu Analizi için Farklı Makine Öğrenmesi Yöntemlerinin Karşılaştırılması. DEÜ Mühendislik Fakültesi Fen ve Mühendislik Dergisi, 21 (63), 719–25.
10. Seyfioğlu, M., & Demirezen. M. (2017). A Hierarchical Approach for Sentiment Analysis and Categorization of Turkish Written Customer Relationship Management Data, 2017 IEEE Federated Conference on Computer Science and Information Systems, 03-06 Eylül 2017, Prag, Çek Cumhuriyeti, 361-365.
11. Das, M., Roy, S., & Saha, R. (2020). Sentiment Analysis on Amazon Fine Food Reviews by using Linear Machine Learning Models. International Journal for Research in Applied Science & Engineering Technology (IJRASET), 8 (IX), 675-678.
12. Kumar, P. (2018). Kaggle - Amazon Fine Food Reviews Analysis - Naive Bayes, https://www.kaggle.com/code/premvardhan/amazon-fine-food-reviews-analysis-naive-bayes (14.01.2023).
13. Lasne, K. S., Nandrekar, S. S., Khan, A. A., & Ghorpade, T. (2021). Food Reviews Classification using Multi-Label Convolutional Neural Network Text Classifier, ITM Web of Conferences (ICACC-2021), 14-15 Temmuz 2021, Navi Mumbai, Hindistan, 40, 01009 (1-5).
14. Uzavcı, M. (2022). Türkçe Sosyal Medya İçeriklerinin Analizi İçin Sanal Asistan Tasarımı, Sakarya Üniversitesi, İşletme Entitüsü, Yüksek Lisans Tezi, 85s, Sakarya.
15. Onan, A. (2018). An Ensemble Scheme Based on Language Function Analysis and Feature Engineering for Text Genre Classification. Journal of Information Science, 44(1), 28–47.
16. Kuş, İ., Bozkurt Keser, S., & Yolaçan, E. N. (2021). Saldırı Tespit Sistemlerinde Topluluk Öğrenme Yöntemlerinin Kıyaslanması. Avrupa Bilim ve Teknoloji Dergisi, (31), 725-734.
17. Akcan, F., & Sertbaş, A. (2021). Topluluk Öğrenmesi Yöntemleri ile Göğüs Kanseri Teşhisi. Turkish Studies, 16(2), 511-527.
18. Kaggle. (2017). Amazon Fine Food Reviews, https://www.kaggle.com/datasets/snap/amazon-fine-food-reviews (12.11.2022).
19. Castellano, R. (2016). Exploratory Data visualization of Amazon fine food reviews, https://nycdatascience.com/blog/student-works/exploratory-data-visualization-of-amazon-fine-food-reviews/ (20.07.2023)
20. Ahmetoğlu, H., & Daş, R. (2020). Türkçe Otel Yorumlarıyla Eğitilen Kelime Vektörü Modellerinin Duygu Analizi ile İncelenmesi. Süleyman Demirel Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 24 (2), 455-463.
21. Bozkurt, A. H. (2023). Kaggle – Amazon Snacks & Sweets Reviews, https://www.kaggle.com/datasets/ademhilmibozkurt/newdata?select=5reviews.csv (20.07.2023)
22. Bozkurt, A. H. & Yalçın, N. (2023). Web Kazıma ve Makine Öğrenme Yöntemleri ile Duygu Analizi, III. Uluslararası Yapay Zeka ve Veri Bilimi Kongresi (ICADA 2023), 28 Temmuz 2023, İzmir, Türkiye, 13.
23. Rokach, L. (2010). Pattern Classification Using Ensemble Methods. World Scientific, 75, 244s.
24. Ünaldı, S., & Yalçın, N. (2022). Hava Kirliliğinin Makine Öğrenmesi Tabanlı Tahmini: Başakşehir Örneği. Mühendislik Bilimleri ve Araştırmaları Dergisi, 4 (1), 35-44.
25. Yıldırım, E. (2022). Hızlandırılmış Makine Öğrenmesi Algoritmaları ile Türkçe Sahte Haber Tespiti, Karabük Üniversitesi, Lisansüstü Eğitim Enstitüsü, Yüksek Lisans Tezi, 69 s, Karabük.
26. dmlc XGBoost. (2022). XGBoost Parameters, https://xgboost.readthedocs.io/en/stable/parameter.html (20.07.2023)
27. Wattanakitrungroj, N., Pinpo, N., & Tongman, S. (2021). Sentiment Polarity Classification using Minimal Feature Vectors and Machine Learning Algorithms, 12th International Conference on Advances in Information Technology (IAIT2021), 29 Haziran - 1 Temmuz 2021, Bangkok, Thailand, 18, 1-8.
28. Yalçın, N., & Ünaldı, S. (2022). Symptom Based COVID-19 Prediction Using Machine Learning and Deep Learning Algorithms. Journal of Emerging Computer Technologies, 2(1), 22-29.
29. Tahiroğlu, B. T. (2021). Lematizasyon ve Türkçe için bir Lematizasyon Uygulaması: elemanTR. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, (24), 475-486.
30. Al-Azani, S., & El-Alfy, E. S. M. (2017). Using Word Embedding and Ensemble Learning for Highly Imbalanced Data Sentiment Analysis in Short Arabic Text. Procedia Computer Science, 109, 359-366.