Analysis of User Comments with Sentiment Analysis and Ensemble Learning Approaches

Abstract

In this study, the comments made by users who purchased products on online shopping platforms were analyzed by using sentiment analysis techniques, which is one of the natural language processing approaches. Sentiment analysis was conducted on user comments received from a platform known as an online shopping platform in Turkey for years. Initially, 2237 comments were collected in a specific category. Basic natural language processing techniques were operated on the comments, the data was cleaned and made available for analysis. Then, the scores given by the users were compared with the sentiment analysis on the data set. While classifying user comments, Random Forest and AdaBoost approaches from community learning techniques were tried. As a result of the study, it was seen that the user comments were not consistent with the given score. The four-star category was the one with the most consistent ratings and comments made by the users. For this reason, it has been concluded that online shopping platforms should collect user comments in a more qualified way and develop systems on the validity of comments, integrate machine learning and natural language processing techniques into their systems.

Keywords

• Sentiment Analysis
• Ensemble Learning
• Random Forest Regression
• AdaBoost Regression

Duygu Analizi ve Topluluk Öğrenmesi Yaklaşımları ile Kullanıcı Yorumlarının Analizi

Abstract

Bu çalışmada doğal dil işleme yaklaşımlarından olan duygu analizi teknikleri kullanılarak çevrimiçi alışveriş platformlarında ürün satın almış kullanıcıların yaptıkları yorumlar analiz edilmiştir. Türkiye’de yıllardır çevrimiçi alışveriş platformu olarak bilinen bir platformdan alınan kullanıcı yorumları üzerinde duygu analizi yapılmıştır. İlk olarak belirli bir kategoride 2237 yorum toplanmıştır. Yorumların üzerinde temel doğal dil işleme teknikleri işletilmiş, veriler temizlenmiş ve analiz edilecek hale getirilmiştir. Ardından veri seti üzerinde duygu analizi ile kullanıcıların vermiş oldukları puanlar karşılaştırılmıştır. Kullanıcı yorumları sınıflandırılırken topluluk öğrenme tekniklerinden Random Forest ve AdaBoost yaklaşımları denenmiştir. Çalışma sonucunda kullanıcı yorumlarının verilen puan ile tutarlı olmadığını görülmüştür. Kullanıcıların verdikleri puanlar ile yaptıkları yorumların en uyumlu olduğu dört yıldız verilen kategori olmuştur. Bu nedenle çevrimiçi alışveriş platformlarının kullanıcı yorumlarını toplarken daha nitelikli toplaması ve yorumların geçerlilikleri üzerine sistem geliştirmeleri, makine öğrenmesi ve doğal dil işleme tekniklerini sistemlerine entegre etmeleri gerektiği sonucuna varılmıştır.

Keywords

• Duygu Analizi
• Topluluk Öğrenmesi
• Random Forest Regresyon
• AdaBoost Regresyon

References

1. [1] Albayrak A., “Preparing Interdisciplinary Graduate Course Contents Using Natural Language Processing Techniques,” Gazi Bilişim Teknolojileri Dergisi, pp. 373–383,doi: 10.17671/gazibtd.714447, 2020
2. [2] M. Giménez, J. Palanca, and V. Botti, “Semantic-based padding in convolutional neural networks for improving the performance in natural language processing. A case of study in sentiment analysis,” Neurocomputing, vol. 378, pp. 315–323, doi: 10.1016/j.neucom.2019.08.096 , 2020
3. [3] Bostancı B., and Albayrak A., "Duygu Analizi İle Kişiye Özel İçerik Önermek", Veri̇ Bi̇li̇mi̇ Dergi̇si̇, vol. 4, no. 1, pp. 53–60, 2021.
4. [4] Akın B., and Şimşek Umman T., "Social Media Analytics: Value Creation With Sentiment Analysis Analysis", Journal of Mehmet Akif Ersoy University Faculty of Economics and Administrative Sciences, pp. 1–14, 2017.
5. [5] P. Sasikala and L. M. I. Sheela, “Sentiment analysis of online product reviews using DLMNN and future prediction of online product using IANFIS,” J. Big Data, doi: 10.1186/s40537-020-00308-7 , 2020
6. [6] I. Chaturvedi, E. Cambria, R. E. Welsch, and F. Herrera, “Distinguishing between facts and opinions for sentiment analysis : Survey and challenges,” Inf. Fusion, vol. 44, no. June 2017, pp. 65–77, 2018, doi: 10.1016/j.inffus.2017
7. [7] Y. Mehmood and V. Balakrishnan, “An enhanced lexicon-based approach for sentiment analysis : a case study on illegal immigration,”, Online Information Review vol. 44, no. 5, pp. 1097–1117, doi: 10.1108/OIR-10-2018-0295, 2020
8. [8] C. Troussas, M. Virvou, K. J. Espinosa, K. Llaguno, and J. Caro, “Sentiment analysis of Facebook statuses using Naive Bayes Classifier for language learning,” IISA 2013 - 4th Int. Conf. Information, Intell. Syst. Appl., pp. 198–205, doi: 10.1109/IISA.2013.6623713, 2013

9. [9] I. Yahav, O. Shehory, and D. Schwartz, “Comments Mining With TF-IDF: The Inherent Bias and Its Removal,” IEEE Trans. Knowl. Data Eng., vol. 31, no. 3, pp. 437–450, doi: 10.1109/TKDE.2018.2840127, 2019.
10. [10] B. Ayan, B. Kuyumcu, and B. Cİylan, “Detection of Islamophobic Tweets on Twitter Using Sentiment Analysis,” Gazi Bilişim Teknolojileri Dergisi, vol. 7, no. 2, pp. 495–502, doi: 2019.
11. [11] E. S. Akgül, C. Ertano, and B. Diri, “Sentiment analysis with Twitter,” Pamukkale Univ. J. Eng. Sci., vol. 22, no. 2, pp. 106–110, doi: 10.5505/pajes.2015.37268, 2016
12. [12] B. Akın and U. T. GÜRSOY ŞİMŞEK, “Sosyal MedAnali̇ti̇ği̇İle Değer Yaratma: DuygAnali̇zi̇İle GeleceğeYöneli̇m,” Mehmet Akif Ersoy Üniversitesi İktisadi ve İdari Bilim. Fakültesi Derg., pp. 797–811, doi: 10.30798/makuiibf.435804,2018
13. [13] C. Aydın, “Classification of fire station requirement using machine learning algorithms,” European Journal of Science and Technology, no. 14, pp. 169–175, doi: 10.31590/ejosat.458613, 2018.
14. [14] H. Tang, S. Tan, and X. Cheng, “Expert Systems with Applications A survey on sentiment detection of reviews,” Expert Syst. Appl., vol. 36, no. 7, pp. 10760–10773, doi: 10.1016/j.eswa.2009.02.063, 2009.
15. [15] G. G. Sundarkumar and V. Ravi, “Engineering Applications of Arti fi cial Intelligence Brief paper A novel hybrid undersampling method for mining unbalanced datasets in banking and insurance,” Eng. Appl. Artif. Intell., vol. 37, pp. 368–377, doi: 10.1016/j.engappai.2014.09.019, 2015.
16. [16] J. Villanu and A. Lo, “Neurocognitive disorder detection based on feature vectors extracted from VBM analysis of structural MRI”, Comput Biol Med vol. 41, pp. 600–610, doi: 10.1016/j.compbiomed,05.010, 2011.
17. [17] T. Vidal and M. Schiffer, “Born-Again Tree Ensembles,” 37th International Conference on Machine Learning (ICML). Vol. 119, pp. 9743-9753, 2020.
18. [18] H. Liu and L. Zhang, “Advancing Ensemble Learning Performance through data transformation and classifiers fusion in granular computing context,” Expert Syst. Appl., vol. 131, pp. 20–29, doi: 10.1016/j.eswa.2019.04.051, 2019
19. [19] M. Saarela and S. Jauhiainen, “Comparison of feature importance measures as explanations for classification models,” SN Appl. Sci., vol. 3, no. 2, pp. 1–12, doi: 10.1007/s42452-021-04148-9, 2021.
20. [20] S. Kar et al., “An ensemble machine learning approach for determination of the optimum sampling time for evapotranspiration assessment from high-throughput phenotyping data,” Comput. Electron. Agric., vol. 182, no. doi: 10.1016/j.compag.2021.105992, June 2020, 2021
21. [21] S. Lahmiri, S. Bekiros, A. Giakoumelou, and F. Bezzina, “Performance assessment of ensemble learning systems in financial data classification,” Intell. Syst. Accounting, Financ. Manag., vol. 27, no. 1, pp. 3–9, doi: 10.1002/isaf.1460,2020.