E-Ticaret ve sosyal medya yorumlarının analizinde lemmatizasyonun etkisi: adlandırılmış varlık tanıma ve duygu analizi tabanlı bir yaklaşım

Öz

İnternetin yaygınlaşmasıyla birlikte müşteriler, satın alma kararlarını verirken çevrimiçi yorumları ve puanlamaları dikkate almaktadır. Ancak, artan veri hacmi ve bilgi kirliliği, kullanıcıların doğru bilgiye ulaşmasını zorlaştırmaktadır. Bu makalede, olumsuz duygu tespitinde lemmatizasyon işleminin etkilerini incelemek amacıyla denenen üç farklı yöntem açıklanmakta ve olumsuzluk eki içeren kelimelere lemmatizasyon uygulanmamasının en başarılı sonuçları verdiği gösterilmektedir. Geliştirilen yöntem, iki farklı çalışmada kullanılarak duygu analizi doğruluğunu artırmada etkili olmuştur. İlk çalışmada, kullanıcıların ürün özelliklerine göre doğru tercihler yapmasını sağlayan bir öneri sistemi geliştirilmiştir. Burada, Trendyol e-ticaret platformundan elde edilen 85000 kullanıcı yorumuna dayalı bir veri seti kullanılmıştır. Sistem, tüketici yorumlarını adlandırılmış varlık tanıma ve duygu analizi teknikleriyle işleyerek, ürün özelliklerine yönelik puanlama yapmaktadır. Ayrıca, yorumların doğruluğunu artırmak için standart yıldız puanlama sisteminden farklı olarak "Hesaplanan Yıldız Puanı" yöntemi geliştirilmiş ve daha güvenilir bir değerlendirme sağlanmıştır. Yapılan deneyler sonucunda, adlandırılmış varlık tanıma modelinde 0.894, duygu analizi modelinde ise 0.838 F1 skoru elde edilmiştir. İkinci çalışma, müşteri yorumlarının analiz edilerek şirketlere geri bildirim sağlanmasını amaçlamaktadır. Toplamda 96960 yorum Twitter platformundan elde edilmiştir. Yorumlardaki şirket isimleri adlandırılmış varlık tanıma tekniği ile belirlenmiş, ardından her bir varlık için duygu analizi yapılmıştır. Bu sayede, geleneksel yöntemlerden farklı olarak cümle bazında değil, varlık bazında duygu belirleme gerçekleştirilmiştir. Bu çalışmada hem adlandırılmış varlık tanıma hem de duygu analizi modelinde 0.801 F1 skoru elde edilmiştir. Elde edilen sonuçlar, geliştirilen yöntemlerin müşteri deneyimini iyileştirmede etkili olduğunu göstermektedir.

Anahtar Kelimeler

• Lemmatizasyon
• Adlandırılmış varlık tanıma
• Duygu analizi
• Öneri sistemi
• Müşteri geri bildirimi
• Doğal dil işleme (DDİ)

The effect of lemmatization in the analysis of e-commerce and social media comments: an approach based on named entity recognition and sentiment analysis

Abstract

With the widespread use of the Internet, customers consider online reviews and ratings when making purchasing decisions. However, increasing data volume and information pollution make it difficult for users to access accurate information. This paper describes three different methods tested to examine the effects of lemmatization on negative sentiment detection and show that not applying lemmatization to words containing negativity suffixes yields the most successful results. The developed method was used in two different studies to improve the accuracy of sentiment analysis. In the first study, a recommendation system was developed to help users make the right choices based on product features. Here, a dataset based on 85000 user reviews from the Trendyol e-commerce platform was used. The system processes consumer reviews with named entity recognition and sentiment analysis techniques to score product attributes. In addition, to increase the accuracy of the reviews, a “Calculated Star Score” method was developed different from the standard star scoring system and a more reliable evaluation was provided. As a result of the experiments, an F1 score of 0.894 was obtained in the named entity recognition model and 0.838 in the sentiment analysis model. The second study aims to provide feedback to companies by analyzing customer reviews. A total of 96960 reviews were obtained from the Twitter platform. The company names in the reviews were identified using named entity recognition, followed by sentiment analysis for each entity. In this way, unlike traditional methods, sentiment analysis is performed on an entity basis rather than on a sentence basis. In this study, an F1 score of 0.801 was obtained in both named entity recognition and sentiment analysis models. The results show that the developed methods are effective in improving customer experience.

Keywords

• Lemmatization
• Named entity recognition
• Sentiment analysis
• Recommendation system
• Customer feedback
• Natural language processing (NLP)

Kaynakça

1. [1] Kulak H. “COVID-19 pandemisinin e-ticaret üzerindeki etkisinin incelenmesi”. İmgelem, 7(12), 333-362, 2023.
2. [2] Statista. “Increase in social media usage due to COVID-19 worldwide as of April 2020”. https://www.statista.com/topics/7863/social-media-use-during-coronavirus-covid-19-worldwide/ (15.02.2024).
3. [3] Kaya M. “Satın alma davranışında yorumların rolü: Trendyol müşterileri üzerinden bir değerlendirme”. Maltepe Üniversitesi İletişim Fakültesi Dergisi, 7(1), 49-67, 2020.
4. [4] Kim D, Ferrin D, Rao R. “A trust-based consumer decision-making model in electronic commerce: The role of trust, perceived risk, and their antecedents”. Decision Support Systems, 44(2), 544-564, 2008.
5. [5] Jurafsky D, Martin JH. Speech and language processing. 2nd ed. New Jersey, USA, Prentice Hall, 2009.
6. [6] Pang B, Lee L. “Opinion mining and sentiment analysis”. Foundations and Trends in Information Retrieval, 2(1-2), 1-135, 2008.
7. [7] Liu B. “Sentiment analysis and opinion mining”. Synthesis Lectures on Human Language Technologies, 5(1), 1–167, 2012.
8. [8] Liang B, Su H, Gui L, Cambria E, Xu R. “Aspect-based sentiment analysis via affective knowledge enhanced graph convolutional networks”. Knowledge-Based Systems, 235, 107643, 2022.

9. [9] Kılıçer S, Şamlı R. “E-ticaret sitelerindeki Türkçe ürün yorumları üzerine makine öğrenmesi algoritmaları ile duygu analizi”. Veri Bilim Dergisi, 6(2), 15–23, 2023.
10. [10] Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez AN, Kaiser Ł, Polosukhin I. “Attention is all you need”. Advances in Neural Information Processing Systems, 30, 2017.
11. [11] Devlin J, Chang MW, Lee K, Toutanova K. “BERT: Pre-training of deep bidirectional transformers for language understanding”. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), Volume 1 (Long and Short Papers), Minneapolis, Minnesota, USA, 2-7 June 2019.
12. [12] Yildirim, S. (2024). Fine-tuning transformer-based encoder for turkish language understanding tasks. arXiv preprint arXiv:2401.17396.
13. [13] Gencer M. Yapısal Olmayan Metinler İçin Adlandırılmış Varlık Tanıma Algoritmaları ve Uygulamaları. Yüksek Lisans Tezi, Dokuz Eylül Üniversitesi, İzmir, Türkiye, 2022.
14. [14] Uludoğan G, Özçelik R, Parlar S, Ercan G, Yıldız OT. “Türkçe doğal dil işleme için arayüzler”. Signal Processing and Communications Applications Conference, Sivas, Turkey, 24-26 April 2019.
15. [15] Xia R, Zong C, Li S. “Ensemble of feature sets and classification algorithms for sentiment classification”. Information Sciences, 181(6), 1138-1152, 2011.
16. [16] Johnson R, Zhang T. “Effective use of word order for text categorization with convolutional neural networks”. Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), Denver, Colorado, USA, 31 May–5 June 2015.
17. [17] Akgül ES, Ertano C, Diri B. “Twitter verileri ile duygu analizi”. Pamukkale University Journal of Engineering Sciences, 22(2), 106-110, 2016.
18. [18] Aydın CR. Developing a comprehensive frameworks for sentiment analysis in Turkish. PhD Thesis, Boğaziçi University, İstanbul, Turkey, 2020.
19. [19] Yoldaş İN. “Türkçe metinlerde duygu analizi: Sözlük tabanlı yaklaşım ve insanların tepkilerinin karşılaştırılması”. ESTUDAM Bilişim Dergisi, 2(1), 1-6, 2021.
20. [20] Güven ZA. “Comparison of BERT Models and Machine Learning Methods for Sentiment Analysis on Turkish Tweets”. 2021 6th International Conference on Computer Science and Engineering (UBMK), Ankara, Turkey, 15-17 September 2021.
21. [21] Aslan S. “Doğal dil işleme teknikleri kullanarak e-ticaret kullanıcı incelemelerinde özellik tabanlı duygu analizi”. Fırat Üniversitesi Mühendislik Bilimleri Dergisi, 35(2), 875-882, 2023.
22. [22] Richardson L. “Beautiful Soup Documentation”. https://www.crummy.com/software/BeautifulSoup/ (20.02.2024)
23. [23] SeleniumHQ. “Selenium Documentation”. https://www.selenium.dev/ (20.02.2024).
24. [24] The pandas development team. “pandas-dev/pandas: Pandas”. https://doi.org/10.5281/zenodo.3509134 (11.03.2024).
25. [25] Çetin V, Yıldız O. “A comprehensive review on data preprocessing techniques in data analysis”. Pamukkale Üniversitesi Mühendislik Bilimleri Dergisi, 28(2), 299-312, 2022.
26. [26] Akın AA, Akın MD. “Zemberek-NLP: Natural Language Processing for Turkic Languages”. https://github.com/ahmetaa/zemberek-nlp (12.01.2024)
27. [27] Label Studio. “Label Studio: Multi-type data labeling tool”. https://labelstud.io (14.03.2024).
28. [28] Sawiński M, Węcel K, Księżniak E, Stróżyna M, Lewoniewski W, Stolarski P, Abramowicz W. “OpenFact at CheckThat! 2023: Head-to-Head GPT vs. BERT - A Comparative Study of Transformers Language Models for the Detection of Check-worthy Claims”. CLEF 2023: Conference and Labs of the Evaluation Forum, Thessaloniki, Greece, 18–21 September 2023.
29. [29] Özkurt C. “Comparative Analysis of State-of-the-Art Q&A Models: BERT, RoBERTa, DistilBERT, and ALBERT on SQuAD v2 Dataset”. Chaos and Fractals, 1(1), 19-30, 2024.
30. [30] Chatzimina E, Kampolis I, Varlamis I. “A Comparative Sentiment Analysis of Greek Clinical Conversations Using BERT, RoBERTa, GPT-2, and XLNet”. Bioengineering, 11(1), 521, 2024.
31. [31] Ramírez S. “FastAPI Documentation”. https://fastapi.tiangolo.com/ (24.02.2024).
32. [32] Goodfellow I, Bengio Y, Courville A. Deep Learning. MIT Press, 2016.
33. [33] Bengio Y, Boulanger-Lewandowski N, Pascanu R. “Advances in optimizing recurrent networks”. 29th International Conference on Machine Learning (ICML), Edinburgh, Scotland, 27 June – 3 July 2012.
34. [34] Smith LN. “Cyclical learning rates for training neural networks”. 2017 IEEE Winter Conference on Applications of Computer Vision (WACV), Santa Rosa, California, USA, 24-31 January 2017.
35. [35] Keskar NS, Mudigere D, Nocedal J, Smelyanskiy M, Tang PTP. “On large-batch training for deep learning: Generalization gap and sharp minima”. International Conference on Learning Representations (ICLR), Toulon, France, 24-26 April 2017.
36. [36] Hoffer E, Hubara I, Soudry D. “Train longer, generalize better: Closing the generalization gap in large batch training of neural networks”. Advances in Neural Information Processing Systems (NeurIPS), Long Beach, California, USA, 4-9 December 2017.