Sentiment Analysis with Machine Learning Algorithms on Turkish Product Reviews on E-Commerce Sites

Year 2023, Volume: 6 Issue: 2, 15 - 23, 21.12.2023

Seda Kılıçer , Rüya Şamlı

Abstract

In this study, sentiment analysis was carried out by applying various machine learning algorithms on the data set consisting of 11412 Turkish comments about electronic devices on e-commerce sites. Mood states obtained from this data set were classified as positive, negative and neutral. The machine learning algorithms used are K-Nearest neighbor (IBK), KStar, Naive Bayes (NB), Naive Bayes Multinomial (NBM), Logistic Regression (LR), Support Vector Machine (DVM), Decision Tree (J48) and Random Forest ( RO) form. The successes obtained according to precision, sensitivity, F-score, AUC criteria were compared using the K-layer cross validation method and machine learning algorithms. The results obtained in separate tables for positive, negative and neutral comments and according to the weighted average are compared. According to these results, the highest AUC value is with NBM and RO algorithms; The weighted average highest AUC value was also obtained with the NBM algorithm. The successes achieved as a study on neutral sentences with large datasets support further studies on neutral sentences. In addition, in this study, the importance of algorithm selection is shown by using 8 different algorithms.

E-Ticaret Sitelerindeki Türkçe Ürün Yorumları Üzerine Makine Öğrenmesi Algoritmaları ile Duygu Analizi

Abstract

Bu çalışmada e-ticaret sitelerindeki elektronik cihazlar hakkında yapılan Türkçe 11412 yorumdan oluşan veri seti üzerinde çeşitli makine öğrenmesi algoritmaları uygulanarak duygu analizi yapılmıştır. Bu veri setinden elde edilen duygu durumları pozitif, negative,nötr olarak sınıflandırılmıştır. Kullanılan makine öğrenmesi algoritmaları K-En yakın komşu (IBK), KStar, Naive Bayes (NB), Naive Bayes Multinominal (NBM), Lojistik Regresyon (LR), Destek Vektör Makinesi (DVM), Karar Ağacı (J48) ve Rastgele Orman (RO) şeklindedir. K-katmanlı çapraz doğrulama yöntemi ile makine öğrenmesi algoritmaları kullanılarak kesinlik, duyarlılık,
F-skor, AUC kriterlerine göre elde edilen başarılar karşılaştırılmıştır. Pozitif, negative nötr, yorumlar için ve ağırlıklı ortalamaya göre ayrı tablolarda elde edilen sonuçlar kıyaslanmıştır. Bu sonuçlara göre en yüksek AUC değeri NBM ve RO algoritmalar ile; ağırlıklı ortalama en yüksek AUC değeri de NBM algoritması ile elde edilmiştir. Büyük veri setleri ile nötr cümleler üzerine yapılan bir çalışma olarak elde edilen başarılar nötr cümleler üzerine daha fazla çalışma yapılmasını desteklemektedir. Ayrıca bu çalışmada 8 farklı algoritma kullanılarak algoritma seçiminin önemi gösterilmiştir.

Keywords

Duygu Analizi, Makine öğrenmesi algoritmaları Naive Bayes Multinominal, F-skor, AUC.

References

• [1] Şahinaslan, Ö., Dalyan, H., Şahinaslan, E. 2022. Naive Bayes Sınıflandırıcısı Kullanılarak Youtube Verileri Üzerinden Çok Dilli Duygu Analizi. Bilişim Teknolojileri Dergisi, 15(2), 221-229.
• [2] Mandloi, L., Patel, R. 2020. Twitter Sentiments Analysis Using Machine Learninig Methods, International Conference for Emerging Technology, 1-5.
• [3] Alaca, M., Güran, A. 2022. Covid-19 Salgını Sürecinde Duygu Skorlarının Ve Teknik İndikatörlerin Kullanılmasıyla Bist 100 Endeksi Trend Tahmini. Bilişim Teknolojileri Dergisi, 15(4), 379-388.
• [4] Demir Ö, Chawai, A.I.B., Doğan, B. 2019. Türkçe Metinlerde Sözlük Tabanli Yaklaşimla Duygu Analizi Ve Görselleştirme. International Periodical Of Recent Technologies In Applied Engineering, 1(2), 58-66.
• [5] Dehkharghani, R., Saygin, Y., Yanikoglu, B., Oflazer, K. 2016. SentiTurkNet: a Turkish polarity lexicon for sentiment analysis. Language Resources and Evaluation, 50, 667-685.
• [6] Yadav, K, Patel, M. 2021. Sentiment Analysis on Restaurant Review using Hybrid Approach. International Journal for Research in Applied Science & Engineering Technology, 9(5), 1999-2006.
• [7] Kılıcer, S., Samli, R. 2022. Farklı dillerdeki metinler üzerinde yapılan duygu analizi çalışmalarının incelenmesi. Dicle Üniversitesi Mühendislik Fakültesi Mühendislik Dergisi, 13(3), 493-509.
• [8] Çetin M, Amasyalı M.F. 2013. Eğiticili ve Geleneksel Terim Ağırlıklandırma Yöntemleriyle Duygu Analizi. Signal Processing and Communications Applications Conference.
• [9] Nizam H, Akın S.S. 2014. Sosyal Medyada Makine Öğrenmesi ile Duygu Analizinde Dengeli Ve DengesizVeri Setlerinin Performanslarının Karşılaştırılması. Türkiye'de İnternet Konferans, 1(6), 873-883.
• [10] Nalçakan, Y. Bayramoğlu, Ş. S. Tuna, S. 2015. Sosyal Medya Verileri Üzerinde Yapay Öğrenme ile Duygu Analizi Çalışması. Technical Report.
• [11] Çoban Ö, Özyet B, Tümüklü Özyer G. 2015. Türkçe Twitter Mesajlarının Duygu Analizi. Signal Processing and Communications Applications Conference.
• [12] Aytuğ O, 2017. Twitter mesajlari üzerinde makine öğrenmesi yöntemlerine dayali duygu analizi. Yönetim Bilişim Sistemleri Dergisi, 3(2), 1- 14.
• [13] Karamanlı E., 2019. Makine Öğrenmesi Algoritmaları Kullanarak, Metin Madenciliği Ve Duygu Analizi İle Müşteri Deneyiminin Geliştirilmesi. İstanbul Üniversitesi Yüksek Lisans Tezi.
• [14] Tuzcu, S. 2020. Çevrimiçi Kullanıcı Yorumlarının Duygu Analizi ile Sınıflandırılması. Eskişehir Türk Dünyası Uygulama ve Araştırma Merkezi Bilişim Dergisi, 1(2), 1-5.
• [15] Aktaş, Ö., Coskuner, B., Soner, İ. 2021. Turkish Sentiment Analysis Using Machine Learning Methods: Application on Online Food Order Site Reviews. Journal of Artificial Intelligence and Data Science, 1(1) 1-10.
• [16] Çılgın, C., Gökçen, H., Gökşen, Y. 2023. Sentiment analysis of public sensitivity to COVID-19 vaccines on Twitter by majority voting classifier-based machine learning. Journal of the Faculty of Engineering and Architecture of Gazi University, 38(2), 1093-1104.
• [17] Kumaş, E. 2021. Türkçe Twitter Verilerinden Duygu Analizi Yapılırken Sınıflandırıcıların Karşılaştırılması. Eskişehir Türk Dünyası uygulama ve Araştırma Merkezi Bilişim Dergisi, 2(2), 1-5.
• [18] https://www.kaggle.com/datasets/mujdatcabuk/eticaret-urun-yorumlari
• [19] Şenel, F. A., Saygın, R. R., Saygın, M., & Öztürk, Ö. 2021. Makine Öğrenmesi Algoritmaları Kullanılarak Vücut Analizi ile Uyku Apnesi Teşhisi. Uyku Bülteni, 2(1), 6-10.
• [20] Shirzadova, S., & Uysal, A. K. 2022. Türkçe YouTube Yorumları Üzerinde Spam Filtreleme. Düzce Üniversitesi Bilim ve Teknoloji Dergisi, 10(4), 1793-1810.
• [21] B. Oralhan, 2020. Veri madenciliği yaklaşımı ile telekomunikasyon sektöründe arıza giderme analizi. Business & Management Studies: An International Journal, 8,(1), 1026-1043.
• [22] Başer B.Ö, Yangın, M., Sarıdaş E.S. 2021. Makine öğrenmesi teknikleriyle diyabet hastalığının sınıflandırılması. Süleyman Demirel Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 25(1), 112-120.
• [23] Bilgin, M. 2017. Gerçek veri setlerinde klasik makine öğrenmesi yöntemlerinin performans analizi. Akademik Bilişim Konferansı, 2(9), 683.
• [24] Çelik, E., Deniz, D.A.L., Aydin, T. 2021. Duygu Analizi İçin Veri Madenciliği Sınıflandırma Algoritmalarının Karşılaştırılması. Avrupa Bilim ve Teknoloji Dergisi, (27), 880-889.
• [25] Göçkün Ö, Onan A., 2021. Amazon ürün değerlendirmeleri üzerinde derin öğrenme/makine öğrenmesi tabanlı duygu analizi yapılması, Avrupa Bilim ve Teknoloji Dergisi, 24,445-448.