Comparison of Machine Learning Algorithms for Classification of Hotel Reviews: Sentiment Analysis of TripAdvisor Reviews

Abstract

Sentiment analysis can help extract meaningful information from these data piles from various websites and social media and measure consumers' reactions by classifying consumers' emotions as positive, negative or neutral. The success of sentiment analysis varies according to feature selection, vector space selection and machine learning method. For this reason, determining the most successful method in sentiment analysis is still controversial and important. A limited number of studies have been conducted comparing the success of various machine learning methods in sentiment analysis of hotel reviews in English. Considering this gap, the purpose of this research is to determine the most successful machine learning algorithm for sentiment analysis of hotel reviews. For this purpose, 708 reviews for 5-star hotels in Istanbul were collected manually. Obtained data were classified as positive and negative using logistic regression, k-nearest neighbor, naive Bayes and support vector machine methods. Analysis results show that the logistic regression method was the most successful classification algorithm, with an accuracy rate of 0.92. It is followed by support vector machine (0.90), naive Bayes method (0.77) and k-nearest neighbor algorithms (0.66).

Keywords

• Data Mining
• Machine Learning
• Text Mining
• Sentiment Analysis
• Hotel Reviews

Otel Yorumlarının Sınıflandırılmasında Makine Öğrenmesi Algoritmalarının Karşılaştırılması: Tripavdisor Yorumlarının Duygu Analizi

Abstract

İnternet kullanımının hızla yaygınlaşmasıyla birlikte insanlar fikirlerini, şikayetlerini, duygularını farklı platformlarda ifade etmeye başlamışlardır. Buna koşut olarak internette toplanan verilerin hacmi her geçen gün büyümektedir. Çeşitli web siteleri ve sosyal medya kullanımı sonucu ortaya çıkan büyük verinin analiz edilmesi için yeni teknikler geliştirilmiştir. Duygu analizi, bu veri yığınlarından anlamlı bilgilerin çıkarılmasına yardımcı olabilir. Duygu analizi sayesinde, işletmeler, tüketicilerin duygularını olumlu, olumsuz veya nötr olarak sınıflayarak tüketicilerin tepkilerini ölçebilmektedir. Bu çalışmanın amacı otellerle ilgili yorumların duygu analizinin gerçekleştirilmesinde en başarılı makine öğrenmesi algoritmasının belirlenmesidir. Çalışmada İstanbul’da hizmet veren 20 otele yönelik 708 yorum bir araya getirilmiştir. Otellere yönelik müşteri yorumlarının pozitif ve negatif olarak sınıflandırılması için denetimli makine öğrenmesi algoritmalarından lojistik regresyon, k-en yakın komşu, naive Bayes ve destek vektör makineleri yöntemleri kullanılarak algoritmaların performansları karşılaştırılmıştır. Araştırma sonuçlarına göre lojistik regresyon yöntemi en başarılı yöntem olarak belirlenmiştir. Lojistik regresyon yöntemini sırasıyla destek vektör makineleri, naive Bayes ve k- en yakın komşu algoritmaları izlemektedir. Bu çalışmanın sonuçları literatüre yaptığı katkının yanı sıra otel yöneticilerine veri yönetimi ve müşteri ilişkilerinin geliştirilmesi konularında yol gösterici olması açısından önemlidir.

Keywords

• Veri Madenciliği
• Makine Öğrenmesi
• Metin Madenciliği
• Duygu Analizi
• Otel Yorumları

References

1. Acar, A. & Uğur, İ. (2021). Uluslararası Zincir Otellere Yönelik Tripadvisor Yorumlarının Duygu Analizi Yöntemi ile Değerlendirilmesi: Ankara Örneği, Türk Turizm Araştırmaları Dergisi, 5(3): 1803-1814.
2. Akgöbek, Ö., ve Çakır, F. (2009). Veri Madenciliğinde Bir Uzman Sistem Tasarımı. Akademik Bilişim, 9 , 801-806.
3. Akın, B., Gürsoy Şimşek, U. T., (2018) Sosyal Medya Analitiği ile Değer Yaratma: Duygu Analizi İle Geleceğe Yönelim. Mehmet Akif Ersoy Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 5(3), 797-811.
4. Al-Smadi, M., Qawasmeh, O., Al-Ayyoub, M., Jararweh, Y., & Gupta, B. (2018). Deep Recurrent neural network vs. support vector machine for aspect-based sentiment analysis of Arabic hotels’ reviews. Journal of computational science, 27, 386-393.
5. Altunışık, R. (2015). Büyük Veri: Fırsatlar Kaynağı mı Yoksa Yeni Sorunlar Yumağı mı?. Yıldız Social Science Review, 1(1), 45-76.
6. Altunkaynak, B. (2017). Veri Madenciliği Yöntemleri ve R Uygulamaları. Seçkin Yayıncılık, Ankara.
7. Balaban, M. E., & Kartal, E. (2015). Veri Madenciliği ve Makine Öğrenmesi Temel Algoritmaları ve R Dili ile Uygulamaları. Çağlayan Kitabevi, İstanbul.
8. Bagherzadeh, S., Shokouhyar, S., Jahani, H., & Sigala, M. (2021). A generalizable sentiment analysis method for creating a hotel dictionary: using big data on TripAdvisor hotel reviews. Journal of Hospitality and Tourism Technology, 12(2), 210-238.

9. Bastem, K., & Şeker, Ş. E. (2017). Veri Madenciliği Yöntemleri ile Twitter Üzerinden Mbti Kişilik Tipi analizi. YBS Ansiklopedisi, 4(2), 3-10.
10. Bayer, R. U. & Aksöz E. O. (2015). Otel Tercihinde Çevrimiçi Otel Değerlendirme Yorumlarına Ait İçeriklerin Önemi. Seyahat ve Otel İşletmeciliği Dergisi, 12(3).
11. Çalış, K., Gazdağı, O., & Yıldız, O. (2013). Reklam İçerikli Epostaların Metin Madenciliği Yöntemleri ile Otomatik Tespiti. Bilişim Teknolojileri Dergisi, 6(1), 1-7.
12. Çoban, Ö., Özyer, B., & Özyer, G. T. (2015). Türkçe Twitter mesajlarının duygu analizi. In Signal Processing and Communications Applications Conference (SIU).
13. Demir, H., Erdoğmuş, P., & Kekeçoğlu, M. (2018). Destek Vektör Makineleri, YSA, K-Means ve KNN Kullanarak Arı Türlerinin Sınıflandırılması. Düzce Üniversitesi Bilim ve Teknoloji Dergisi, 6(1), 47-67.
14. Dey, L., Chakraborty, S., Biswas, A., Bose, B., & Tiwari, S. (2016). Sentiment Analysis of Review Datasets Using Naive Bayes and K-NN Classifier. International Journal of Information Engineering and Electronic Business 8(4):54-62.
15. Gelb, BD. (2002), Sundaram, S. Adapting to “Word Of Mouse”. Business Horizons; 45(4): 21-25.
16. Göker, H., & Tekedere, H. (2017). FATİH Projesine Yönelik Görüşlerin Metin Madenciliği Yöntemleri ile Otomatik Değerlendirilmesi. Bilişim Teknolojileri Dergisi, 10(3), 291-299.
17. Haltaş, A., Alkan, A., & Karabulut, M. (2015). Metin Sınıflandırmada Sezgisel Arama Algoritmalarının Performans Analizi. Gazi Üniversitesi Mühendislik-Mimarlık Fakültesi Dergisi, 30(3).
18. Han, J., & Kamber, M. (2006). Data Mining: Concepts and Techniques (Second ed.): The Morgan Kaufmann Series in Data Management Systems.
19. İlhan, S., Duru, N., Karagöz, Ş., & Sağır, M. (2008). Metin Madenciliği ile Soru Cevaplama Sistemi. Elektronik ve Bilgisayar Mühendisliği Sempozyumu (ELECO), Bursa, 26-30.
20. Kalpaklıoğlu, N. Ü. Bir Pazarlama İletişimi Unsuru Olarak E-Wom’un Turizm Ürünleri Tercihine Etkisi. Maltepe Üniversitesi İletişim Fakültesi Dergisi,2015; 2(1): 66-90.
21. Kaynar, O., Görmez, Y., Yıldız, M., & Albayrak, A. (2016). Makine öğrenmesi yöntemleri ile Duygu Analizi. In International Artificial Intelligence and Data Processing Symposium (IDAP’16), September (pp. 17-18).
22. Kılınç, D., Borandağ, E., Yücalar, F., Tunalı, V., Şimşek, M., & Özçift, A. (2016). KNN Algoritması ve R Dili ile Metin Madenciliği Kullanılarak Bilimsel Makale Tasnifi. Marmara Fen Bilimleri Dergisi, 28(3), 89-94.
23. Li, H. X., Xu, L. D., Wang, J. Y., & Mo, Z. W. (2003). Feature space theory in data mining: transformations between extensions and intensions in knowledge representation. Expert Systems, 20(2), 60-71.
24. Oğul, B. B., & Ercan, G. (2016). Türkçe Otel Yorumlarından Duygu Analizi. In 24th Signal Processing and Communication Application Conference (SIU), 16-19 May 2016.
25. Parlar, T. (2022). Nitelik Seçimi Kullanarak Twitter Kullanıcısının Cinsiyet Sınıflandırması üzerine Bir Çalışma. International Journal of Engineering Research and Development, 14(3), 204-210.
26. Pektaş, A. O. (2013). SPSS ile Veri Madenciliği. Dikeyeksen Yayın Dağıtım, İstanbul.
27. Polat, H. & Ağca, Y. (2022). Tripadvisor Kullanıcılarının Türkçe ve İngilizce Yorumları Kapsamında Duygu Analizi Yöntemlerinin Karşılaştırmalı Analizi. Abant Sosyal Bilimler Dergisi,22(2): 901-916.
28. Sarıışık, M., & Özbay, G. (2012). Elektronik Ağızdan Ağıza İletişim ve Turizm Endüstrisindeki Uygulamalara İlişkin Bir Yazın İncelemesi. Uluslararası Yönetim İktisat ve İşletme Dergisi, 2012; 8(16): 1-22.
29. Sayed, A. A., Elgeldawi, E., Zaki, A. M., & Galal, A. R. (2020). Sentiment analysis for arabic reviews using machine learning classification algorithms. In 2020 International Conference on Innovative Trends in Communication and Computer Engineering (ITCE) (pp. 56-63). IEEE.
30. Schmunk, S., Höpken, W., Fuchs, M., & Lexhagen, M. (2014). Sentiment Analysis: Extracting Decision- Relevant Knowledge From UGC. In Information and Communication Technologies İn Tourism (pp. 253- 265). Springer, Cham.
31. Shi, H. X., & Li, X. J. (2011). A sentiment analysis model for hotel reviews based on supervised learning. In 2011 International Conference on Machine Learning and Cybernetics (Vol. 3, pp. 950-954). IEEE.
32. Şeker, S. E. (2015). Metin Madenciliği (Text Mining). YBS Ansiklopedi, 2(3), 30-32.
33. Şeker, S. E. (2016). Duygu analizi (Sentimental analysis). YBS Ansiklopedi, 3, 21-36.
34. Taşcı, E., & Onan, A. (2016). K-en yakın komşu algoritması parametrelerinin sınıflandırma performansı üzerine etkisinin incelenmesi. Akademik Bilişim, 1(1), 4-18.
35. Tuna, M. F., Kaynar, O., & Akdoğan, M. Ş. (2021). Otellere ilişkin çevrimiçi geribildirimlerin makine öğrenmesi yöntemleriyle duygu analizi. İşletme Araştırmaları Dergisi, 13(3), 2232-2241.
36. Tunç, A. & Ülger, İ. (2016). Veri Madenciliği Uygulamalarında Özellik Seçimi İçin Finansal Değerlere Binning ve Five Number Summary Metotları ile Normalizasyon İşleminin Uygulanması, XVIII. Akademik Bilişim Konferansı, Adnan Menderes Üniversitesi
37. Vinodhini, G. et al. (2012). Sentiment Analysis and Opinion Mining: A Survey, International Journal of Advanced Research in Computer Science and Software Engineering (IJARCSSE), Vol 2, Issue 6, June.
38. Yang, L., Xu, L., & Shi, Z. (2012). An enhanced dynamic hash TRIE algorithm for lexicon search. Enterprise Information Systems, 6(4), 419-432.
39. Zheng, L., Wang, H., & Gao, S. (2018). Sentimental feature selection for sentiment analysis of Chinese online reviews. International journal of machine learning and cybernetics, 9, 75-84.