SENTIMENT ANALYSIS OF HOTEL GUEST REVIEWS WITH MACHINE LEARNING: CASE STUDY OF FETHIYE FIVE-STAR HOTELS

Abstract

The reviews are one of the important sources that affect people's hotel reservation decisions in tourism. The amount of data created by comments and opinions on hotels is expanding day by day. In order to overcome the difficulty created by this volume of data and the mood behind it, the number of machine learning-based sentiment analyzes is increasing. As a result of the literature review, no study was found that analyzes the comments about the hotels in Fethiye with machine learning. In the 2022 season, the evaluation of the five-star hotels in Fethiye in terms of customers has been revealed. Data for 2022 were used on Tripadvisor and OtelPuan sites to access online hotel reviews. In order to obtain a clearer view in the evaluation of the hotels, a machine learning-based sentiment analysis was carried out on the comments of only five-star hotels in Fethiye and covering a single year. The findings revealed that the customers of the five-star hotels in Fethiye have positive feelings and especially talk about the hotel staff and the location of the hotel.ANN, LSTM, and CNN machine learning methods were used to train and test the data set, and the performance values were compared. The test accuracy performance scores for ANN, CNN, and LSTM are 81%, 73%, and 72%, respectively. According to these results, the ANN model seems to be more successful than the others. On the other hand, training and test MAE performance values were found to be 1.29 and 1.31, respectively. According to these results, it can be concluded that there is no significant difference between the machine learning methods in terms of performance and that the models are successful.

Keywords

• sentiment analyses
• machine learning
• guest review analyses
• text classification

MİSAFİR YORUMLARININ MAKİNE ÖĞRENMESİ YARDIMIYLA DUYGU ANALİZİ: FETHİYE BEŞ YILDIZLI OTELLER ÖRNEĞİ

Abstract

Turizmde insanların otel rezervasyon kararlarını etkileyen önemli kaynaklardan birisi yorumlardır. Otellere yönelik yorum ve görüşlerin oluşturduğu veri miktarı gün geçtikçe genişlemektedir. Bu veri hacminin ve ardındaki duygu durumunun yarattığı zorluğu aşmak için makine öğrenmesi temelli duygu analizlerinin sayısı artmaktadır. Yapılan yazın taraması sonucunda Fethiye’deki otellere yönelik yorumların makine öğrenmesiyle analiz eden bir çalışmaya rastlanmamıştır. 2022 sezonunda Fethiye’deki beş yıldızlı otellerin müşteri açısından değerlendirilmesi ortaya konulmuştur. Çevrimiçi otel yorumlarına ulaşmak için Tripadvisor ve OtelPuan sitelerinde 2022 yılına ait veriler kullanılmıştır. Otellerin değerlendirilmesinde daha net bir görüş elde etmek için Fethiye’deki sadece beş yıldızlı otellere ait ve tek bir yılı kapsayan yorumlar üzerinden makine öğrenmesi temelli duygu analizi gerçekleştirilmiştir. Elde edilen bulgular Fethiye’deki beş yıldızlı otellere yönelik müşterilerin pozitif duygular besledikleri ve özellikle otel çalışanları ile otelin konumlarından bahsettikleri ortaya konulmuştur. Veri seti YSA, LSTM ve CNN makine öğrenme yöntemleri kullanılarak eğitim ve test yapılıp sonuçlar karşılaştırılmıştır. Test doğruluk performans değerleri karşılaştırıldığında; YSA %81, CNN %73 ve LSTM %72 olarak bulunmuştur. Buna göre bu veri seti için diğerlerine göre daha başarılı YSA olarak görünmektedir. Öte yandan eğitim ve test MAE performans değerleri sırasıyla 1.29 ve 1.31 olarak bulunmuştur . Bu sonuçlara göre modeller arasında performans açısından anlamlı bir fark olmadığı ve modellerin başarılı olduğu sonucuna varılabilir

Keywords

• sentiment analyses
• machine learning
• guest review analyses
• text classification

References

1. Ahmetoğlu, H. ve Daş, R. (2020). Türkçe Otel Yorumlarıyla Eğitilen Kelime Vektörü Modellerinin Duygu Analizi ile İncelenmesi. Süleyman Demirel Üniversitesi Fen Bilimleri Enstitüsü Dergisi 24(2), 455-463.
2. Albawi S., Mohammed, T.A. ve Al-Zawi, A. (2017). Understanding of A Convolutional Neural Network, 2017 International Conference on Engineering and Technology (ICET), 2017, pp. 1-6, doi: 10.1109/ICEngTechnol.2017.8308186.
3. Alloghani, M., Al-Jumeily, D., Mustafina, J., Hussain, A., Aljaaf, A.J. (2020). A Systematic Review on Supervised and Unsupervised Machine Learning Algorithms for Data Science. In: Berry, M., Mohamed, A., Yap, B. (eds) Supervised and Unsupervised Learning for Data Science . Unsupervised and Semi-Supervised Learning. Springer, Cham. https://doi.org/10.1007/978-3-030-22475-2_1
4. Araque, O., Corcuera-Platas, Sanchez-Rada, J.F. ve Iglesias,C.A. (2017). Enhancing Deep Learning Sentiment Analysis With Ensemble Techniques in Social Applications. Expert systems With Applications 77(1), 236-246.
5. Berezina, K., Bilgihan, A., Cobanoglu, C. ve Okumus, F. (2016). Understanding Satisfied and Dissatisfied Hotel Customers: Text Mining of Online Hotel Reviews. Journal of Hospitality Marketing & Management 25(1), 1-24.
6. Büyükeke, A., Sökmen, A. ve Gencer, C. (2020). Metin Madenciliği ve Duygu Analizi Yöntemleri ile Sosyal Medya Verilerinden Rekabetçi Avantaj Elde Etme: Turizm Sektöründe Bir Araştırma. Journal of Tourism and Gastronomy Studies 8(1), 322-335.
7. Doğancili, O. S., Karaçar, E. ve Ak, S. (2019). Göller Bölgesi’nde Yer Alan Otel İşletmelerinin Tripadvisor’daki Tüketici Değerlendirmeleri Üzerine Bir Araştırma. Uluslararası Türk Dünyası Turizm Araştırmaları Dergisi 4(1), 96-106.
8. Ergüt, Ö. (2019). Otel Yorumlarının Metin Madenciliği Teknikleri İle İncelenmesi. International Congress of Management (s. 103-114), Proceedings Book of Economy and Policy 2-3 November 2019: İstanbul.

9. Han, J., Kamber, M. ve Pei, J. (2012). Data Mining Concepts and Techniques (Third Edition). Morgan Kaufmann Publications: Francisco.
10. Kapan, K. ve Üncel, R. (2020). Gelişen Wen Teknolojilerinin (WEB 1.0- WEB 2.0- WEB 3.0) Türkiye Turizmine Etkisi. Safran Kültür ve Turizm Araştırmaları Dergisi 3(3), 276-289.
11. Lederer, J. (2021). Activation Functions in Artificial Neural Networks: A Systematic Overview, Cornell University, Arxiv, 25 Jan 2021 https://doi.org/10.48550/arXiv.2101.09957.
12. Lek, S. ve Park Y.S. (2008). Artificial Neural Networks, Ecological Models | Artificial Neural Networks, 2008 Elsevier B.V., ISBN 978-0-08-045405-4.
13. Mahesh, B. (2020) Machine Learning Algorithms—A Review. International Journal of Science and Research, Volume 9 Issue 1, January 2020, 381-386.
14. Medhat, W., Hassan, S. ve Korash, H. (2014). Sentiment Analysis Algorithms and Applications: A Survey. Ain Shams Engineering 5(4), 1093-1113.
15. Moraes, R., Valiati, J.F. ve Neto, G. (2013). Document-Level Sentiment Classficatiobs: An Empirical Comparison Between SVM and ANN. Expert systems With Applications 40(2), 621-633.
16. Pang, B. ve Lee, L. (2008). Opinion Mining and Sentiment Analysis. Foundations and Trends in Information Retrieval 2(1-2), 1-35.
17. Prasanna, P.L. ve Rao D.R. (2018). Text classification using artificial neural networks. International Journal of Engineering & Technology, 7 (1.1) (2018) 603-606.
18. Ravi, K. ve Ravi, V. (2015). A Survey on Opinion Mining and Sentiment Analysis: Taks, Approaches and Applications. Knowledge-Based Systems 89(November 2015), 14-46.
19. Staudemeyer R. C., Morris E. R., (2019). Understanding LSTM – a tutorial into Long Short-Term Memory Recurrent Neural Networks. Cornell University, Arxiv, 12 Sep 2019, https://doi.org/10.48550/arXiv.1909.09586.
20. Tuna, F.M., Kaynar, O. ve Akdoğan, M.Ş. (2021). Otellere İlişkin Çevrimiçi Geribildirimlerin Makine Öğrenmesi Yöntemleriyle Duygu Analizi. İşletme Araştırmaları Dergisi 13(3), 2232-2241.
21. Van Houdt, G., Mosquera, C. ve Nápoles, G. (2020). A review on the long short-term memory model. Artif Intell Rev 53, 5929–5955 (2020). https://doi.org/10.1007/s10462-020-09838-1.
22. Zhang, H., Gan, W. ve Jiang, b. (2014). Machine Learning and Lexicon Based Methods for Sentiment Classfication: A Survey (s.262-265). 11th Web Information System and Application Cenference, 12-14 September 2014 Tianjin China.