Evaluation of Feedback Effectiveness in the Gaming Sector Using Word Spaces and Deep Learning Algorithms

Abstract

The aim of this study is to examine the effectiveness of feedback such as comments, reviews and recommendations from a specific domain such as the gaming industry by comparing them to posts with a wider range of topics. The data collected from open-source platforms are used to create 24 different word spaces with vector sizes of 50, 100, 150, 200, 250, and 300 using Word2Vec’s CBOW and Skip-Gram methods. 14,769 game reviews from the Steam platform, labeled as “Recommended” or “Not Recommended”, are analyzed with deep learning algorithms LSTM, RNN and GRU. In the study, recommendation analysis is performed by applying various deep learning algorithms on the labeled data obtained by data scraping method and the success scores of different word spaces and deep learning approaches are compared. The scores obtained from the experiments reveal that reviews from a specific domain such as the gaming industry yield more meaningful results than general content. In particular, it is observed that the GRU algorithm shows the highest success with 80.16% accuracy, 80.21% precision, 80.00% recall and 80.02% F1 score in the Skip-Gram word space with 250 vector size. It is thought that these findings contribute to the analysis of gaming industry feedback by evaluating the performance of deep learning algorithms on different word spaces. The study emphasizes the practical value of contextual analysis and deep learning techniques for specific domains such as the gaming industry.

Keywords

• Text mining
• Word space
• Deep learning
• Feedback analysis
• Data scraping
• Natural language processing

Kelime Uzayları ve Derin Öğrenme Algoritmaları ile Oyun Sektöründe Geri Bildirim Etkinliğinin Değerlendirilmesi

Abstract

Bu çalışmanın amacı, oyun sektörü gibi spesifik bir alandan elde edilen yorum, değerlendirme ve tavsiye gibi geri dönüşleri, daha geniş konu seçeneklerine sahip gönderilerle karşılaştırarak, bu geri dönüşlerin etkinliğini incelemektir. Açık kaynaklı platformlardan toplanan veriler, Word2Vec’in CBOW ve Skip-Gram yöntemleri ile 50, 100, 150, 200, 250, 300 vektör boyutlarında 24 farklı kelime uzayı oluşturmak için kullanılmıştır. Steam platformundan alınan ve "Tavsiye Edilen" veya "Tavsiye Edilmeyen" olarak etiketlenen 14.769 adet oyun yorumu, derin öğrenme algoritmaları olan LSTM, RNN ve GRU ile analiz edilmiştir. Çalışmada, veri kazıma yöntemiyle elde edilen etiketli veriler üzerinde çeşitli derin öğrenme algoritmaları uygulanarak tavsiye analizi gerçekleştirilmiş ve farklı kelime uzayları ile derin öğrenme yaklaşımlarının başarı skorları karşılaştırılmıştır. Deneylerden alınan skorlar, oyun sektörü gibi belirli bir alandan elde edilen yorumların genel içeriklere kıyasla daha anlamlı sonuçlar verdiğini ortaya koymaktadır. Özellikle, 250 vektör boyutlu Skip-Gram kelime uzayında GRU algoritmasının; %80,16 doğruluk, %80,21 kesinlik, %80,00 duyarlılık ve %80,02 F1 skoru ile en yüksek başarıyı gösterdiği gözlenmiştir. Bu bulguların, derin öğrenme algoritmalarının farklı kelime uzayları üzerindeki performansını değerlendirerek oyun sektörü geri bildirimlerinin analizine katkı sağladığı düşünülmektedir. Çalışma, oyun sektörü gibi spesifik alanlara yönelik bağlamsal analizlerin ve derin öğrenme tekniklerinin uygulamalı değerini vurgulamaktadır.

Keywords

• Metin madenciliği
• Kelime uzayı
• Derin öğrenme
• Geri bildirim analizi
• Veri kazıma
• Doğal dil işleme

Ethical Statement

Hazırlanan makalede etik kurul izni alınmasına gerek yoktur. Hazırlanan makalede herhangi bir kişi/kurum ile çıkar çatışması bulunmamaktadır.

References

1. Alpkoçak, A., Tocoglu, M. A., Çelikten, A., ve Aygün, İ., 2019. Türkçe Metinlerde Duygu Analizi için Farklı Makine Öğrenmesi Yöntemlerinin Karşılaştırılması. Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen Ve Mühendislik Dergisi, Cilt.21(63), s.719-725. DOI: 10.21205/deufmd.2019216303.
2. Bais, R., Odek, P., ve Ou, S., 2017. Sentiment Classification on Steam Reviews. Stanford University. https://cs229.stanford.edu/proj2017/final-reports/5244171.pdf.
3. Bird, S., Loper, E., ve Klein, E., 2009. Natural Language Processing with Python. O'Reilly Media Inc.
4. Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., ve Bengio, Y., 2014. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. arXiv preprint arXiv:1406.1078. DOI: 10.48550/arXiv.1406.1078.
5. Chollet, F., 2015. Keras. https://github.com/fchollet/keras.
6. Chung, J., Gulcehre, C., Cho, K., ve Bengio, Y., 2014. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. arXiv:1412.3555.
7. Çabuk, M., Yücalar, F., ve Toçoğlu, M. A., 2023. Makine Öğrenmesi ile E-Ticaret Ürün Yorumlarının Otomatik Analizi. Avrupa Bilim ve Teknoloji Dergisi, (52), s.110-121.
8. Elman, J. L., 1990. Finding structure in time. Cognitive Science, Cilt.14(2), s.179–211. DOI: 10.1207/s15516709cog1402_1.

9. Fandom Inc., t.y. Metacritic. https://www.metacritic.com (Erişim Tarihi: 25.03.2024).
10. Goodfellow, I., Bengio, Y., ve Courville, A., 2016. Deep Learning. MIT Press.
11. Guzsvinecz, T., 2023. Sentiment Analysis of Souls-like Role-Playing Video Game Reviews. Acta Polytechnica Hungarica, Cilt.20(5), s.149-168.
12. Güvenli İnternet Merkezi, 2019. Dijital oyunlar raporu 2019. Bilgi Teknolojileri ve İletişim Kurumu.
13. Harris, C. R., Millman, K. J., van der Walt, S. J., Gommers, R., Virtanen, P., Cournapeau, D., vd., 2020. Array programming with NumPy. Nature, Cilt.585(7825), s.357-362. DOI: 10.1038/s41586-020-2649-2.
14. Hochreiter, S., ve Schmidhuber, J., 1997. Long short-term memory. Neural Computation, Cilt.9(8), s.1735–1780. DOI: 10.1162/neco.1997.9.8.1735.
15. Kaggle, t.y. https://www.kaggle.com (Erişim Tarihi: 12.04.2024).
16. Karga, K., Toçoğlu, M. A., ve Onan, A., 2022. Deep Learning-Based Sentiment Analysis on Education During the COVID-19 Pandemic. Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen Ve Mühendislik Dergisi, Cilt.24(72), s.855-868. DOI: 10.21205/deufmd.2022247215.
17. Kent, S. L., 2001. The ultimate history of video games: From Pong to Pokémon and beyond—The story behind the craze that touched our lives and changed the world. Three Rivers Press.
18. Microsoft, t.y. Karışıklık Matrisi. Microsoft Learn. https://learn.microsoft.com/tr-tr/dynamics365/finance/finance-insights/confusion-matrix (Erişim Tarihi: 19.09.2025).
19. Mikolov, T., Chen, K., Corrado, G., ve Dean, J., 2013. Efficient Estimation of Word Representations in Vector Space. arXiv preprint arXiv:1301.3781.
20. Newzoo, 2023. Global games market report 2023. Newzoo.
21. Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., vd., 2011. Scikit-learn: Machine learning in Python. Journal of Machine Learning Research, Cilt.12, s.2825–2830.
22. Rumelhart, D. E., Hinton, G. E., ve Williams, R. J., 1986. Learning representations by back-propagating errors. Nature, Cilt.323(6088), s.533–536.
23. Şeker, A., Diri, B., ve Balık, H. H., 2017. Derin öğrenme yöntemleri ve uygulamaları hakkında bir inceleme. Gazi Mühendislik Bilimleri Dergisi, Cilt.3(3), s.47-64.
24. Tan, J. Y., Chow, A. S. K., ve Tan, C. W., 2022. A comparative study of machine learning algorithms for sentiment analysis of game reviews. The Journal of The Institution of Engineers Malaysia.
25. Toçoğlu, M. A., Öztürkmenoğlu, O., ve Alpkoçak, A., 2019. Emotion Analysis from Turkish Tweets using Deep Neural Networks. IEEE Access, Cilt.7, s.183061-183069.
26. Tran, N. K. H., 2021. Development of a machine learning system for aspect-based sentiment analysis and text summarization of video game reviews on Steam. Hamburg University of Applied Sciences.
27. Valve Corporation, 2003. Steam. https://store.steampowered.com (Erişim Tarihi: 15.03.2024).
28. Young, T., Hazarika, D., Poria, S., ve Cambria, E., 2018. Recent Trends in Deep Learning Based Natural Language Processing. IEEE Computational Intelligence Magazine, Cilt.13(3), s.55-75.
29. Zhou, J., ve Xu, J., 2015. A Comprehensive Review on Long Short-Term Memory Networks. IEEE Transactions on Neural Networks and Learning Systems, Cilt.26(10), s.2225-2239.