Deep Learning vs. Machine Learning in Sentiment Classification: A Comparative Analysis of Mobile Game Tweets from the X Platform

Öz

This paper presents an overview based on comparison of different machine and deep learning methods applied to perform the sentiment analysis of tweets related to mobile games. The dataset, gathered from Twitter (X) between 2020-2021, was preprocessed and vectorized using Count Vectorizer and TF-IDF methodology. Traditional machine learning (ML) models such as Linear Support Vector Classifier (SVC), Logistic Regression (LR), Ridge Classifier (RC), and Voting Classifier (VC) were benchmarked against a few deep learning (DL) architectures such as the TEMSAP-CNNLSTM model stand-alone and BERT-enhanced versions. The study used precision, F1-score, recall, accuracy, and the AUC to check the performance of the model. The results revealed that DL models outperformed traditional ML classifiers, with these models achieving the highest classification performance of 97,10% and achieving impressive success in minimizing false negatives and false positives. The Ridge Classifier exhibited the lowest performance, correctly classified twitter reviews at an accuracy of 76,76%, indicating its limitations in sentiment classification. In addition, ensemble learning techniques like the Voting Classifier performed much better than individual machine learning models, thus re-establishing the benefits of model aggregation. This study demonstrated that transformer-based models such as BERT have shown remarkable success in sentiment classification of text data related to mobile games. What is even more promising for furthering academic and industrial agendas is that it will provide informed insights into how to make the best selection for enhancing the analysis of user sentiment and identifying the best models to make the play of mobile games more entertaining.

Anahtar Kelimeler

• deep learning
• machine learning
• sentiment analysis
• mobile game

Duygu Sınıflandırmasında Derin Öğrenme ve Makine Öğrenmesi: X Platformundaki Mobil Oyun Tweet'lerinin Karşılaştırmalı Analizi

Öz

Bu makale, mobil oyunlarla ilgili tweetlerin duygu analizini gerçekleştirmek için uygulanan farklı makine ve derin öğrenme yöntemlerinin karşılaştırılmasına dayalı bir genel bakış sunmaktadır. Twitter'dan (X) 2020-2021 yılları arasında toplanan veri kümesi, Count Vectorizer ve TF-IDF metodolojisi kullanılarak ön işlemden geçirilmiş ve vektörleştirilmiştir. Doğrusal Destek Vektör Sınıflandırıcısı (SVC), Lojistik Regresyon (LR), Ridge Sınıflandırıcısı (RC) ve Oylama Sınıflandırıcısı (VC) gibi geleneksel makine öğrenimi modelleri, TEMSAP-CNNLSTM modelinin tek başına ve BERT ile geliştirilmiş sürümleri gibi birkaç derin öğrenme mimarisine karşı kıyaslanmıştır. Çalışmada modelin performansını kontrol etmek için hassasiyet, F1-skoru, Recall, doğruluk ve AUC kullanılmıştır. Sonuçlar, derin öğrenme modellerinin geleneksel makine öğrenimi sınıflandırıcılarından daha iyi performans gösterdiğini, bu modellerin %97,10'lukla en yüksek sınıflandırma performansına ulaştığını ve yanlış negatifleri ve yanlış pozitifleri en aza indirmede etkileyici bir başarı elde ettiğini ortaya koymuştur. Ridge Sınıflandırıcı en düşük performansı sergilemiş, twitter yorumlarını %76,76 doğrulukla doğru sınıflandırarak duyarlılık sınıflandırmasındaki sınırlılıklarını göstermiştir. Buna ek olarak, Oylama Sınıflandırıcısı gibi toplu öğrenme teknikleri, bireysel makine öğrenimi modellerinden çok daha iyi performans göstermiş ve böylece model birleştirmenin faydalarını yeniden ortaya koymuştur. Bu çalışma, BERT gibi dönüştürücü tabanlı modellerin mobil oyunlarla ilgili metin verilerinin duygu sınıflandırmasında kayda değer bir başarı gösterdiğini ortaya koymuştur. Akademik ve endüstriyel gündemleri ilerletmek için daha da umut verici olan şey, kullanıcı duyarlılığının analizini geliştirmek için en iyi seçimin nasıl yapılacağı ve mobil oyunların oynanmasını daha eğlenceli hale getirmek için en iyi modellerin nasıl belirleneceği konusunda önemli bilgiler sağlamasıdır.

Anahtar Kelimeler

• derin öğrenme
• makine öğrenmesi
• duygu analizi
• mobil oyun

Kaynakça

1. [1] Technavio, https://www.technavio.com/. (2024) Market Research Reports - Industry Analysis Size & Trends. https://www.technavio.com/report/mobile-gaming-market-size- industry-analysis, Erişim tarihi: 05.12.2024
2. [2] Cikaric, D. (2024) 15 Stats on Mobile Gaming Demographics for 2024. https://playtoday.co/blog/stats/mobile-gaming-demographics/
3. [3] Emerging Trends In The Mobile Gaming Industry. (2024) https://mobileecosystemforum.com/emerging-trends-in-the-mobile-gaming-industry/
4. [4] Ain, Q. T., Ali, M., Riaz, A., Noureen, A., Kamran, M., Hayat, B., Rehman, A. (2017) Sentiment analysis using deep learning techniques: a review. International Journal of Advanced Computer Science and Applications, 8(6), 424-433.
5. [5] Yaakub, M. R., Latiffi, M. I. A., Zaabar, L. S. (2019) A review on sentiment analysis techniques and applications. IOP Conference Series Materials Science and Engineering, 551(1), 12070. IOP Publishing.
6. [6] Aleqabie, H. J., Safoq, M. S., Shareef, I. R., Alsabah, R., Hadi, E. (2020) Sentiment analysis for movie reviews using embedding words with semantic orientation. In AIP conference proceedings, 2290, (1).
7. [7] Kına, E., Biçek, E. (2024) Machine learning approach for emotion identification and classification in Bitcoin sentiment analysis. Yüzüncü Yıl Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 29(3), 913-926.
8. [8] Olukemi, A., Broklyn, P., Bell, C. (2024) Social media sentiment analysis for brand reputation management. In SSRN Electronic Journal. RELX Group (Netherlands). https://doi.org/10.2139/ssrn.4906218

9. [9] Tembhurne, J. V., Lakhotia, K., Agrawal, A. (2025) Twitter sentiment analysis using ensemble of multi-channel model based on machine learning and deep learning techniques. Knowledge and Information Systems, 67(2), 1045-1071.
10. [10] Ningrum, M. P., Mutia, R., Azmi, H., Khalifah, H. D. (2025) Sentiment analysis of twitter reviews on google play store using a combination of convolutional neural network and long Public Research Journal of Engineering, Data Technology and Computer Science, 2(2), 107-115.
11. [11] Ağduk, S., Çelik, F. Y., Aydemir, E. (2024) TurkishBERT ile Youtube yemek tarifi videolarındaki yorumların duygusal tonalitenin incelenmesi. Anatolia Science and Technology Journal, 1(1), 13-24.
12. [12] Yetimoğlu, E., Adalı, G. K. (2025) Sentiment analysis on social media during crisis events: the case of kahramanmaraş earthquake. AJIT-e: Academic Journal of Information Technology, 16(1), 52-67.
13. [13] Jahin, M. A., Shovon, M. S. H., Mridha, M. F., Islam, M. R., Watanobe, Y. (2024) A hybrid transformer and attention based recurrent neural network for robust and interpretable sentiment analysis of tweets. Scientific Reports, 14(1), 24882.
14. [14] Mondal, A. S., Zhu, Y., Bhagat, K. K., Giacaman, N. (2024) Analysing user reviews of interactive educational apps: a sentiment analysis approach. Interactive learning environments, 32(1), 355-372.
15. [15] Mujahid, M., Lee, E., Rustam, F., Washington, P. B., Ullah, S., Reshi, A. A., Ashraf, I. (2021) Sentiment analysis and topic modeling on tweets about online education during COVID- 19. Applied Sciences, 11(18), 8438.
16. [16] Sudheesh, R., Mujahid, M., Rustam, F., Mallampati, B., Chunduri, V., de la Torre Díez, I., Ashraf, I. (2023) Bidirectional encoder representations from transformers and deep learning model for analyzing smartphone-related tweets. PeerJ Computer Science, 9, e1432.
17. [17] Ahmed, N., Amin, R., Aldabbas, H., Saeed, M., Bilal, M., Song, H. (2024) A novel approach for sentiment analysis of a low resource language using deep learning models, ACM Transactions on Asian and Low-Resource Language Information Processing.
18. [18] Kumar, G., Agrawal, R., Sharma, K., Gundalwar, P. R., Agrawal, P., Tomar, M., Salagrama, S. (2024) Combining BERT and CNN for sentiment analysis a case study on COVID-19. International Journal of Advanced Computer Science & Applications, 15(10).
19. [19] Kewalramani, B., Kumar, S. (2024) Optimization of sentiment analysis using BERT. In 2024 International Conference on Communication, Computer Sciences and Engineering (IC3SE) (pp. 1000-1004). IEEE.
20. [20] Jlifi, B., Abidi, C., Duvallet, C. (2024) Beyond the use of a novel ensemble based random Forest-BERT model (Ens-RF-BERT) for the sentiment analysis of the hashtag COVID19 tweets. Social Network Analysis and Mining, 14(1), 88.
21. [21] Kına, E., Biçek, E. (2023). Duygu analizinde denetimli makine öğrenme algoritmalarının karşılaştırılmaları, (Kahramanmaraş Depremi Örneği). Batman Üniversitesi Yaşam Bilimleri Dergisi, 13(1), 21-31.
22. [22] Anggraeni, W., Kusuma, M. F. A., Riksakomara, E., Wibowo, R. P., Sumpeno, S., (2024) Combination of BERT and Hybrid CNN-LSTM models for Indonesia Dengue tweets classification. International Journal of Intelligent Engineering & Systems, 17(1).
23. [23] Madan, A., Kumar, D., (2024) Real-time topic-based sentiment analysis for movie tweets using hybrid approach. Knowledge and Information Systems, 1-27.
24. [24] Alawi, A. B., Bozkurt, F. (2024) A hybrid machine learning model for sentiment analysis and satisfaction assessment with Turkish universities using Twitter data, Decision Analytics Journal, 11, 100473.
25. [25] Biçek, E., Çelik E, H. (2020) Fotovoltaik sistemin güç üretiminin meteorolojik değişkenler ile modellenmesi: Van Yüzüncü Yıl Üniversitesi örneği. Yüzüncü Yıl Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 25(3), 135-146.
26. [26] Koca, M. (2024) Real-time security risk assessment from CCTV using hand gesture recognition. IEEE Access, 12, 84548-84555.
27. [27] Avcı, İ., Koca, M., Atasoy, M. (2021) Windows tabanlı uygulamalarda sql enjeksiyon siber saldırı senaryosu ve güvenlik önlemleri. Avrupa Bilim Ve Teknoloji Dergisi (28), 213-219.
28. [28] Avcı, İ., Koca, M. (2024) A novel security risk analysis using the AHP Method in Smart Railway Systems. Applied Sciences, 14(10), 4243
29. [29] Pandey, S. S., Garcia-Robledo, A., Zangiabady, M. (2024) Decoding online hate in the United States: A BERT-CNN analysis of 36 million tweets from 2020 to 2022. In 2024 IEEE 18th International Conference on Semantic Computing (ICSC) (pp. 329-334). IEEE.