Sentiment Analysis with DistilBERT and Traditional Machine Learning Models: Performance Benchmarking

Abstract

This study compares the classification performance of traditional machine learning models and the deep learning-based DistilBERT model by performing sentiment analysis through social media data. Twitter US Airlines Sentiment dataset is used to analyze customer sentiment towards US-based airlines. Machine learning based Random Forest, XGBoost and Gradient Boosting models and deep learning based DistilBERT model are compared and their classification performance is evaluated using metrics such as accuracy, precision, recall and F1 score. In the analysis results, the DistilBERT model demonstrated a clear superiority over traditional machine learning models with an accuracy of 97.8%. In the dataset with unbalanced class distribution, the DistilBERT model distinguished between positive (positive) and negative (negative) emotion classes much more successfully. The high precision (0.96), sensitivity (0.97) and F1 score (0.97) values of the DistilBERT model demonstrate the superiority of transformer-based approaches for text classification. The findings have important implications for airlines to analyze customer feedback more effectively and develop data-driven strategies to improve service quality.

Keywords

• Machine Learning
• Deep Learning
• Natural Language Processing
• DistilBERT
• Data Mining

DistilBERT ve Geleneksel Makine Öğrenmesi Modelleri ile Duygu Analizi: Performans Karşılaştırması

Abstract

Yapılan çalışma, sosyal medya verileri aracılığıyla duygu analizi gerçekleştirerek, geleneksel makine öğrenmesi modelleri ile derin öğrenme tabanlı DistilBERT modelinin sınıflandırma performanslarını karşılaştırmaktadır. ABD merkezli havayolu şirketlerine yönelik müşteri duyarlılığını analiz etmek amacıyla Twitter US Airlines Sentiment veri seti kullanılmıştır. Makine öğrenmesi tabanlı Random Forest, XGBoost ve Gradient Boosting modelleri ile derin öğrenme temelli DistilBERT modeli karşılaştırmalı olarak incelenmiş ve modellerin sınıflandırma başarısı doğruluk (accuracy), kesinlik (precision), duyarlılık (recall) ve F1 skoru gibi metrikler kullanılarak değerlendirilmiştir. Analiz sonuçlarında, DistilBERT modeli %97.8 doğruluk oranı ile geleneksel makine öğrenmesi modellerine kıyasla bariz bir üstünlük sergilemiştir. Dengesiz sınıf dağılımına sahip veri setinde, DistilBERT modeli olumlu (pozitif) ve olumsuz (negatif) duygu sınıflarını çok daha başarılı bir şekilde ayırt etmiştir. DistilBERT modelinin yüksek kesinlik (0.96), duyarlılık (0.97) ve F1 skoru (0.97) değerleri, transformer tabanlı yaklaşımların metin sınıflandırmaki üsütnlüğünü ortaya koymuştur. Elde edilen bulgular, havayolu şirketlerinin müşteri geri bildirimlerini daha etkin analiz edebilmesi ve hizmet kalitesini artırmaya yönelik veri odaklı stratejiler geliştirebilmesi açısından önemli katkılar sunmaktadır.

Keywords

• Makine Öğrenmesi
• Derin Öğrenme
• Veri Madenciliği
• DistilBERT
• doğal dil işleme

References

1. M. Albayrak, K. Topal, and V. Altıntaş, “Sosyal medya üzerinde veri analizi: Twitter,” Süleyman Demirel Üniversitesi İİBF Dergisi, vol. 22, Kayfor 15 Özel Sayı, pp. 1991–1998, 2017.
2. M. Toğaçar, K. A. Eşidir, and B. Ergen, “Yapay zekâ tabanlı doğal dil işleme yaklaşımını kullanarak internet ortamında yayınlanmış sahte haberlerin tespiti,” Journal of Intelligent Systems: Theory and Applications, vol. 5, no. 1, pp. 1–8, 2022, doi: 10.38016/jista.950713.
3. K. A. Eşidir and Y. E. Gür, “Yapay sinir ağları ile Türkiye plastik sektörü ithalat tahmini: 2023 yılı nisan-aralık ayları,” Akademik Hassasiyetler, vol. 10, no. 23, pp. 91–114, 2023, doi: 10.58884/akademik-hassasiyetler.1307536.
4. C. Y. Bae et al., “Comparison of biological age prediction models using clinical biomarkers commonly measured in clinical practice settings: AI techniques vs. traditional statistical methods,” Frontiers in Analytical Science, vol. 1, 2021, doi: 10.3389/frans.2021.709589.
5. G. Shiramshetty and N. P. Hegde, “Feature selection based sentiment analysis on US airline Twitter data,” International Journal on Recent and Innovation Trends in Computing and Communication, vol. 11, no. 9, pp. 1735–1746, 2023. [Online]. Available: http://www.ijritcc.org
6. M. N. Raihen and S. Akter, “Sentiment analysis of passenger feedback on U.S. airlines using machine learning classification methods,” World Journal of Advanced Research and Reviews, vol. 23, no. 1, pp. 2260–2273, 2024, doi: 10.30574/wjarr.2024.23.1.2183.
7. S. A. Sazan, M. Ahmed, T. B. Saad, and M. Roy, “Advanced natural language processing techniques for efficient sentiment analysis of US airline Twitter data; A high-performance framework for extracting insights from tweets,” 6th International Conference on Electrical Engineering and Information & Communication Technology (ICEEICT), Dhaka, Bangladesh, 2024, pp. 1–6.
8. B. G. Premasudha and V. Patil, “Enhanced sentiment analysis of airline Twitter review using hybrid machine learning and deep learning models,” First International Conference on Innovations in Communications, Electrical and Computer Engineering (ICICEC), Davangere, India, 2024, pp. 1–8, doi: 10.1109/ICICEC62498.2024.10808987.

9. E. Yılmaz, “Twitter ve belediyeler: Ankara ve İstanbul Büyükşehir Belediyelerinin belediyecilik yaklaşımları,” Emek Araştırma Dergisi, no. 1, pp. 1–30, 2024.
10. Z. A. Güven, “Comparison of BERT models and machine learning methods for sentiment analysis on Turkish tweets,” in Proc. 2021 6th International Conference on Computer Science and Engineering (UBMK), pp. 98–101, Sept. 2021, doi: 10.1109/UBMK52708.2021.9559014.
11. M. Arzu and M. Aydoğan, “Türkçe duygu sınıflandırma için transformers tabanlı mimarilerin karşılaştırılmalı analizi,” Computer Science in Proc. IDAP-2023: International Artificial Intelligence and Data Processing Symposium, pp. 1–6, 2023, doi: 10.53070/bbd.1350405.
12. Ö. Y. Yürütücü and Ş. Demir, “Ön eğitimli dil modelleriyle duygu analizi,” İstanbul Sabahattin Zaim Üniversitesi Fen Bilimleri Enstitüsü Dergisi, vol. 5, no. 1, pp. 46–53, 2023, doi: 10.47769/izufbed.1312032.
13. M. Yıldırım, “Film yorumları kullanılarak önerilen yapay zekâ tabanlı yöntemle duygu analizinin gerçekleştirilmesi,” Fırat Üniversitesi Mühendislik Bilimleri Dergisi, vol. 34, no. 2, pp. 751–760, 2022, doi: 10.35234/fumbd.1138128.
14. S. Suthaharan, “Big data classification: Problems and challenges in network intrusion prediction with machine learning,” ACM SIGMETRICS Performance Evaluation Review, vol. 41, no. 4, pp. 70–73, 2014.
15. I. El Naqa and M. J. Murphy, “What is machine learning? In Machine Learning in Radiation Oncology”, Springer, 2015, pp. 3–11, doi: 10.1007/978-3-319-18305-3_1.
16. N. S. Suryawanshi, “Sentiment analysis with machine learning and deep learning: A survey of techniques and applications,” International Journal of Science and Research Archive, vol. 12, no. 2, pp. 005–015, 2024. GSC Online Press.
17. O. Pakarinen et al., “Prediction model for an early revision for dislocation after primary total hip arthroplasty,” PLOS ONE, vol. 17, no. 9, e0274384, 2022, doi: 10.1371/journal.pone.0274384.
18. K. A. Eşidir and Y. E. Gür, “Multilayer perceptron (MLP) ile Türkiye işlenmemiş alüminyum sektörü ithalat tahmini: 2023 Yılı Nisan-Aralık Ayları Dönemi Üzerine Bir İnceleme,” Erciyes Üniversitesi İİBF Dergisi, no. 68, pp. 57–64, 2024, doi: 10.18070/erciyesiibd.1310116.
19. A. B. Speer, “Empirical attrition modelling and discrimination: Balancing validity and group differences,” Human Resource Management Journal, vol. 34, no. 1, pp. 1–19, 2021, doi: 10.1111/1748-8583.12355.
20. Y. E. Gür, “Development and application of machine learning models in US consumer price index forecasting: Analysis of a hybrid approach” Data Science in Finance and Economics, vol. 4, no. 4, pp. 469–513, 2024, doi: 10.3934/DSFE.2024020.
21. Y. E. Gür, “Stock price forecasting using machine learning and deep learning algorithms: A case study for the aviation industry,” Fırat Üniversitesi Mühendislik Bilimleri Dergisi, vol. 36, no. 1, pp. 25–34, 2024, doi: 10.35234/fumbd.1357613.
22. T. Chen and C. Guestrin, “XGBoost: A scalable tree boosting system,” in Proc. 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2016, doi: 10.1145/2939672.2939785.
23. L. Wang, X. Wang, A. Chen, X. Jin, and H. Che, “Prediction of type 2 diabetes risk and its effect evaluation based on the XGBoost model,” Healthcare, vol. 8, no. 3, p. 247, 2020, doi: 10.3390/healthcare8030247.
24. O. C. Oguine and M. B. Oguine, “Comparative analysis and forecasting on the death rate of COVID-19 patients in Nigeria using random forest and multinomial Bayesian epidemiological models,” Journal of Clinical Case Studies, Reviews & Reports, pp. 1–7, 2021, doi: 10.47363/jccsr/2021(3)182.
25. H. A. Dağıstanlı, F. Özen, and İ. Saraçoğlu, “Forecasting sustainability reports with financial performance indicators using random forest for feature selection and gradient boosting for learning,” Savunma Bilimleri Dergisi, vol. 20, no. 2, pp. 279–302, 2024, doi: 10.17134/khosbd.1492365.
26. İ. Sel and D. Hanbay, “Ön eğitimli dil modelleri kullanarak Türkçe tweetlerden cinsiyet tespiti,” Fırat Üniversitesi Mühendislik Bilimleri Dergisi, vol. 33, no. 2, pp. 675–684, 2021, doi: 10.35234/fumbd.929133.
27. P. Kumari, “BERT and DistilBERT model for NLP,” Medium, Aug. 8, 2023. [Online]. Available: https://medium.com/@kumari01priyanka/bert-and-distilbert-model-for-nlp-7352eb16915e