Tweet Verileri İçin Metin Sınıflandırmasında Gelişmiş Makine Öğrenmesi Modelleri: CatBoost ve LightGBM ile Performans Karşılaştırması

Abstract

Çalışmada, sosyal medya tabanlı metinlerden oluşan ikili sınıflandırma problemi kapsamında duygu analizi gerçekleştirilmiştir. Analiz sürecinde, metinler dil ön işleme adımlarından geçirilmiş ve cümle düzeyinde çok dilli BERT modeli kullanılarak vektörleştirilmiştir. Dengesiz sınıf dağılımı problemi ise SMOTE (Synthetic Minority Over-sampling Technique) yöntemi ile dengelenmiştir. Sınıflandırmada LightGBM ve CatBoost makine öğrenmesi modelleri tercih edilmiştir. Modellere beş katlı çapraz doğrulama uygulanarak, doğruluk, F1 skoru, duyarlılık, özgüllük ve ROC-AUC gibi çeşitli performans metrikleri hesaplanmıştır. Görsel analizlerde metin uzunluğu, kelime sayısı ve kelime bulutu benzeri yapısal dağılımlar incelenmiştir. Elde edilen sonuçlara göre her iki model de yüksek sınıflandırma başarısı göstermiştir. CatBoost doğruluk (%87,4), F1 skoru (0,763), hassasiyet (0,737) ve duyarlılık (0,793) ölçütlerinde LightGBM’ye kıyasla tutarlı bir üstünlük sağlamıştır. Pozitif sınıfı daha başarılı tanıması ve dengeli genel performansı ile öne çıkmıştır. İki modelin ROC-AUC değeri ise eşit (0,926) bulunmuş ve sınıflar arası ayrım gücünün yüksek olduğu anlaşılmıştır. Elde edilen sonuçlar, gelişmiş vektörleştirme tekniklerinin makine öğrenmesi modelleri ile bütünleştiğinde duygu analizinde etkili çıktılar üretebildiğini ortaya koymaktadır.

Keywords

• Veri madenciliği
• Metin madenciliği
• Duygu analizi
• Makine öğrenmesi
• BERT

Advanced Machine Learning Models for Text Classification of Tweet Data: Performance Comparison with CatBoost and LightGBM

Abstract

In this study, sentiment analysis was performed for a binary classification problem consisting of social media-based texts. In the analysis process, the texts were subjected to language preprocessing steps and vectorized using the multilingual BERT model at the sentence level. The unbalanced class distribution problem was balanced with the SMOTE (Synthetic Minority Over-sampling Technique) method. LightGBM and CatBoost machine learning models were preferred for classification. Five-fold cross-validation was applied to the models and various performance metrics such as accuracy, F1 score, sensitivity, specificity and ROC-AUC were calculated. In visual analysis, text length, word count and word cloud-like structural distributions were analyzed. According to the results, both models showed high classification performance. CatBoost consistently outperformed LightGBM in accuracy (87.4%), F1 score (0.763), precision (0.737) and sensitivity (0.793). It stood out with its better recognition of the positive class and balanced overall performance. The ROC-AUC value of the two models was equal (0.926), indicating high discrimination power between classes. The results show that advanced vectorization techniques can produce effective outputs in sentiment analysis when integrated with machine learning models.

Keywords

• Data mining
• Text mining
• Sentiment analysis
• Machine learning
• BERT

References

1. Albayrak, M., Topal, K., & Altıntaş, V. (2017). Sosyal medya üzerinde veri analizi: Twitter. Süleyman Demirel Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 22 (Kayfor 15 Özel Sayısı), 1991-1998.
2. Liu, B. (2012). Sentiment analysis and opinion mining. Synthesis Lectures on Human Language Technologies, 5(1), 1–167. https://doi.org/10.2200/S00416ED1V01Y201204HLT016
3. Cambria, E., Schuller, B., Xia, Y., & Havasi, C. (2017). New avenues in opinion mining and sentiment analysis. IEEE Intelligent Systems, 28(2), 15–21. http://dx.doi.org/10.1109/MIS.2013.30
4. Eşidir, K. A., & Gür, Y. E. (2023). Yapay sinir ağları ile Türkiye plastik sektörü ithalat tahmini: 2023 yılı nisan-aralık ayları. Akademik Hassasiyetler, 10(23), 91-114. https://doi.org/10.58884/akademik-hassasiyetler.1307536
5. Bae, C. Y., Im, Y., Lee, J., Park, C., Kim, M., Kwon, H. U., & Kim, J. (2021). Comparison of biological age prediction models using clinical biomarkers commonly measured in clinical practice settings: AI techniques vs. traditional statistical methods. Frontiers in Analytical Science, 1. https://doi.org/10.3389/frans.2021.709589
6. Prokhorenkova, L., Gusev, G., Vorobev, A., Dorogush, A. V., & Gulin, A. (2018). CatBoost: unbiased boosting with categorical features. Advances in Neural Information Processing Systems, 31, 6638–6648. DOI: 10.5555/3327757.3327770
7. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 4171–4186, Minneapolis, Minnesota. https://doi.org/10.18653/v1/N19-1423
8. Lundberg, S. M., & Lee, S. I. (2017). A unified approach to interpreting model predictions. Proceedings of the 31st International Conference on Neural Information Processing Systems (NeurIPS 2017), 4765–4774. https://doi.org/10.48550/arXiv.1705.07874

9. Onan, A. (2017). Twitter Mesajları Üzerınde Makine Öğrenmesi Yöntemlerine Dayalı Duygu Analizi. Yönetim Bilişim Sistemleri Dergisi, 3(2), 1-14. https://dergipark.org.tr/tr/pub/ybs/issue/33128/368593
10. Çelik, Ö., Osmanoğlu, U. Ö., & Çanakçı, B. (2020). SENTIMENT ANALYSIS FROM SOCIAL MEDIA COMMENTS. Mühendislik Bilimleri ve Tasarım Dergisi, 8(2), 366-374. https://doi.org/10.21923/jesd.546224
11. Taşkın, S. G., Küçüksille, E. U., & Topal, K. (2022). Detection of Turkish fake news in Twitter with machine learning algorithms. Arabian Journal for Science and Engineering, 47(2), 2359–2379. https://doi.org/10.1007/s13369-021-06223-0
12. Kına, E., & Biçek, E. (2023). Duygu Analizinde Denetimli Makine Öğrenme Algoritmalarının Karşılaştırılmaları, (Kahramanmaraş Depremi Örneği). Batman Üniversitesi Yaşam Bilimleri Dergisi, 13(1), 21-31. https://doi.org/10.55024/buyasambid.1295878
13. Arzu, M., & Aydoğan, M. (2023). Türkçe Duygu Sınıflandırma İçin Transformers Tabanlı Mimarilerin Karşılaştırılmalı Analizi. Computer Science, IDAP-2023 : International Artificial Intelligence and Data Processing Symposium(IDAP-2023), 1-6. https://doi.org/10.53070/bbd.1350405
14. Raihen, M. N., & Akter, S. (2024). Sentiment analysis of passenger feedback on U.S. airlines using machine learning classification methods. World Journal of Advanced Research and Reviews, 23(01), 2260–2273. https://doi.org/10.30574/wjarr.2024.23.1.2183
15. Sazan, S. A., Ahmed, M., Saad, T. B., & Roy, M. (2024). Advanced natural language processing techniques for efficient sentiment analysis of US airline Twitter data: A high-performance framework for extracting insights from tweets. In 2024 6th International Conference on Electrical Engineering and Information & Communication Technology (ICEEICT), Dhaka, Bangladesh, (pp. 1-6).
16. Najafi, A., & Varol, O. (2024). TurkishBERTweet: Fast and reliable large language model for social media analysis. Expert Systems with Applications, 255, 124737. https://doi.org/10.1016/j.eswa.2024.124737
17. Koru, G. K., & Uluyol, Ç. (2024). Detection of Turkish fake news from tweets with BERT models. IEEE Access, 12, 14918–14931. https://doi.org/10.1109/ACCESS.2024.3354165
18. Piyasamara, D. (2022). Sentiment Analysis Dataset - Binary Classification [Veri kümesi]. Kaggle. https://www.kaggle.com/datasets/dineshpiyasamara/sentiment-analysis-dataset
19. Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q., & Liu, T.-Y. (2017). LightGBM: A highly efficient gradient boosting decision tree. Advances in Neural Information Processing Systems, 30, 3146–3154. DOI: 10.5555/3294996.3295074
20. Prokhorenkova, L., Gusev, G., Vorobev, A., Dorogush, A. V., & Gulin, A. (2018). CatBoost: Unbiased boosting with categorical features. Advances in Neural Information Processing Systems, 31, 6639–6649. DOI: 10.5555/3327757.3327770
21. Eşidir, K. A. (2025). Makine Öğrenimi Modelleri İle Yetişkin Eğitimi Analizi: Modellerin Karşılaştırmalı Performansı. Elektronik Sosyal Bilimler Dergisi, 24(2), 946-964. https://doi.org/10.17755/esosder.1589887