Performance Comparison of Traditional and Contextual Representations for Cryptocurrency Sentiment Analysis on Twitter

Son yıllarda, özellikle Twitter gibi platformlarda kripto para birimleri hakkındaki tartışmalar giderek yaygınlaşmaktadır. Bu çalışma, doğal dil işleme (NLP) tabanlı makine öğrenimi (ML) ve derin öğrenme (DL) metodolojilerini uygulayarak kripto paralarla ilgili tweetlerin duygu analizini (SA) yapmaya odaklanmaktadır. Bu araştırmada 2020 ve 2021 yılları arasında açık kaynaklardan toplanan toplam 10.000 tweet kullanılmıştır. Analiz öncesinde veri kümesi, emojiler, bağlantılar ve HTML kodları gibi metin dışı öğelerin kaldırıldığı ayrıntılı bir ön işlemden geçirilmiştir. Metin temsilleri oluşturmak için başlangıçta TF-IDF kullanılmıştır. Naïve Bayes (NB), Karar Ağacı (DT), Destek Vektör Makinesi (SVM) dahil olmak üzere çeşitli geleneksel makine öğrenimi modelleri uygulanmıştır. Çift Yönlü Uzun Kısa Süreli Bellek (BiLSTM) ve Çift Yönlü Geçitli Tekrarlayan Birim (BiGRU) dahil olmak üzere gelişmiş DL modelleri de kullanılmıştır. Bağlamsal ilişkileri daha etkili bir şekilde yakalamak için, Transformatörlerden Çift Yönlü Kodlayıcı Temsilleri (BERT) modeli tarafından üretilen kelime gömmede kullanılmıştır. Performans değerlendirildiğinde, BERT tabanlı BiGRU modeli en yüksek doğruluğu (%93) ve en iyi F1 puanını elde etmiştir. Bu, derin bağlama dayalı kelime gömmeleri sıralı örüntülerden öğrenme yeteneğine sahip modellerle birleştirmenin etkinliğini göstermektedir. Genel olarak bulgular, DL yaklaşımlarının, özellikle de BERT gibi gelişmiş temsil yöntemlerini içerenlerin, duygu sınıflandırma görevlerinde geleneksel modellerden önemli ölçüde daha iyi performans gösterebileceğini göstermektedir.

In recent years, discussions about cryptocurrencies, particularly on platforms such as Twitter, have become increasingly prevalent. This study focuses on conducting a sentiment analysis (SA) of tweets related to cryptocurrencies, applying machine learning (ML) and deep learning (DL) methodologies based on natural language processing (NLP). This research used a total of 10,000 tweets collected from open sources between 2020 and 2021. Prior to analysis, the dataset underwent detailed pre-processing, during which non-textual elements such as emojis, links, and HTML codes were removed. TF-IDF was initially employed to generate text representations. Various traditional ML models were applied, including Naïve Bayes (NB), Decision Tree (DT), Support Vector Machine (SVM). Advanced DL models were also used, including Bidirectional Long Short-Term Memory (BiLSTM) and Bidirectional Gated Recurrent Unit (BiGRU). To capture contextual relationships more effectively, text embeddings generated by the Bidirectional Encoder Representations from Transformers (BERT) model were also utilised. When performance was evaluated, the BERT-based BiGRU model achieved the highest Accuracy (Acc) of 93% and the best F1 score. This demonstrates the effectiveness of combining deep contextual embeddings with models capable of learning from sequential patterns. Overall, the findings suggest that DL approaches, particularly those that incorporate advanced representation methods such as BERT, can significantly outperform traditional models in sentiment classification tasks.