Sentiment Analysis in Turkish Based on Convolutional Neural Network Architectures

Abstract

Sentiment analysis is a research field that aims to identify the sentiment orientation (as, positive, negative or neutral) of a particular topic in text documents through machine learning, statistics and natural language processing techniques. Convolutional neural networks are a type of deep learning methods, which process data with a grid-like topology. In this paper, we present empirical results for three deep learning architectures based on convolutional neural network for sentiment analysis on Turkish. The first architecture initially employs word-embedding schemes to represent text documents. Then, a stack of convolution layers (i.e., 1-gram, 2-gram and 3-gram) has been employed to extract 1-gram, 2-gram and 3-gram based features. For each layer, constant number of filters have been employed to construct feature maps. The second examined architecture employs recurrent convolution and maximum pooling schemes on word embedding based representation. The third architecture is a convolution based pyramid configuration. To represent text corpus, word2vec, fastText, GloVe and LDA2vec word embedding schemes have been utilized. The empirical results on Turkish sentiment classification indicate that convolutional deep learning based architectures outperform conventional machine learning methods (such as, k-nearest neighbor algorithm, support vector machines, logistic regression and Naïve Bayes algorithm) and conventional deep learning architectures (such as, recurrent neural networks, long short term memory architecture and gated recurrent unit). We obtained a classification accuracy of 92.53% with convolutional neural network based architecture in conjuncton with word2vec (skip-gram model) based word embedding scheme.

Keywords

• Sentiment Analysis
• Deep Learning
• Convolutional Neural Networks

Evrişimli Sinir Ağı Mimarilerine Dayalı Türkçe Duygu Analizi

Öz

Duygu analizi (görüş madenciliği), metin belgeleri içerisinde yer alan nesnelere, ürünlere, servislere ya da organizasyonlara ilişkin görüş, duygu, tutum gibi öznel bilgilerin, makine öğrenmesi, istatistik ve doğal dil işleme gibi alanlardan teknik ve yöntemlerin kullanılması ile çıkarılmasını amaçlayan bir araştırma alanıdır. Duygu analizi, yapısal olmayan bilgiden, yapısal, anlamlı ve kullanışlı bilgiler çıkarılmasını olanaklı hale getirir. Bu bilgi, karar destek sistemleri ve bireysel karar vericiler için önemli bir kaynak olarak işlev görür. Evrişimli sinir ağları, veriyi ızgara benzeri bir topoloji ile işleyen bir tür derin öğrenme yöntemidir. Bu çalışmada, Türkçe metin belgeleri üzerinde duygu analizi için, evrişimli sinir ağı tabanlı üç temel derin öğrenme mimarisinin etkinliği değerlendirilmektedir. Çalışma kapsamında önerilen birinci mimaride, gömme katmanında, metin belgesinde yer alan kelimeler için, kelime gömme yöntemleri tabanlı temsil elde edilmektedir. Ardından, evrişim katmanları yığını (1-gram, 2-gram ve 3-gram) kullanılarak 1-gram, 2-gram ve 3-gram tabanlı özniteliklerin çıkarımı gerçekleştirilmektedir. Her bir katmanda, öznitelik haritalarının oluşturulması için sabit sayıda 80 filtre uygulanmaktadır. İncelenen ikinci evrişimli sinir ağı tabanlı mimaride gömme katmanı sonucu elde edilen metin temsili, yinelenen evrişim ve maksimum havuzlama katmanlarına tabi tutulmaktadır. İncelenen üçüncü mimari ise, evrişim tabanlı piramit mimarisidir. Metin belgelerinin temsilinde, word2vec, fastText, GloVe ve LDA2vec olmak üzere dört temel kelime gömme yöntemi incelenmektedir. İncelenen evrişimli sinir ağı tabanlı mimarilerin, Türkçe duygu analizi için, geleneksel makine öğrenmesi sınıflandırıcılarına (k-en yakın komşu algoritması, destek vektör makineleri, lojistik regresyon ve Naive Bayes algoritması) ve temel derin öğrenme mimarilerine (tekrarlayan sinir ağları, uzun kısa süreli bellek birimleri ve geçitli tekrarlayan birim) kıyasla daha yüksek başarım elde ettiği görülmektedir. Word2vec (Skip-gram modeli) kelime kodlaması yöntemi ile evrişimli sinir ağı tabanlı mimari ile %92.53 doğru sınıflandırma oranı elde edilmiştir.

Anahtar Kelimeler

• Evrişimli Sinir Ağları
• Derin Öğrenme
• Duygu Analizi

References

1. Fersini, E., Messina, E., & Pozzi, F. A. (2014). Sentiment analysis: Bayesian ensemble learning. Decision support systems, 68, 26-38.
2. Medhat, W., Hassan, A., & Korashy, H. (2014). Sentiment analysis algorithms and applications: A survey. Ain Shams engineering journal, 5(4), 1093-1113.
3. Taboada, M., Brooke, J., Tofiloski, M., Voll, K., & Stede, M. (2011). Lexicon-based methods for sentiment analysis. Computational linguistics, 37(2), 267-307.
4. Tan, S., & Zhang, J. (2008). An empirical study of sentiment analysis for chinese documents. Expert Systems with applications, 34(4), 2622-2629.
5. Collobert, R., Weston, J., Bottou, L., Karlen, M., Kavukcuoglu, K., & Kuksa, P. (2011). Natural language processing (almost) from scratch. Journal of machine learning research, 12(Aug), 2493-2537.
6. Zhang, L., Wang, S., & Liu, B. (2018). Deep learning for sentiment analysis: A survey. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 8(4), e1253.
7. Şeker, A., Diri, B., & Balık, H. H. (2017). Derin öğrenme yöntemleri ve uygulamaları hakkında bir inceleme. Gazi Mühendislik Bilimleri Dergisi (GMBD), 3(3), 47-64.
8. Çano, E., & Morisio, M. (2019). A data-driven neural network architecture for sentiment analysis. Data Technologies and Applications, 53(1), 2-19.

9. Güngör, O., Üsküdarlı, S., & Güngör, T. (2018, May). Recurrent neural networks for Turkish named entity recognition. In 2018 26th Signal Processing and Communications Applications Conference (SIU) (pp. 1-4). IEEE.
10. Collobert, R., & Weston, J. (2008, July). A unified architecture for natural language processing: Deep neural networks with multitask learning. In Proceedings of the 25th international conference on Machine learning (pp. 160-167).
11. Dos Santos, C., & Gatti, M. (2014, August). Deep convolutional neural networks for sentiment analysis of short texts. In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers (pp. 69-78).
12. Kim, Y. (2014). Convolutional neural networks for sentence classification. arXiv preprint arXiv:1408.5882.
13. Zhang, X., Zhao, J., & LeCun, Y. (2015). Character-level convolutional networks for text classification. In Advances in neural information processing systems (pp. 649-657).
14. Johnson, R., & Zhang, T. (2017, July). Deep pyramid convolutional neural networks for text categorization. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 562-570).
15. Çano, E., & Morisio, M. (2018, March). Role of data properties on sentiment analysis of texts via convolutions. In World Conference on Information Systems and Technologies (pp. 330-337). Springer, Cham.
16. Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781.
17. Pennington, J., Socher, R., & Manning, C. D. (2014, October). Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP) (pp. 1532-1543).