Derin Öğrenme ve Aşağı Örnekleme Yaklaşımları Kullanılarak Duygu Sınıflandırma Performansının İyileştirilmesi

Year 2020, Volume: 32 Issue: 2, 561 - 570, 24.09.2020

Yunus Santur

https://doi.org/10.35234/fumbd.759131

Cited By: 1

Abstract

: Bir metnin hangi duygu sınıfına ait olduğunu bulma problemi duygu sınıflandırma olarak bilinmektedir. Bu işlemin otomatize bir şekilde yapılması çevrimiçi ortamda büyük miktarda verinin çok kısa sürelerde analiz edilebilmesine olanak sağlamaktadır. Böylece müşteri memnuniyetini ölçme, reklam ve içerik önerme gibi birçok farklı amaçla kullanılabilmektedir. E-ticaret uygulamalarında duygu sınıflandırma için kullanıcı yorumlarının yanı sıra, memnuniyet derecesini ölçen sayısal bir puanlama ya da duygu durumunu kategorik bir değişken olarak ifade edecek bir değişkene daha ihtiyaç duyulmaktadır. Bu sayede etiketli verilerden oluşan veri seti üzerinde denetimli öğrenme ile model oluşturulmaktadır. Burada yaşanan bir dezavantaj kullanıcıların bir üründen çoğunlukla memnun olmaları ya da tam tersi şikâyetçi olmalarıdır. Bu durumda oluşan veri seti dengesiz olmaktadır. Bu çalışmada Türk e-ticaret platformu Hepsiburada firmasına ait 243 bin kullanıcı yorumundan oluşan veri seti kullanılmıştır. Dengesiz olan bu veri setinde, sınıflandırma performansının iyileştirilmesi için derin öğrenme algoritmaları kullanılmış ve dengesiz veri seti yaklaşımı sunulmuştur. Sunulan yaklaşım ile yanlış pozitif oranı % 69’dan % 90’a, doğruluk değeri ise % 95.5’ten % 99’a iyileştirilmiştir.

Keywords

Derin Öğrenme, Metin Sınıflandırma, Yinelenen Sinir Ağları

References

• [1] Collobert R, Weston J, Bottou L, Karlen M, Kavukcuoglu K, Kuksa P. Natural language processing (almost) from scratch. Journal of machine learning research 2011; 12, 2493-2537. [2] Young T, Hazarika D, Poria S, Cambria, E. Recent trends in deep learning based natural language processing. ieee Computational intelligenCe magazine 2018; 13(3), 55-75. [3] Goldberg Y. Neural network methods for natural language processing. Synthesis Lectures on Human Language Technologies 2017; 10(1), 1-309. [4] Zhuang H, Wang C, Li C, Wang Q, Zhou, X. Natural language processing service based on stroke-level convolutional networks for Chinese text classification. In 2017 IEEE Int. Conf. on Web Services, 25-30 June, HI, USA, pp. 404-411. [5] Young T, Hazarika D, Poria S, Cambria E. Recent trends in deep learning based natural language processing. ieee Computational intelligenCe magazine 2018; 13(3), 55-75. [6] N11 [Internet] [2020],Available: https:/www.n11.com [7] Feldman, R. Techniques and applications for sentiment analysis. Communications of the ACM, 56(4), 82-89. [8] Neri, F, Aliprandi, C, Capeci, F, Cuadros, M, By, T. Sentiment Analysis on Social Media. ASONAM, 12, 919-926. [9] Alaei, A. R, Becken, S, Stantic, B. Sentiment analysis in tourism: capitalizing on big data. Journal of Travel Research, 58(2), 175-191. [10] Abualigah, L, Alfar, H. E, Shehab, M, Hussein, A. M. A. Sentiment Analysis in Healthcare: A Brief Review. In Recent Advances in NLP: The Case of Arabic Language, (pp. 129-141). Springer, Cham. [11] Tubishat, M, Abushariah, M. A, Idris, N, Aljarah, I. Improved whale optimization algorithm for feature selection in Arabic sentiment analysis. Applied Intelligence, 49(5), 1688-1707. [12] Yousif, A, Niu, Z, Tarus, J. K, Ahmad, A. A survey on sentiment analysis of scientific citations. Artificial Intelligence Review, 52(3), 1805-1838. [13] Derakhshan, A, Beigy, H. Sentiment analysis on stock social media for stock price movement prediction. Engineering Applications of Artificial Intelligence, 85, 569-578. [14] Santur Y. Sentiment Analysis Based on Gated Recurrent Unit. In 2019 International Artificial Intelligence and Data Processing Symposium (IDAP),21-22 Sep. Malatya, Turkey, pp. 1-5. [15] Kulkarni A, Shivananda A. Converting text to features. In Natural Language Processing Recipes, Apress, Berkeley, CA. 2019; 67-96. [16] Arroyo-Fernández I, Méndez-Cruz C. F, Sierra G, Torres-Moreno J. M, Sidorov, G. Unsupervised sentence representations as word information series: Revisiting TF–IDF. Computer Speech & Language 2019; 56, 107-129. [17] Song Y. MIHNet: Combining N-gram, Sequential and Global Information for Text Classification. In Journal of Physics: Conference Series 2020; 1453, 012156. [18] Mikolov T, Chen K, Corrado G, Dean J. Efficient estimation of word representations in vector space. arXiv preprint arXiv:2013; 1301.3781. [19] Guo D, Wang Q, Liang M, Liu W, Nie, J. Molecular Cavity Topological Representation for Pattern Analysis: A NLP Analogy-Based Word2Vec Method. International Journal of Molecular Sciences 2019; 20(23), 6019. [20] Joulin A, Grave E, Bojanowski P, Douze M, Jégou H, Mikolov T.Fasttext. zip: Compressing text classification models. arXiv preprint arXiv:2016; 1612.03651. [21] Pennington J, Socher R, Manning C. D. Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), 25-29 Oct., Doha, Qatar, pp.1532-1543. [22] LeCun Y, Bengio Y, Hinton G. Deep learning. Natüre 2015; 521(7553), 436-444. [23] He T, Huang W, Qiao Y, Yao J. Text-attentional convolutional neural network for scene text detection. IEEE transactions on image processing 2016; 25(6), 2529-2541. [24] Lukoševičius M, Jaeger H. Reservoir computing approaches to recurrent neural network training. Computer Science Review 20019; 3(3), 127-149. [25] Song S, Huang H, Ruan T. Abstractive text summarization using LSTM-CNN based deep learning. Multimedia Tools and Applications 2019; 78(1), 857-875. [26] Hochreiter S, Schmidhuber J. Long short-term memory. Neural computation 1997; 9(8), 1735-1780. [27] Luo L. X. Network text sentiment analysis method combining LDA text representation and GRU-CNN. Personal and Ubiquitous Computing 2019; 23(3-4), 405-412. [28] Kim H. Y, Won C. H. Forecasting the volatility of stock price index: A hybrid model integrating LSTM with multiple GARCH-type models. Expert Systems with Applications 2018; 103, 25-37. [29] Hepsiburada kullanıcı yorumları [2018], Available: https://www.kaggle.com/bulentsiyah/hepsi-burada-yorum. [30] Deng X, Liu Q, Deng Y, Mahadevan S. An improved method to construct basic probability assignment based on the confusion matrix for classification problem. Information Sciences 2016; 340, 250-261. [31] Segura-Bedmar I, Colón-Ruíz C, Tejedor-Alonso M. Á, Moro-Moro, M. Predicting of anaphylaxis in big data EMR by exploring machine learning approaches. Journal of biomedical informatics 2018; 87, 50-59.