Detecting Emotional Reactions Expressed by People on Social Networks during COVID-19 by Natural Language Processing Methods: The Ekşi Sözlük Example

Abstract

COVID-19, which has been declared a pandemic by the World Health Organization (WHO) and poses a serious public health threat on a global scale, has affected the whole world. Although human history has witnessed many epidemics in the past, if we consider just the 21st century, no epidemic has been as effective as COVID-19. The rapid global spread of COVID-19 has pushed policy makers and governments to implement restrictions and prohibitions. As a result of these actions, important changes were observed in people’s social, political, cultural and economic lives. Restrictions and prohibitions forced people to spend more time at home, and as a consequence, the time people spent on the Internet increased significantly. In particular, the forced lockdowns resulting from COVID-19 led people to experience intense emotions such as denial, fear, anger, anxiety, acceptance, insecurity, and trust, and share these feelings with their external environment through social media platforms. In this study, in order to evaluate the emotional responses of Turkish citizens to the events specific to the COVID-19 pandemic, 7500 c omments were c ollected f rom various t opics on t he COVID-19 e pidemic p rocess on t he E kşi Sözlük platform, and an evaluation was made using Natural Language Processing Techniques. In this evaluation phase, Word2Vec and Doc2Vec architectures, which are word embedding techniques, were used. With these techniques, the common emotional responses of Turkish citizens were examined. The success of the model created achieved up to 97% in Word2Vec architecture and up to 97.5% in Doc2Vec architecture.

Keywords

• COVID-19
• Natural Language Processing
• Sentiment Analysis
• Ekşi Sözlük

COVID-19 Süresince İnsanların Sosyal Ağlar Üzerinde Dışa Vurdukları Duygusal Tepkilerin Doğal Dil İşleme Yöntemleriyle Tespit Edilmesi: Ekşi Sözlük Örneği

Abstract

Dünya Sağlık Örgütü (WHO) tarafından pandemisi ilan edilen ve küresel ölçekte ciddi bir halk sağlığı tehdidi oluşturan COVID-19, tüm dünyayı etkisi altına almıştır. İnsanlık tarihi geçmişte birçok salgına şahit olsa da 21. yüzyıl dikkate alındığında hiçbir salgın COVID-19 kadar etkili olmamıştır. COVID-19’un küresel ölçekte hızlı yayılımı politika yapıcıları ve hükümetleri kısıtlama ve yer yer yasak kararları alma yoluna itmiştir. Bu kararlar neticesinde de insanların sosyal, siyasal, kültürel ve ekonomik hayatlarında önemli değişimler gözlemlenmektedir. Kısıtlamalar ve yasaklar, insanları evlerinde daha fazla vakit geçirmeye itmiş ve insanların evde daha çok zaman geçirmeleri ile internette geçirmiş oldukları süre ciddi derecede artmıştır. Özellikle COVID-19’un insanlar üzerinde yaratmış olduğu hapis durumu, insanların inkâr, korku, öfke, kaygı, kabullenme, güvensizlik, güven şeklinde kategorilendirilebilecek duyguları yoğun bir şekilde yaşamasına ve bu duygularını sosyal medya platformları üzerinden dış çevreleriyle paylaşmalarına yol açmıştır. Bu çalışmada, Türk vatandaşlarının COVID-19 pandemisine has yaşanan olaylara verdikleri duygusal tepkileri değerlendirebilmek adına, Ekşi Sözlük platformunda COVID-19 salgın süreci hakkında açılmış olan çeşitli konu başlıklarından 7500 yorum toplanmış ve Doğal Dil İşleme Teknikleri kullanılarak bir değerlendirme yapılmıştır. Bu değerlendirme aşamasında kelime gömme tekniklerinden olan Word2Vec ve Doc2Vec mimarisinden faydalanılmıştır. Bu teknikler ile Türk vatandaşların verdikleri ortak duygusal tepkiler inceleme altına alınmıştır. Oluşturulan modelin başarısı Word2Vec mimarisinde %97, Doc2Vec mimarisinde ise %97,5’lara kadar elde edilmiştir.

Keywords

• COVID-19
• Doğal Dil İşleme
• Duygu Analizi
• Ekşi Sözlük

References

1. Adalı, E. (2012). Doğal Dil İşleme. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi, 5(2).
2. Altintaş, V., Topal, K., ve Albayrak, M. (2019). Sosyal Medya Platformu Üzerinde Gizli Anlam Analizi. Avrupa Bilim ve Teknoloji Dergisi, (16), 863-869. doi:10.31590/ejosat.590521
3. Altszyler, E., Ribeiro, S., Sigman, M., ve Fernández Slezak, D. (2017). The interpretation of dream meaning: Resolving ambiguity using Latent Semantic Analysis in a small corpus of text. Consciousness and Cognition, 56, 178-187. doi:https://doi.org/10.1016/j.concog.2017.09.004
4. Bekaroğlu, E. (2019). Ölüm ve Hayatın Anlamı Üzerine Psikolojik Bir İnceleme: İvan İlyiç’in Ölümü. Ankara Hacı Bayram Veli Üniversitesi Edebiyat Fakültesi Dergisi, 1(1), 33-37.
5. Chang, W., Xu, Z., Zhou, S., ve Cao, W. (2018). Research on detection methods based on Doc2vec abnormal comments. Future Generation Computer Systems, 86, 656-662. doi:https://doi.org/10.1016/j.future.2018.04.059
6. Choi, J., ve Lee, S.-W. (2020). Improving FastText with inverse document frequency of subwords. Pattern Recognition Letters, 133, 165-172. doi:https:// doi.org/10.1016/j.patrec.2020.03.003
7. Dan-Glauser, E. S., ve Gross, J. J. (2015). The temporal dynamics of emotional acceptance: Experience, expression, and physiology. Biological Psychology, 108, 1-12. doi:https://doi.org/10.1016/j.biopsycho.2015.03.005
8. EkşiSözlük. (2020a). corona virüsü sayesinde fark edilen gerçekler, https://eksisozluk.com/corona-virusu-sayesinde-fark-edilen-gercekler--6435737, (Erişim Tarihi: 15.05.2020).

9. EkşiSözlük. (2020b). covid-19, https://eksisozluk.com/covid-19--6362411, (Erişim Tarihi: 15.05.2020).
10. EkşiSözlük. (2020c). covid-19 salgınını hafife alan gerizekalılar, https://eksisozluk.com/covid-19-salginini-hafife-alan-gerizekalilar--6406633, (Erişim Tarihi: 15.05.2020).
11. EkşiSözlük. (2020d). çocuk kişisiyle karantina günleri, https://eksisozluk.com/cocuk-kisisiyle-karantina-gunleri--6442390, (Erişim Tarihi: 15.05.2020).
12. EkşiSözlük. (2020e). koronavirüs, https://eksisozluk.com/koronavirus--6335395, (Erişim Tarihi: 15.05.2020).
13. EkşiSözlük. (2020f). sars-cov-2, https://eksisozluk.com/sars-cov-2--6371913, (Erişim Tarihi: 15.05.2020).
14. EkşiSözlük. (2020g). sokağa çıkma yasağı, https://eksisozluk.com/sokaga-cikma-yasagi--45968, (Erişim Tarihi: 15.05.2020).
15. Gençöz, T. (1998). Korku: Sebepleri, sonuçları ve başetme yolları. Kriz Dergisi, 6(2), 9-16. doi:https://doi.org/10.1501/Kriz_0000000068
16. Gulati, K., Kumar, S. S., Boddu, R. S. K., Sarvakar, K., Sharma, D. K., ve Nomani, M. Z. M. (2021). Comparative analysis of machine learning-based classification models using sentiment classification of tweets related to COVID-19 pandemic. Materials Today: Proceedings, In Press. https://doi. org/10.1016/j.matpr.2021.04.364
17. Hu, F., Xu, X., ve Li, L. (2019). Identifying word evolution by incorporating PoS and avoiding alignment of temporal words. Applied Soft Computing, 85, 105738. doi:https://doi.org/10.1016/j.asoc.2019.105738
18. İşleyen, A. (2019). İnternet, kamusal alan ve demokrasi: Ekşi Sözlük’te bedelli askerlik tartışmaları örneği. Nosyon: Uluslararası Toplum ve Kültür Çalışmaları Dergisi, 2, 50-63.
19. Jha, S., Prashar, D., Long, H. V., ve Taniar, D. (2020). Recurrent neural network for detecting malware. Computers & Security, 99, 102037. doi:https:// doi.org/10.1016/j.cose.2020.102037
20. Kaya, M. (2020). Okul Müdürü Kavramına Yönelik Algıların Analizi: Bir Katılımcı Sözlük Fenomeni Ekşi Sözlük Örneği. Eurasian Journal of Teacher Education, 1 (1) , 70-81 .
21. Khatua, A., Khatua, A., ve Cambria, E. (2019). A tale of two epidemics: Contextual Word2Vec for classifying twitter streams during outbreaks. Information Processing & Management, 56(1), 247-257. doi:https://doi.org/10.1016/j.ipm.2018.10.010 Kim, D.,
22. Seo, D., Cho, S., ve Kang, P. (2019). Multi-co-training for document classification using various document representations: TF–IDF, LDA, and Doc2Vec. Information Sciences, 477, 15-29. doi:https://doi.org/10.1016/j.ins.2018.10.006
23. Kim, H. J., Kim, T. S., ve Sohn, S. Y. (2020). Recommendation of startups as technology cooperation candidates from the perspectives of similarity and potential: A deep learning approach. Decision Support Systems, 130, 113229. doi:https://doi.org/10.1016/j.dss.2019.113229
24. Kınık, D., ve Güran, A. (2021). TF-IDF ve Doc2Vec Tabanlı Türkçe Metin Sınıflandırma Sisteminin Başarım Değerinin Ardışık Kelime Grubu Tespiti ile Arttırılması. Avrupa Bilim ve Teknoloji Dergisi, (21), 323-332. doi:https://doi.org/10.31590/ejosat.774144
25. Kundu, A., Jain, V., Kumar, S., ve Chandra, C. (2015). A journey from normative to behavioral operations in supply chain management: A review using Latent Semantic Analysis. Expert Systems with Applications, 42(2), 796-809. doi:https://doi.org/10.1016/j.eswa.2014.08.035
26. Le, Q. V., ve Mikolov, T. (2014). Distributed Representations of Sentences and Documents. arXiv:1405.4053. https://ui.adsabs.harvard.edu/ abs/2014arXiv1405.4053L
27. Li, L., Zhang, Q., Wang, X., Zhang, J., Wang, T., Gao, T., . . . Wang, F. (2020). Characterizing the Propagation of Situational Information in Social Media During COVID-19 Epidemic: A Case Study on Weibo. IEEE Transactions on Computational Social Systems, 7(2), 556-562. doi:10.1109/TCSS.2020.2980007
28. Li, S., Wang, Y., Xue, J., Zhao, N., ve Zhu, T. (2020). The Impact of COVID-19 Epidemic Declaration on Psychological Consequences: A Study on Active Weibo Users. Int J Environ Res Public Health, 17(6). doi:10.3390/ijerph17062032
29. Liu, B. (2015). Sentiment analysis: Mining opinions, sentiments, and emotions. New York: Cambridge University Press.
30. Lopez, C. E., Vasu, M., ve Gallemore, C. (2020). Understanding the perception of COVID-19 policies by mining a multilanguage Twitter dataset. arXiv:2003.10359. https://ui.adsabs.harvard.edu/abs/2020arXiv200310359L
31. López, W., Merlino, J., ve Rodríguez-Bocca, P. (2020). Learning semantic information from Internet Domain Names using word embeddings. Engineering Applications of Artificial Intelligence, 94, 103823. doi:https://doi.org/10.1016/j.engappai.2020.103823
32. Luo, J. W., ve Chong, J. J. R. (2020). Review of Natural Language Processing in Radiology. Neuroimaging Clinics of North America, 30(4), 447-458. doi:https://doi.org/10.1016/j.nic.2020.08.001
33. Melton, C. A., Olusanya, O. A., Ammar, N., Shaban-Nejad, A. (2021). Public sentiment analysis and topic modeling regarding COVID-19 vaccines on the Reddit social media platform: A call to action for strengthening vaccine confidence. Journal of Infection and Public Health, 14(10), 1505-1512. doi: https://doi.org/10.1016/j.jiph.2021.08.010
34. Mikolov, T., Chen, K., Corrado, G., ve Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space. arXiv:1301.3781. https://ui.adsabs. harvard.edu/abs/2013arXiv1301.3781M
35. Obembe, D., Kolade, O., Obembe, F., Owoseni, A., Mafimisebi, O. (2021). Covid-19 and the tourism industry: An early stage sentiment analysis of the impact of social media and stakeholder communication. International Journal of Information Management Data Insights, 1(2), 100040. doi: https:// doi.org/10.1016/j.jjimei.2021.100040
36. Özen, N. S., Saraç, S., ve Koyuncu, M. (2021). COVID-19 Vakalarının Makine Öğrenmesi Algoritmaları ile Tahmini: Amerika Birleşik Devletleri Örneği. Avrupa Bilim ve Teknoloji Dergisi, (22), 134-139. doi:https://doi.org/10.31590/ejosat.855113
37. Peng, H., Ma, Y., Poria, S., Li, Y., ve Cambria, E. (2021). Phonetic-enriched text representation for Chinese sentiment analysis with reinforcement learning. Information Fusion, 70, 88-99. doi:https://doi.org/10.1016/j.inffus.2021.01.005
38. Phung, N. M., ve Mimura, M. (2021). Detection of malicious javascript on an imbalanced dataset. Internet of Things, 13, 100357. doi:https://doi.org/10.1016/j. iot.2021.100357
39. Porsuk, A. Ö., ve Cerit, Ç. (2021). Sosyal Medyada Covid-19 Aşısı Tartışmaları: Ekşi Sözlük Örneği. Hacettepe Sağlık İdaresi Dergisi, 24(2): 347-360.
40. Sanz, I. P. (2020). Using the European Commission country recommendations to predict sovereign ratings: A topic modeling approach. Expert Systems with Applications, 5, 100026. doi:https://doi.org/10.1016/j.eswax.2020.100026
41. Shobana, J., ve Murali, M. (2021). Improving feature engineering by fine tuning the parameters of Skip gram model. Materials Today: Proceedings. doi:https://doi.org/10.1016/j.matpr.2021.01.536
42. Singh, J., ve Modi, N. (2019). Use of information modelling techniques to understand research trends in eye gaze estimation methods: An automated review. Heliyon, 5(12), e03033. doi:https://doi.org/10.1016/j.heliyon.2019.e03033
43. Soykan, Ç. (2003). Öfke ve öfke yönetimi. Kriz Dergisi, 11(2), 19-27. doi:https://doi.org/10.1501/Kriz_0000000192
44. Suleman, R. M., ve Korkontzelos, I. (2021). Extending latent semantic analysis to manage its syntactic blindness. Expert Systems with Applications, 165, 114130. doi:https://doi.org/10.1016/j.eswa.2020.114130