Using Machine Learning Models to Detect Hate Speech Against Refugees

Abstract

With the widespread use of social media, it is seen that negative posts such as hate speech towards various groups can spread uncontrollably through social networks. The migration to Turkey following the Syrian Civil War has brought hate speech towards refugees to the agenda. Hate speech is described as an important disease that must be prevented in order to ensure social peace. Considering the lack of studies conducted in Turkish on the detection of hate speech and the lack of a comprehensive data set that can be used in the detection of hate speech, this research has been studied on the detection of hate speech against refugees using machine learning methods in Turkish language posts on social networks. Experimental results are presented comparatively by applying logistic regression (LR), Artificial Neural Network (ANN), Support Vector Machines (SVM), Decision Trees and Random Forest models. It has been revealed that the performance values ​​obtained with Random Forest, ANN and LR are higher than the SVM and Decision Tree models.

Keywords

• Hate speech
• refugees
• machine learning

Mültecilere Yönelik Nefret Söyleminin Tespitinde Makine Öğrenmesi Modellerinin Kullanılması

Öz

Sosyal medya kullanımının yaygınlaşması ile birlikte sosyal ağlar üzerinden çeşitli gruplara yönelik nefret söylemi gibi olumsuz paylaşımların kontrolsüzce yayılabildiği görülmektedir. Suriye İç Savaşı’nı takiben Türkiye’ye yaşanan göç, mültecilere yönelik nefret söylemini gündeme getirmiştir. Nefret söylemi, toplumsal huzurun sağlanabilmesi için önüne geçilmesi gereken önemli bir hastalık olarak betimlenmektedir. Nefret söyleminin tespiti konusunda Türkçe dilinde yapılan çalışmaların ve nefret söyleminin tespitinde kullanılabilecek kapsamlı bir veri setinin eksikliği göz önüne alınarak bu araştırmada sosyal ağlarda Türkçe dilinde yapılan paylaşımlarda mültecilere yönelik nefret söyleminin makine öğrenmesi yöntemleri ile tespiti üzerine çalışılmıştır. Lojistik regresyon (LR), Yapay Sinir Ağı (YSA), Destek Vektör Makineleri (DVM), Karar Ağaçları ve Rastgele Orman modelleri uygulanarak deneysel sonuçlar karşılaştırmalı olarak sunulmuştur. Rastgele Orman, YSA ve LR ile elde edilen performans değerlerinin DVM ve Karar Ağaçları modellerinden daha yüksek olduğu ortaya konmuştur.

Anahtar Kelimeler

• Nefret söylemi
• mülteciler
• makine öğrenmesi

Kaynakça

1. Yanık, A. (2017). Sosyal medyada yükselen nefret söyleminin temelleri. Global Media Journal TR Edition, 8(15), 364-383.
2. United Nations. (2022, Ağustos). Hate speech. Erişim Adresi: https://www.un.org/en/hate-speech/understanding-hate-speech/what-is-hate-speech
3. Aydos, S. S., ve Aydos, O. S. (2019). Yeni medyada nefret söylemi ve nefret söyleminden doğan hukukî sorumluluk. Ankara Hacı Bayram Veli Üniversitesi Hukuk Fakültesi Dergisi, 23(2), 3-35.
4. Mayda, İ., Diri, B. ve Dalyan, T. (2021). Türkçe Tweetler üzerinde Makine Öğrenmesi ile Nefret Söylemi Tespiti. Avrupa Bilim ve Teknoloji Dergisi, (24), 328-334.
5. Ozkaya, U., Melgani, F., Bejiga, M. B., Seyfi, L., & Donelli, M. (2020). GPR B scan image analysis with deep learning methods. Measurement, 165, 107770.
6. Watanabe, H., Bouazizi, M., & Ohtsuki, T. (2018). Hate speech on twitter: A pragmatic approach to collect hateful and offensive expressions and perform hate speech detection. IEEE access, 6, 13825-13835.
7. Djuric, N., Zhou, J., Morris, R., Grbovic, M., Radosavljevic, V., Bhamidipati, N. (2015). Hate speech detection with comment embeddings, In Proceedings of the 24th international conference on world wide web, ss. 29-30
8. Papcunová, J., Martončik, M., Fedáková, D., Kentoš, M., Bozogáňová, M., Srba, I. & Adamkovič, M. (2021). Hate speech operationalization: a preliminary examination of hate speech indicators and their structure. Complex & Intelligent Systems, 1-16.

9. Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46.
10. McHugh, M. L. (2012). Interrater reliability: the kappa statistic. Biochemia Medica, 22(3), 276-282.
11. Baydoğan, V. C., ve Alatas, B. (2021). Çevrimiçi Sosyal Ağlarda Nefret Söylemi Tespiti için Yapay Zeka Temelli Algoritmaların Performans Değerlendirmesi. Fırat Üniversitesi Mühendislik Bilimleri Dergisi, 33(2), 745-754.
12. Simon, H., Baha, B. Y., & Garba, E. J. (2022). Trends in machine learning on automatic detection of hate speech on social media platforms: A Systematic review. FUW Trends in Science & Technology Journal, 7(1), 001-016.
13. Malmasi, S., & Zampieri, M. (2017). Detecting hate speech in social media. arXiv preprint arXiv:1712.06427.