Türkçe Nefret Söylemi Problemi Analizinde Farklı Sınıflandırma Algoritmalarının ve Özellik Seçimi Yöntemlerinin Performans Karşılaştırması

Öz

Günümüzde teknolojinin gelişmesine bağlı olarak sosyal medya kullanımı ve sosyal medya ağlarının sayısı gün geçtikçe artmaktadır. Bu durum, sosyal medyada nefret söylemi içeriklerinin sayıca artması ve buna bağlı olarak bu içeriklerin paylaşılması anlamına gelmektedir. Sosyal medya kullanıcılarını olumsuz yönde etkileyen bu paylaşımların önüne geçebilmek adına kamu otoriteleri ve sosyal medya geliştiricileri tarafından alınan önlemler yetersizdir. Bu sebeple, hacimce büyük miktarda üretilen nefret söylemi içeriklerinin tespitini kolaylaştıran otomatik sistemlere ihtiyaç duyulmaktadır. Öte yandan, İngilizce ve diğer pek çok dilde yapılan çalışmalar incelendiğinde, Türkçe’de nefret söylemi içeriklerinin tespitinde yeterli düzeyde çalışmaya henüz varılamamıştır. Mevcut çalışmalar incelendiğinde ise, küçük boyutta veri kümesi kullanımı, özellik seçim yöntemlerinin azlığı ve sınıflandırma algoritmalarının benzerliği görülmüştür. Literatürde bahsedilen tüm bu eksikliklerin giderilmesi için, bu çalışma gerçekleştirilmiştir. Çalışma kapsamında, Türkçe dilinde farklı boyutlarda iki adet tweet veri kümesi (veri kümesi_1k, veri kümesi_2k) kullanılmıştır. Öncelikle veri kümesi üzerinde beş farklı özellik seçimi algoritması uygulanarak özellik sayısı 1.000’e düşürülmüştür. Daha sonra nefret söylemi tespiti için, her bir özellik seçiminden elde edilen 1.000 özellik üzerinde sırası ile makine öğrenmesi algoritmalarından K-En Yakın Komşu (KNN), Rasgele Orman (RF), Naive Bayes (NB), Destek Vektör Makinesi (SVM), Uzun Kısa-Süreli Bellek (LSTM) ve Word2Vec+SVM yöntemleri uygulanmıştır. Deneysel sonuçlarda, başarı ölçütü olarak F-ölçüm değeri kullanılmıştır. Veri kümesi_1k için en iyi sonucu %88,81 F-ölçüm oranıyla oneR özellik seçimi ile NB algoritması vermiştir. Veri kümesi_2k için en iyi sonucu %87,71 F-ölçüm oranıyla InfoGain özellik seçimi ile NB algoritması vermiştir. Beş farklı özellik seçimiyle yapılan deneylerde, LSTM algoritması diğer tüm algoritmalara göre daha başarılı olmuştur.

Anahtar Kelimeler

• Türkçe nefret söylemi tespiti
• Siber zorbalık
• Türkçe tweetler
• Makine öğrenmesi
• LSTM

Performance Comparison of Different Classification Algorithms and Feature Selection Methods in Turkish Hate Speech Problem Analysis

Abstract

Today, due to the development of technology, use of social media and the number of social media networks are increasing day by day. This means that the number of hate speech contents on social media increases and, accordingly, these contents are shared. The measures taken by public authorities and social media developers to prevent these posts that negatively affect social media users are insufficient. For this reason, automatic systems that facilitate the detection of hate speech content produced in large quantities are needed. On the other hand, when studies conducted in English and many other languages are examined, sufficient studies have not been achieved yet in detecting hate speech content in Turkish. When existing studies are examined, use of small datasets, scarcity of feature selection methods and similarity of classification algorithms are seen. This study is carried out to eliminate all these deficiencies mentioned in the literature. Within the scope of the study, two tweet datasets of different sizes in Turkish (dataset_1k, dataset_2k) are used. First of all, five different feature selection algorithms are applied on these datasets and the number of features is reduced to 1,000. Then, machine learning algorithms are used on 1,000 features obtained from each feature selection to detect hate speech. These algorithms are K-Nearest Neighbor (KNN), Random Forest (RF), Naive Bayes (NB), Support Vector Machine (SVM), Long Short-Term Memory (LSTM) and Word2Vec+SVM methods, respectively. In experimental results, F-measurement value is taken as a criterion of success. In the experimental results, F-measure is used as the performance metric. NB algorithm with oneR feature selection is achieved the best result for Data set_1k with an F-measure of 88.81%. NB algorithm with InfoGain feature selection is achieved the best result for Data set_2k with an F-measure of 87.71%. It has been observed that LSTM algorithm is more successful than all other algorithms in the experiments with five different feature selections.

Keywords

• Turkish hate speech detection
• Cyberbullying
• Turkish tweets
• Machine learning
• LSTM

References

1. Akın, A. A. (2007). Zemberek, An Open-Source NLP Framework For Turkish Languages. Structure, 10(2007), 1-5. https://scholar.google.com/citations?view_op=view_citation&hl=tr&user=zCdB2VkAAAAJ&citation_for_view=zCdB2VkAAAAJ:d1gkVwhDpl0C
2. Beken, M. (2022). Prediction Of Oil Consumption And Oil Access Of Countries In The European Union Region With Machine Learning. International Journal of Smart Grid-IJSmartGrid 6(3), 79-83. https://doi.org/https://doi.org/10.20508/ijsmartgrid.v6i3.250.g242
3. Beyhan, F. (2022). A Turkish Hate Speech Dataset And Detection System. In İ. Arın, Proceedings of the 13th Conference on Language Resources and Evaluation (LREC 2022) Marseille, France.
4. Bingöl, H. Y., M. (2021, 25-28 Kasım 2021). Çevrimiçi Sosyal Ağlarda Yapay Zekâ Yöntemleri İle Siber Zorbalık Tespiti Uluslararası Mühendislik, Doğa ve Sosyal Bilimler Sempozyumu, Batman, Türkiye.
5. Budak, H. (2018). Özellik Seçim Yöntemleri Ve Yeni Bir Yaklaşım. Süleyman Demirel Üniversitesi Fen Bilimleri Enstitüsü Dergisi 22(Özel Sayı), 21-31. https://doi.org/10.19113/sdufbed.01653
6. Dinçer, E. Ş. (2022). Metin Madenciliği Ve Duygu Analizi İle Siber Zorbalık Tespiti. Eskişehir Türk Dünyası Uygulama ve Araştırma Merkezi Bilişim Dergisi 3(2), 38-45. https://doi.org/https://doi.org/10.53608/estudambilisim.1070884
7. Eid, M. (2022). Meta-Heuristic optimization of LSTM-based deep network for Boosting the prediction of monkeypox cases. Mathematics 10(20), 3845. https://doi.org/https://doi.org/10.3390/math10203845
8. Engindeniz, İ., Özkan, Ş., & Tekin, F. (2018). Medyada Nefret Söylemi Ve Ayrımcı Söylem 2018 Raporu. https://hrantdink.org/tr/asulis/faaliyetler/projeler/medyada-nefret-soylemi/2002-medyada-nefret-soylemi-ve-ayrimci-soylem-2018-raporu-yayimlandi

9. Gu, Q. (2012). Generalized Fisher Score For Feature Selection. 1-3. https://doi.org/https://doi.org/10.48550/arXiv.1202.3725
10. Hall, M. A. (1999). Correlation-based Feature Selection For Machine learning The University of Waikato]. Hamilton, New Zealand. https://hdl.handle.net/10289/15043 ; https://researchcommons.waikato.ac.nz/handle/10289/15043?show=full
11. Kara, A. (2019). Global Solar Irradiance Time Series Prediction Using Long Short-Term Memory Network. Gazi Üniversitesi Fen Bilimleri Dergisi, Part C: Tasarım ve Teknoloji 7(4), 882-892. https://doi.org/10.29109/gujsc.571831
12. Karayiğit, H. (2021). Detecting Abusive Instagram Comments In Turkish Using Convolutional Neural Network And Machine Learning Methods. Expert Systems with Applications 174(14). https://doi.org/https://doi.org/10.1016/j.eswa.2021.114802
13. Karayiğit, H. (2022). Homophobic And Hate Speech Detection Using Multilingual-BERT Model On Turkish Social Media. Information Technology and Control 51(2), 356-375. https://doi.org/https://doi.org/10.5755/j01.itc.51.2.29988
14. Kuş, O. (2021). Kovid-19 Salgını Ve Mültecilere Yönelik Dijital Nefret Söylemi: Büyük Veri Perspektifinden Metin Madenciliği Tekniği İle Kullanıcı Kaynaklı İçeriklerin Analizi. TRT Akademi 6(11), 106-131. https://doi.org/https://doi.org/10.37679/trta.830736
15. Mayda, İ. (2021). Türkçe Tweetler Üzerinde Makine Öğrenmesi İle Nefret Söylemi. European Journal of Science and Technology 328-334. https://doi.org/https://doi.org/10.31590/ejosat.903854
16. Nergiz, G. (2021). Türkçe Sosyal Medya Yorumlarındaki Siber Zorbalığın Derin Öğrenme İle Tespiti. European Journal of Science and Technology 31(1), 77-84. https://doi.org/https://doi.org/10.31590/ejosat.987259
17. Novaković, J. (2011). Toward Optimal Feature Selection Using Ranking Methods And Classification Algorithms. Yugoslav Journal of Operations Research 21(1), 119-135. https://doi.org/10.2298/YJOR1101119N
18. Ön, E. P. (2020, 05-07 October 2020). Cyberbullying Detection Using Deep Learning And Word Embedding Analysis 28th Signal Processing and Communications Applications Conference (SIU), Gaziantep, Turkey. https://ieeexplore.ieee.org/document/9302297
19. Özçift, A. (2019). Application of Grid Search Parameter Optimized Bayesian Logistic Regression Algorithm To Detect Cyberbullying In Turkish Microblog Data. Academic Platform Journal of Engineering and Science 7(3), 355-361. https://doi.org/10.21541/apjes.496018
20. Şahiner Yılmaz, Ş. (2021, 22-25 February 2021). Türkçe Metinlerde Derin Öğrenme Yöntemleri Kullanılarak Duygu Analizi The International Symposium of Scientific Research and Innovative Studies (ISSRIS'21), Bandırma, Balıkesir, Türkiye. https://avesis.gazi.edu.tr/yayin/658f2ce8-a656-480c-91af-96057798fbf9/turkce-metinlerde-derin-ogrenme-yontemleri-kullanilarak-duygu-analizi
21. Word2Vec. (5 September 2023). Wikipedia. Retrieved 24 December 2022 from https://en.wikipedia.org/wiki/Word2vec
22. Yazğılı, E. (2021). Türkçe Metinlerde Makine Öğrenmesi Yöntemleri İle Siber Zorbalık Tespiti. Gümüşhane Üniversitesi Fen Bilimleri Dergisi 12(2), 443-453. https://doi.org/https://doi.org/10.17714/gumusfenbil.935448