Today, due to the development of technology, use of social media and the number of social media networks are increasing day by day. This means that the number of hate speech contents on social media increases and, accordingly, these contents are shared. The measures taken by public authorities and social media developers to prevent these posts that negatively affect social media users are insufficient. For this reason, automatic systems that facilitate the detection of hate speech content produced in large quantities are needed. On the other hand, when studies conducted in English and many other languages are examined, sufficient studies have not been achieved yet in detecting hate speech content in Turkish. When existing studies are examined, use of small datasets, scarcity of feature selection methods and similarity of classification algorithms are seen. This study is carried out to eliminate all these deficiencies mentioned in the literature. Within the scope of the study, two tweet datasets of different sizes in Turkish (dataset_1k, dataset_2k) are used. First of all, five different feature selection algorithms are applied on these datasets and the number of features is reduced to 1,000. Then, machine learning algorithms are used on 1,000 features obtained from each feature selection to detect hate speech. These algorithms are K-Nearest Neighbor (KNN), Random Forest (RF), Naive Bayes (NB), Support Vector Machine (SVM), Long Short-Term Memory (LSTM) and Word2Vec+SVM methods, respectively. In experimental results, F-measurement value is taken as a criterion of success. In the experimental results, F-measure is used as the performance metric. NB algorithm with oneR feature selection is achieved the best result for Data set_1k with an F-measure of 88.81%. NB algorithm with InfoGain feature selection is achieved the best result for Data set_2k with an F-measure of 87.71%. It has been observed that LSTM algorithm is more successful than all other algorithms in the experiments with five different feature selections.
This study is an original study; Scientific ethics principles and rules were followed at all stages of the study, including preparation, data collection, data analysis and presentation of the generated information; All data and information not obtained within the scope of this study are not cited and these sources are not included in the bibliography; I accept that no changes have been made to the data used and declare that ethical duties and responsibilities are complied with.
Turkish Scientific and Technological Research Council (TUBITAK)
120E187
The study we prepared was partially supported by the Scientific and Technological Research Council of Turkey (TÜBİTAK) with the project number 120E187. The views expressed in this study belong to the authors and do not necessarily represent the official position or policies of TÜBİTAK.
Günümüzde teknolojinin gelişmesine bağlı olarak sosyal medya kullanımı ve sosyal medya ağlarının sayısı gün geçtikçe artmaktadır. Bu durum, sosyal medyada nefret söylemi içeriklerinin sayıca artması ve buna bağlı olarak bu içeriklerin paylaşılması anlamına gelmektedir. Sosyal medya kullanıcılarını olumsuz yönde etkileyen bu paylaşımların önüne geçebilmek adına kamu otoriteleri ve sosyal medya geliştiricileri tarafından alınan önlemler yetersizdir. Bu sebeple, hacimce büyük miktarda üretilen nefret söylemi içeriklerinin tespitini kolaylaştıran otomatik sistemlere ihtiyaç duyulmaktadır. Öte yandan, İngilizce ve diğer pek çok dilde yapılan çalışmalar incelendiğinde, Türkçe’de nefret söylemi içeriklerinin tespitinde yeterli düzeyde çalışmaya henüz varılamamıştır. Mevcut çalışmalar incelendiğinde ise, küçük boyutta veri kümesi kullanımı, özellik seçim yöntemlerinin azlığı ve sınıflandırma algoritmalarının benzerliği görülmüştür. Literatürde bahsedilen tüm bu eksikliklerin giderilmesi için, bu çalışma gerçekleştirilmiştir. Çalışma kapsamında, Türkçe dilinde farklı boyutlarda iki adet tweet veri kümesi (veri kümesi_1k, veri kümesi_2k) kullanılmıştır. Öncelikle veri kümesi üzerinde beş farklı özellik seçimi algoritması uygulanarak özellik sayısı 1.000’e düşürülmüştür. Daha sonra nefret söylemi tespiti için, her bir özellik seçiminden elde edilen 1.000 özellik üzerinde sırası ile makine öğrenmesi algoritmalarından K-En Yakın Komşu (KNN), Rasgele Orman (RF), Naive Bayes (NB), Destek Vektör Makinesi (SVM), Uzun Kısa-Süreli Bellek (LSTM) ve Word2Vec+SVM yöntemleri uygulanmıştır. Deneysel sonuçlarda, başarı ölçütü olarak F-ölçüm değeri kullanılmıştır. Veri kümesi_1k için en iyi sonucu %88,81 F-ölçüm oranıyla oneR özellik seçimi ile NB algoritması vermiştir. Veri kümesi_2k için en iyi sonucu %87,71 F-ölçüm oranıyla InfoGain özellik seçimi ile NB algoritması vermiştir. Beş farklı özellik seçimiyle yapılan deneylerde, LSTM algoritması diğer tüm algoritmalara göre daha başarılı olmuştur.
Bu çalışmanın, özgün bir çalışma olduğunu; çalışmanın hazırlık, veri toplama, veri analizi ve oluşturulan bilgilerin sunumu olmak üzere tüm aşamalarından bilimsel etik ilke ve kurallarına uygun davranıldığını; bu çalışma kapsamında elde edilmeyen tüm veri ve bilgiler için kaynak gösterilmediğini ve bu kaynaklara kaynakçada yer verilmediğini; kullanılan verilerde herhangi bir değişiklik yapılmadığını kabul ederek etik görev ve sorumluluklara riayet edildiğini beyan ederim.
Türkiye Bilimsel ve Teknolojik Araştırma Kurumu (TÜBİTAK)
120E187
Hazırladığımız çalışma, Türkiye Bilimsel ve Teknolojik Araştırma Kurumu (TÜBİTAK) tarafından 120E187 numaralı proje ile kısmen desteklenmiştir. Bu çalışmadaki görüşler yazarlara aittir ve TÜBİTAK'ın resmi pozisyonunu veya politikalarını temsil etmeyebilir.
Primary Language | Turkish |
---|---|
Subjects | Natural Language Processing |
Journal Section | Articles |
Authors | |
Project Number | 120E187 |
Early Pub Date | February 11, 2024 |
Publication Date | February 15, 2024 |
Published in Issue | Year 2024 Issue: 53 |