Çevrimiçi Sosyal Ağlarda Nefret Söylemi Tespiti için Yapay Zeka Temelli Algoritmaların Performans Değerlendirmesi

Vahtettin Cem Baydoğan; Bilal Alatas

doi:10.35234/fumbd.986500

Çevrimiçi Sosyal Ağlarda Nefret Söylemi Tespiti için Yapay Zeka Temelli Algoritmaların Performans Değerlendirmesi

Öz

Çevrimiçi sosyal medya araçlarının kullanımının artması Nefret Söylemi (NS) başta olmak üzere birçok sosyal ağ problemini beraberinde getirmiştir. Sosyal ağlarda hızla yayılan NS içeren yazı, resim, kışkırtıcı karikatür, tweet, post vb. iletiler ifade özgürlüğünün ötesine geçmektedir. Dahası bir olayı, rejimi, etnik kökeni, cinsiyet ayrımcılığını, krizi, gündemi vb. durumları hedef alan ve kontrolsüz bir şekilde yayılan bu içerikler insanlar arasında korku ve endişeye sebep olmaktadır. Bu problemlerin çözümü için çalışmada önerilen NS tespit sisteminin geliştirilmesi son derece kritiktir. Önerilen NS tespit sisteminde, sosyal ağlar üzerinde paylaşılan NS tweetlerin otomatik tespiti için yapay sinir ağları ve makine öğrenmesi yöntemlerinden oluşan yapay zeka temelli algoritmalar kullanıldı. Çalışmanın ilk adımında seçilen veri seti üzerinde temel doğal dil işleme teknikleri uygulandı. Ardından, veri setinin temsili için kelime çantası (BoW), terim frekansı (TF) ve terim doküman matris (t-DM) gibi özellik çıkarım teknikleri gerçekleştirildi. Naif Bayes, Destek Vektör Makinesi, iki farklı Karar Ağacı ve Çok Katmanlı Algılayıcı olmak üzere beş farklı yapay zeka temelli algoritma ile NS tespit sistemi tamamlandı. Önerilen sistemin güvenilirliğini kanıtlamak için farklı eğitim ve test teknikleri kullanılarak performans değerlendirme metrikleri hesaplandı. Farklı test teknikleriyle en yüksek doğruluk değeri Karar Ağaçları ve Çok Katmanlı Algılayıcılar tarafından %80 olarak elde edildi. Önerilen NS tespit sistemine ait diğer tüm deney sonuçları tablo ve grafiklerle ayrıntılı bir şekilde Bölüm 4'de sunulmuştur. Ulaşılan umut verici sonuçlar birçok farklı sosyal ağ problemlerinin çözümü için önerilen otomatik tespit sisteminin kullanılabileceğini göstermektedir.

Anahtar Kelimeler

Kaynakça

[1] Baydogan C, Alatas B. Metaheuristic Ant Lion and Moth Flame Optimization-Based Novel Approach for Automatic Detection of Hate Speech in Online Social Networks. IEEE Access, 2021; Vol. 9: 110047-110062.
[2] MacAvaney S, Yao HR, Yang E, Russell K, Goharian N, Frieder O. Hate speech detection: Challenges and solutions. PloS one, 2019; 14(8): e0221152.
[3] Gitari ND, Zuping Z, Damien H, Long J. A lexicon-based approach for hate speech detection. International Journal of Multimedia and Ubiquitous Engineering, 2015; 10(4): 215-230.
[4] Köffer S, Riehle DM, Höhenberger S, Becker J. Discussing the value of automatic hate speech detection in online debates. Multikonferenz Wirtschaftsinformatik (MKWI 2018): Data Driven X-Turning Data in Value, 2018.
[5] Waseem Z, Thorne J, Bingel J. Bridging the gaps: Multi task learning for domain transfer of hate speech detection. In Online harassment, Springer, Cham. 2018; 29-55.
[6] Badjatiya P, Gupta M, Varma V. Stereotypical bias removal for hate speech detection task using knowledge-based generalizations. In The World Wide Web Conference, 2019; 49-59.
[7] Mossie Z, Wang JH. Social network hate speech detection for Amharic language. Computer Science & Information Technology, 2018; 41-55.
[8] Miok K, Škrlj B, Zaharie D, Robnik-Šikonja, M. To ban or not to ban: Bayesian attention networks for reliable hate speech detection. Cognitive Computation, 2021; 1-19.

[9] Robinson D, Zhang Z, Tepper J. Hate speech detection on twitter: Feature engineering vs feature selection. In European Semantic Web Conference Springer, Cham, 2018; 46-49.
[10] Korzeniowski R, Rolczyński R, Sadownik P, Korbak T, Możejko M. Exploiting Unsupervised Pre-training and Automated Feature Engineering for Low-resource Hate Speech Detection in Polish. arXiv preprint, 2019; arXiv:1906.09325.
[11] Ombui E, Muchemi L, Wagacha P. Hate speech detection in code-switched text messages. In 2019 3rd International Symposium on Multidisciplinary Studies and Innovative Technologies (ISMSIT - IEEE), 2019; 1-6.
[12] Abro S, Shaikh ZS, Khan S, Mujtaba G, Khand ZH. Automatic Hate Speech Detection using Machine Learning: A Comparative Study. International Journal of Advanced Computer Science and Applications(IJACSA), 2020; 10(6): 484-491.
[13] Pathak V, Joshi M, Joshi P, Mundada M, Joshi T. KBCNMUJAL@ HASOC-Dravidian-CodeMix-FIRE2020: Using Machine Learning for Detection of Hate Speech and Offensive Code-Mixed Social Media text. arXiv preprint arXiv:2102.09866, 2021.
[14] Omar A, Mahmoud TM, Abd-El-Hafeez T. Comparative performance of machine learning and deep learning algorithms for Arabic hate speech detection in osns. In: The International Conference on Artificial Intelligence and Computer Vision. Springer, Cham, 2020; 247-257.
[15] Fauzi MA, Yuniarti A. Ensemble method for indonesian twitter hate speech detection. Indonesian Journal of Electrical Engineering and Computer Science, 2018; 11(1): 294-299.
[16] Plaza-del-Arco FM, Molina-González MD, Ureña-López LA, Martín-Valdivia MT. Comparing pre-trained language models for Spanish hate speech detection. Expert Systems with Applications, 2021; 166: 114120.
[17] Bohra A, Vijay D, Singh V, Akhtar SS, Shrivastava M. A dataset of hindi-english code-mixed social media text for hate speech detection. In Proceedings of the second workshop on computational modeling of people’s opinions, personality, and emotions in social media, 2018; 36-41.
[18] Alshalan R, Al-Khalıfa H. A deep learning approach for automatic hate speech detection in the saudi twittersphere. Applied Sciences, 2020; 10(23): 8614.
[19] Al-Makhadmeh Z, Tolba A. Automatic hate speech detection using killer natural language processing optimizing ensemble deep learning approach, Computing, 2020; 102(2): 501-522.
[20] Zhou Y, Yang Y, Liu H, Liu X, Savage N. Deep learning based fusion approach for hate speech detection. IEEE Access, 2020; 8: 128923-128929.
[21] Pitsilis GK, Ramampıaro H, Langseth H, Effective hate-speech detection in Twitter data using recurrent neural networks. Applied Intelligence, 2018; 48(12): 4730-4742.
[22] Roy PK, Tripathy AK, Das TK, Gao XZ. A Framework for Hate Speech Detection Using Deep Convolutional Neural Network. IEEE Access, 2020; 8: 204951-204962.
[23] Ayo FE, Folorunso O, Ibharalu FT, Osinuga IA. Machine learning techniques for hate speech classification of twitter data: State-of-the-art, future challenges and research directions. Computer Science Review, 2020; 38: 100311.
[24] Pitropakis N, Kokot K, Gkatzia D, Ludwiniak R, Mylonas A, Kandias M. Monitoring Users’ Behavior: Anti-Immigration Speech Detection on Twitter. Machine Learning and Knowledge Extraction, 2020; 2(3): 192-215.
[25] Garain A, Basu A. The titans at SemEval-2019 task 5: Detection of hate speech against immigrants and women in twitter. In Proceedings of the 13th International Workshop on Semantic Evaluation, 2019; 494-497.
[26] https://www.kaggle.com/usharengaraju/dynamically-generated-hate-speech-dataset.
[27] Kibriya AM, Frank E, Pfahringer B, Holmes G. Multinomial Naive Bayes for Text Categorization Revisited. Advances in Artificial Intelligence. 2004; 3339: 488-499.
[28] Chih-Chung C, Chih-Jen L. LIBSVM: a library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2011; 2(27):1-27.
[29] Kumar A, Kaur P, Sharma P. A survey on Hoeffding tree stream data classification algorithms. CPUH-Res. J, 2015; 1(2): 28-32.
[30] Frank E, Witten IH. Generating accurate rule sets without global optimization. In fifteenth international conference on machine learning, 1998; 144-151.
[31] Roul RK, Asthana SR, Kumar G. Study on suitability and importance of multilayer extreme learning machine for classification of text data. Soft Computing, 2017; 21(15): 4239-4256.
[32] Baydogan C, Alatas B. Detection of Customer Satisfaction on Unbalanced and Multi-Class Data Using Machine Learning Algorithms. In 2019 1st International Informatics and Software Engineering Conference (UBMYK - IEEE), 2019; 1-5.
[33] Baydogan C, Alatas B. Sentiment analysis using Konstanz Information Miner in social networks. In 6th International Symposium on Digital Forensic and Security (ISDFS - IEEE), 2018; 1-5.

Ayrıntılar

Birincil Dil

Türkçe

Konular

Mühendislik

Bölüm

Araştırma Makalesi

Yazarlar

Vahtettin Cem Baydoğan
0000-0002-6125-2442
Türkiye

Bilal Alatas ^*
0000-0002-3513-0329
Türkiye

Yayımlanma Tarihi

15 Eylül 2021

Gönderilme Tarihi

24 Ağustos 2021

Kabul Tarihi

31 Ağustos 2021

Yayımlandığı Sayı

Yıl 2021 Cilt: 33 Sayı: 2

DOI

https://doi.org/10.35234/fumbd.986500

IZ

https://izlik.org/JA35ZT37ZL

Kaynak Göster

RIS / Bibtex

APA

Baydoğan, V. C., & Alatas, B. (2021). Çevrimiçi Sosyal Ağlarda Nefret Söylemi Tespiti için Yapay Zeka Temelli Algoritmaların Performans Değerlendirmesi. Fırat Üniversitesi Mühendislik Bilimleri Dergisi, 33(2), 745-754. https://doi.org/10.35234/fumbd.986500

AMA

1.Baydoğan VC, Alatas B. Çevrimiçi Sosyal Ağlarda Nefret Söylemi Tespiti için Yapay Zeka Temelli Algoritmaların Performans Değerlendirmesi. Fırat Üniversitesi Mühendislik Bilimleri Dergisi. 2021;33(2):745-754. doi:10.35234/fumbd.986500

Chicago

Baydoğan, Vahtettin Cem, ve Bilal Alatas. 2021. “Çevrimiçi Sosyal Ağlarda Nefret Söylemi Tespiti için Yapay Zeka Temelli Algoritmaların Performans Değerlendirmesi”. Fırat Üniversitesi Mühendislik Bilimleri Dergisi 33 (2): 745-54. https://doi.org/10.35234/fumbd.986500.

EndNote

Baydoğan VC, Alatas B (01 Eylül 2021) Çevrimiçi Sosyal Ağlarda Nefret Söylemi Tespiti için Yapay Zeka Temelli Algoritmaların Performans Değerlendirmesi. Fırat Üniversitesi Mühendislik Bilimleri Dergisi 33 2 745–754.

IEEE

[1]V. C. Baydoğan ve B. Alatas, “Çevrimiçi Sosyal Ağlarda Nefret Söylemi Tespiti için Yapay Zeka Temelli Algoritmaların Performans Değerlendirmesi”, Fırat Üniversitesi Mühendislik Bilimleri Dergisi, c. 33, sy 2, ss. 745–754, Eyl. 2021, doi: 10.35234/fumbd.986500.

ISNAD

Baydoğan, Vahtettin Cem - Alatas, Bilal. “Çevrimiçi Sosyal Ağlarda Nefret Söylemi Tespiti için Yapay Zeka Temelli Algoritmaların Performans Değerlendirmesi”. Fırat Üniversitesi Mühendislik Bilimleri Dergisi 33/2 (01 Eylül 2021): 745-754. https://doi.org/10.35234/fumbd.986500.

JAMA

1.Baydoğan VC, Alatas B. Çevrimiçi Sosyal Ağlarda Nefret Söylemi Tespiti için Yapay Zeka Temelli Algoritmaların Performans Değerlendirmesi. Fırat Üniversitesi Mühendislik Bilimleri Dergisi. 2021;33:745–754.

MLA

Baydoğan, Vahtettin Cem, ve Bilal Alatas. “Çevrimiçi Sosyal Ağlarda Nefret Söylemi Tespiti için Yapay Zeka Temelli Algoritmaların Performans Değerlendirmesi”. Fırat Üniversitesi Mühendislik Bilimleri Dergisi, c. 33, sy 2, Eylül 2021, ss. 745-54, doi:10.35234/fumbd.986500.

Vancouver

1.Vahtettin Cem Baydoğan, Bilal Alatas. Çevrimiçi Sosyal Ağlarda Nefret Söylemi Tespiti için Yapay Zeka Temelli Algoritmaların Performans Değerlendirmesi. Fırat Üniversitesi Mühendislik Bilimleri Dergisi. 01 Eylül 2021;33(2):745-54. doi:10.35234/fumbd.986500

Multilingual hate speech detection sentimental analysis on social media platforms using optimal feature extraction and hybrid diagonal gated recurrent neural network

The Journal of Supercomputing

https://doi.org/10.1007/s11227-023-05361-6

So-haTRed: A Novel Hybrid System for Turkish Hate Speech Detection in Social Media With Ensemble Deep Learning Improved by BERT and Clustered-Graph Networks

IEEE Access

https://doi.org/10.1109/ACCESS.2024.3415350

Exploring hate speech detection: challenges, resources, current research and future directions

Multimedia Tools and Applications

https://doi.org/10.1007/s11042-025-20716-2

Çevrimiçi Sosyal Ağlarda Nefret Söylemi Tespiti için Yapay Zeka Temelli Algoritmaların Performans Değerlendirmesi

Çevrimiçi Sosyal Ağlarda Nefret Söylemi Tespiti için Yapay Zeka Temelli Algoritmaların Performans Değerlendirmesi

Öz

Anahtar Kelimeler

Kaynakça

Ayrıntılar

Birincil Dil

Konular

Bölüm

Yazarlar

Yayımlanma Tarihi

Gönderilme Tarihi

Kabul Tarihi

Yayımlandığı Sayı

DOI

IZ

Kaynak Göster

Cited By

Sarcasm Detection in Online Social Networks Using Machine Learning Methods

Mültecilere Yönelik Nefret Söyleminin Tespitinde Makine Öğrenmesi Modellerinin Kullanılması

A literature survey on multimodal and multilingual automatic hate speech identification

Multilingual hate speech detection sentimental analysis on social media platforms using optimal feature extraction and hybrid diagonal gated recurrent neural network

So-haTRed: A Novel Hybrid System for Turkish Hate Speech Detection in Social Media With Ensemble Deep Learning Improved by BERT and Clustered-Graph Networks

Exploring hate speech detection: challenges, resources, current research and future directions