Crime detection on social media data using deep learning and machine learning methods

Abstract

This study aims to detect threats and insults in Turkish social media posts. Models have been developed using Natural Language Processing techniques and deep learning algorithms, and the proposed models have been compared with machine learning algorithms. The dataset, collected from Turkish social media posts, has been labelled and used for crime detection in social media using Long Short-Term Memory and BERT deep learning models. The deep learning models have been compared with machine learning models such as Support Vector Machines, Random Forest, and Gradient Boosting. The proposed deep learning models have outperformed the machine learning models, successfully detecting threatening content with an accuracy of 90%.

Keywords

• Deep Learning
• Machine Learning
• Social Media
• Crime Detection
• Classification

Derin öğrenme ve makine öğrenmesi yöntemleri ile sosyal medya verilerinden suç tespiti

Abstract

Bu çalışmada, Türkçe sosyal medya paylaşımlarındaki tehdit ve hakaret içeriklerinin tespiti amaçlanmıştır. Doğal Dil İşleme teknikleri kullanılarak sosyal medya verileri üzerinde derin öğrenme algoritmalarıyla modeller geliştirilmiş ve bu modeller makine öğrenmesi algoritmaları ile karşılaştırılmıştır. Türkçe sosyal medya verilerinden toplanan veri kümesi etiketlenerek Uzun Kısa Süreli Bellek ve BERT derin öğrenme modelleri ile suç tespiti amacıyla kullanılmıştır. Derin öğrenme modelleri, makine öğrenmesi modellerinden Destek Vektör Makineleri, Rastgele Orman ve Gradyan Artırma modelleri ile karşılaştırılmıştır. Önerilen derin öğrenme modelleri, %90 doğruluk oranıyla tehdit ve hakaret içeriklerini başarılı bir şekilde tespit ederek makine öğrenmesi modellerine kıyasla daha üstün performans sergilemiştir.

Keywords

• Derin Öğrenme
• Makine Öğrenmesi
• Sosyal Medya
• Suç Tespiti
• Sınıflandırma

References

1. İ. Mayda, B. Diri ve T. Yıldız. Türkçe tweetler üzerinde makine öğrenmesi ile nefret söylemi tespiti. Avrupa Bilim Ve Teknoloji Dergisi (24), 328-334. https://doi.org/10.31590/ejosat.903854
2. Türkiye Cumhuriyeti, 5237 sayılı Türk Ceza Kanunu. Resmî Gazete, 12 Ekim 2004, sayı 25611.
3. A. Bozyiğit, S. Utku, and E. Nasiboğlu. Cyberbullying detection by using artificial neural network models. 4th International Conference on Computer Science and Engineering (UBMK), 2019. https://doi.org/10.1109/UBMK.2019.8907118
4. H. Karayigit, C. Aci, and A. Akdagli. Detecting abusive instagram comments in Turkish using convolutional neural network and machine learning methods. Expert Systems with Applications, 114802, 2021. https://doi.org/10.1016/J.ESWA.2021.114802
5. S. Küçük, and İ. Şahin. Facebook zorbalığı ve mağduriyeti ölçeklerinin Türkçeye uyarlanması, Eğitim ve Bilim Dergisi, vol. 40, no. 178, pp. 1-15, 2015.
6. O. Kaynar, B. A. Erdoğan, and M. Kaya. Makine öğrenmesi ve öznitelik seçim yöntemleriyle saldırı tespiti, Bilgisayar Mühendisliği ve Bilimleri Dergisi, 11 (2), 56-68, 2018.
7. F. Beyhan, B. Çarık, İ. Arın, A. Terzioğlu, B. Yanikoglu ve R. Yeniterzi. A Turkish hate speech dataset and detection system. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pages 4177–4185, Marseille, France. European Language Resources Association, 2022.
8. A. Najafi ve O. Varol. Turkish hate speech detection online with TurkishBERTweet. In Proceedings of the 7th Workshop on Challenges and Applications of Automated Extraction of Socio-political Events from Text (CASE 2024), pages 185–189, St. Julians, Malta. ACL, 2024.

9. S. Dehghan ve B. Yanikoglu. Evaluating ChatGPT’s ability to detect hate speech in Turkish tweets. In Proceedings of the 7th Workshop on Challenges and Applications of Automated Extraction of Socio-political Events from Text (CASE 2024), pages 54–59, St. Julians, Malta, ACL, 2024.
10. Ş. Bayrak, A. Karaca, F. Toson, A. Kocabey ve F. B. Arslanoglu. Detection of hate speech in Turkish social media posts with BERT-Base model. 31st Signal Processing and Communications Applications Conference (SIU), pp. 1-4, Istanbul, Turkiye, 2023.
11. Z. M. Husunbeyi, D. Akar ve A. Ozgur. Identifying hate speech using neural networks and discourse analysis techniques. In Proceedings of the First Workshop on Language Technologies and Resources for a Fair, Inclusive, and Safe Society within the 13th Language Resources and Evaluation Conference, pp. 32–41, Marseille, France. European Language Resources Association, 2022.
12. S. Özar. Türk hukukunda nefret suçlarına Avrupa güvenlik ve iş birliği teşkilatı taahhütleri çerçevesinde- genel bir bakış. TAAD, (1009196), 2021. https://doi.org/10.54049/taad.1009196
13. Ç. Çöltekin, Ç. A Corpus of Turkish offensive language on social media. Proceedings of the 12th Language Resources and Evaluation Conference (LREC), 2020.
14. Kemik Doğal Dil İşleme Grubu Veri Kümeleri. http://www.kemik.yildiz.edu.tr/veri_kumelerimiz.html, Erişildi 11 Eylül 2024.
15. A. Akın, zemberek-nlp. https://github.com/ahmetaa/zemberek-nlp, Erişildi 11 Eylül 2024.
16. C. Cortes, V. Vapnik. Support-vector networks. Machine Learning, pp. 273–297, 1995 https://doi.org/10.1007/BF00994018
17. J. Yang, A.J. Awan, & G. Vall-llosera. Support vector machines on noisy intermediate-scale quantum computers. 2019, ArXiv, abs/1909.11988.
18. L. Breiman. Random Forests. Machine Learning. 45. 5-32, 2001.
19. T. Zhang. Improving convection trigger functions in deep convective parameterisation schemes using machine learning, Journal of Advances in Modeling Earth Systems, vol. 13, no. 5, 2021.
20. F. Jerome. Greedy Function Approximation: A Gradient Boosting Machine. The Annals of Statistics. 29, 2000. 10.1214/aos/1013203451.
21. S. Hochreiter and J. Schmidhuber. (1997). Long short-term memory. Neural Computation, 9(8), pp. 1735-1780, 1997.
22. J. Devlin, M. W. Chang, K. Lee, and K. Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT, 2019