Determining Cyberbullying Status of Turkish Tweets with Gpt-3 Classification Model

Year 2023, Volume: 9 Issue: 4, 278 - 285, 31.12.2023

Çilem Koçak , Tuncay Yiğit

Abstract

Regardless of whether they are young or old, people have quickly stepped into the internet world with phones, tablets, computers and smart devices, which are among today's communication technologies. With the increase in the number of social media users, some negativities are encountered. The most important problem encountered on social media is cyber bullying. Although cyberbullying may seem like daily dialogues between social media users or groups, the incidence of cyberbullying increases day by day with the diversification of shared information, content, and agenda in social media environments. This paper evaluates the performance of a GPT-3 classification model for the task of classifying tweets from tweeters as those that contain cyberbullying or those that do not. The model was first trained and tested on Turkish tweets. It resulted in an accuracy of 55% in total. After the data was translated to English and the model was retrained and tested, accuracy was increased to 66%. Precision, recall, and F1 score for both classes of tweets were 0.65, 0.68, and 0.67, respectively, for tweets without cyberbullying and 0.67, 0.64, and 0, respectively, for tweets with cyberbullying. It was found to be 65. Cyberbullying The confusion matrix of the model showed that 17 tweets correctly contained cyberbullying, while 9 tweets incorrectly contained cyberbullying. The results of this paper show that GPT-3 can be used for the task of classifying tweets into those that contain cyberbullying and those that do not with a reasonable degree of accuracy.

Keywords

Cybebrullying, Twitter, Artificial intelligence, Text Classification, GPT-3

Gpt-3 Sınıflandırma Modeli İle Türkçe Twitlerin Siber Zorbalık Durumlarının Belirlenmesi

Abstract

İnsanlar genç yaşlı fark etmeksizin günümüz iletişim teknolojilerinden olan telefon, tablet, bilgisayar ve akıllı cihazlar ile internet dünyasına hızlı bir şekilde adım atmışlardır. İnternetin insanların hayatında yeri arttıkça sosyal medya platformlarını çeşitlenmekte ve kullanıcılar bu platformlarda yer almak istemektedirler. Sosyal medya kullanıcı sayısının artışı ile de bazı olumsuzluklarla karşılaşılmaktadır. Sosyal medya da karşılaşılan en önemli sorun da siber zorbalık durumlardır. Siber zorbalık sosyal medya kullanıcıları ya da gruplar arasında gerçekleşen günlük diyaloglar gibi görünse de paylaşılan bilgi, içerik, gündem sosyal medya ortamlarının çeşitlenmesi ile günden güne karşılaşma durumu artmaktadır. Bu makale, tweet'leri siber zorbalık içerenler ve içermeyenler olarak sınıflandırma görevi için bir GPT-3 sınıflandırma modelinin performansını değerlendirmektedir. Model ilk olarak Türkçe tweet'ler üzerinde eğitildi ve test edildi ve toplamda %55'lik bir doğrulukla sonuçlandı. Veriler İngilizce'ye çevrildikten ve model yeniden eğitilip test edildikten sonra doğruluk %66'ya yükseltildi. Her iki tweet sınıfı için kesinlik, hatırlama ve F1 puanı, siber zorbalık içermeyen tweet'ler için sırasıyla 0,65, 0,68 ve 0,67 ve siber zorbalık içeren tweet'ler için sırasıyla 0,67, 0,64 ve 0,65 olarak bulundu. siber zorbalık Modelin karışıklık matrisi, 17 tweet'in doğru bir şekilde siber zorbalık içerdiğini, 9'unun ise yanlış bir şekilde siber zorbalık içerdiğini gösterdi. Bu makalenin sonuçları, GPT-3'ün tweet'leri siber zorbalık içerenler ve makul bir doğruluk derecesi ile içermeyenler olarak sınıflandırma görevi için kullanılabileceğini göstermektedir.

Keywords

Siber zorbalık, Twitter, Yapay zeka, Metin Sınıflandırma, GPT-3

References

• [1] D. M. Gezgin, and C. Çuhadar, “Bilgisayar ve öğretim teknolojileri eğitimi bölümü öğrencilerinin siber zorbalığa ilişkin duyarlılık düzeylerinin incelenmesi.” Eğitim Bilimleri Araştırmaları Dergisi, 2(2), 93-104. December 2012 Doi:10.24106/kefdergi.702927
• [2] M. Özdemir, and F. Akar, “Lise öğrencilerinin siber-zorbalığa ilişkin görüşlerinin bazı değişkenler bakımından incelenmesi.” Educational Administration: Theory and Practice 2011, Vol. 17, Issue 4, pp: 605-626 Kuram ve Uygulamada Eğitim Yönetimi 2011, Cilt 17, Sayı 4, ss: 605-626. May 2011, Doi:10.14527/kuey.2014.005
• [3] H. T. Tanrıkulu, Kınay, and O. T. Arıcak, “Siber Zorbalığa İlişkin Duyarlılık Ölçeği: Geçerlik ve Güvenirlik Çalışması”, Trakya Üniversitesi Eğitim Fakültesi Dergisi, vol. 3, no. 1, 2013. March 2013, Doi:10.24315/trkefd.305449
• [4] T. Aricak, S. Siyahhan, A. Uzunhasanoglu, S. Saribeyoglu, S. Ciplak, N. Yilmaz, and C. Memmedov, “Cyberbullying among Turkish adolescents.” Cyberpsychology & behavior, 11(3), 253-261. Jun 2008 Doi:10.1089/cpb.2007.0016
• [5] T. Ayas, and M. B. Horzum, “Öğretmenlerin sanal zorbalık algılarının çeşitli değişkenlere göre incelenmesi.” International Online Journal of Educational Sciences, 3(2), 619-640. Doi:10.31805/acjes.433205
• [6] S. Akhter, (2018, December). “Social media bullying detection using machine learning on Bangla text.” In 2018 10th International Conference on Electrical and Computer Engineering (ICECE) (pp. 385-388). IEEE. 10 February 2018, Doi:10.1109/ICECE.2018.8636797
• [7] M. G. Hussain, T. Al Mahmud, and W. Akthar, “An approach to detect abusive bangla text.” In 2018 International Conference on Innovation in Engineering and Technology (ICIET) (pp. 1-5). IEEE. March 2019, Doi:10.1109/CIET.2018.8660863
• [8] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, and I. Polosukhin, “Attention is all you need.”31st Conferenceon Neural Information Processing Systems(NIPS2017),LongBeach,CA,USA.
• [9]J. J. Devlin, M. W. Chang, K. Lee, and K. Toutanova, “Bert: Pre-training of deep bidirectional transformers for language understanding”, arxiv.org, Oct. 2018. [Online]. Avaliable: https://arxiv.org/abs/1810.04805. [Accessed: Nov. 12, 2023].
• [10] T. Brown, B. Mann, N. Ryder, M. Subbiah, J.D. Kaplan, P. Dhariwal, and D. Amodei, “Language models are few-shot learners.” Advances in Neural Information Processing Systems 33 (NeurIPS 2020) 33, 1877-1901, arXiv:2005.14165
• [11]Models - OpenAI API. (n.d.). [Online]. Available: https://beta.openai.com/docs/models/gpt-3 [Accessed: June 10, 2022,].