Adlandırılmış varlık tanıma problemi, veri çıkarımı, doğal dil işleme ve metin madenciliği gibi alanların alt dalı olarak ele alınmaktadır. Adlandırılmış varlık tanıma, yapılandırılmamış metinlerdeki varlık isimlerinin uygunluklarına göre önceden belirlenen kişi ismi, organizasyon ismi veya yer ismi gibi sınıflara atama yapmak için kullanılan bir araçtır. Gelişen teknoloji ile birlikte sosyal ağlar çok insan tarafından kullanılmaktadır. Sosyal medya kullanan kişiler her türlü resim, metin veya video içeriklerini paylaşabilmektedir. Paylaşılan bu içerikler ise bazen uygunsuz yani aile yapısını etkiler nitelikte olabilmektedir. Bu çalışmada, Twitter’daki Türkçe tweetler kullanılarak küfür, hakaret ve uygunsuz kelimeler adlandırılmış varlık tanıma problemi olarak ele alınmış ve bu kelimeler farklı yöntemler ile tespit edilmeye çalışılmıştır. Çalışmada, önce metinlerde geçen kelime ve kelime öbekleri etiketlenmiş daha sonra ise etiketlenen kelimeler vektörleştirilmiştir. Vektörler, Bi-LSTM ve öneğitimli BERT modelleri kullanılarak eğitim yapılmıştır. Bi-LSTM modeli hem eğitimde hem de test aşamasında %99‘a yakın doğruluk oranı sergilemiştir. BERT modeli ise eğitim aşamasında %99 civarında doğruluk oranı gösterirken, test başarısının %95 civarında olduğu gözlemlenmiştir. Çalışma hızı açısından, Bi-LSTM modelinin BERT modelinden yaklaşık olarak 3 kat daha hızlı olduğu görülmüştür.
Named Entity Recognition problem is considered as a sub-branch of fields such as data extraction, natural language processing and text mining. Named entity recognition is a tool used to assign classes such as predetermined person name, organization name or place name according to the suitability of entity names in unstructured texts. With the developing technology, social networks are used by many people. People using social media can share any image, text or video content. These shared contents may be inappropriate, that is, affect the family structure. In this study, using Turkish tweets on Twitter, swearing, insults and inappropriate words were studied as a named entity definition problem and these words were tried to be determined by different methods. In the study, first the words and phrases in the texts were labeled, and then the labeled words were vectorized. Training was done using vectors, Bi-LSTM and pretrained BERT models. The Bi-LSTM model showed close to 99% accuracy both in training and testing. On the other hand, the BERT model showed a training accuracy of around 99% during the training phase, while the test success was observed around 95%. In terms of operating speed, it has been observed that the Bi-LSTM model is approximately 3 times faster than the BERT model.
Profanity Detection Named Entity Recognition (NER) Natural Language Processing (NLP) Bi-LSTM BERT
Primary Language | Turkish |
---|---|
Subjects | Artificial Intelligence |
Journal Section | Articles |
Authors | |
Publication Date | March 1, 2023 |
Submission Date | May 20, 2022 |
Published in Issue | Year 2023 |
Bu eser Creative Commons Atıf-GayriTicari 4.0 Uluslararası Lisansı ile lisanslanmıştır.