Yıl 2019, Cilt 24 , Sayı 1, Sayfalar 125 - 136 2019-04-30

TÜRKÇE METİNLERİN SINIFLANDIRMA BAŞARISINI ARTIRMAK İÇİN YENİ BİR YÖNTEM ÖNERİSİ
A Novel Method Proposal to Increase the Classification Success of Turkish Text

Metin BİLGİN [1]


Bu çalışma, yazarı bilinmeyen bir dokümanının yazarını tahmin etmeyi amaçlamaktadır. Bunun için 6 farklı köşe yazarına ait 6 köşe yazısı öncelikle ön-işlem aşamasına sokulmuştur. Ardından bu metinler üzerinden n-gram (2-3) ile özellikler çıkarılmıştır. Çıkarılan özellikler üzerinden sistem 6 farklı makine öğrenmesi üzerinde çapraz geçerleme (10)  ile test edilmiştir. Buraya kadar olan kısım literatürde şimdiye kadar uygulanmış olan yöntemdir. Bizim önerimiz ön işlem aşamasının ardından eldeki metinleri LZW algoritması ile kayıpsız sıkıştırarak özellik sayısını azaltmak ve bunun sistemin başarısı üzerindeki etkileri araştırmak üzerinedir. Ön-işlemden geçmiş olan metinler LZW algoritması ile binary (ikili) ve decimal (onlu) olarak sıkıştırılır. Sıkıştırmanın ardından n-gram (2-3) ile çıkarılan özellikler ile sistem 6 farklı makine öğrenmesi yönteminde test edilmiş ve çalışma sonuçları 5 farklı metrik için incelenmiştir. Yapılan çalışma sonucunda ikili olarak sıkıştırılmış metinler hem 2-gram hem de 3-gramda, 6 farklı makine öğrenmesi algoritmasında da daha iyi sonuçlar elde etmiştir.  Random Tree ve Naïve bayes algoritmasında onlu sıkıştırma, ham verinin gerisinde kalsa da diğer 4 algoritmada daha iyi elde sonuçlar elde etmiş ama ortalama başarı değerlerinde geride kalmıştır. Yapılan çalışma sonucunda ikili sıkıştırma tüm metriklerinde diğer iki yönteme göre daha başarılıdır. Yapılan çalışmada yazar tanıma işlemi yapılmış olsa da önerilen bu yöntemin tüm metin sınıflandırma işlemlerinde kullanılabileceği düşünülmektedir. 

This study aims to estimate the author of an unknown document. For this purpose, first of all, six different columns of 6 different columnists were pre-processed. Then with n-grams (2-3) features were extracted from these texts. The system has been tested with 10-fold cross-validation on 6 different machine learning algorithms. This part of the study is the method that has been applied so far in the literature. Our suggestion is to reduce the number of features with the LZW algorithm and to investigate the effects on the success of the system. The pre-processed texts are compressed binary and decimal with the LZW algorithm. After compression, the system has been tested with 6 different machine learning algorithms, and the study results has been analyzed for 5 different metrics. As a result of the study, the compressed binary text has obtained better results in both 2-gram and 3-gram, for 6 different machine learning algorithms. In the Random-Tree and Naïve Bayes algorithm, decimal compression is behind the raw data. In the other four algorithms, it achieved better results but remained behind the average success values. As a result of the study, binary compression is more successful in all metrics than the other two methods. In the study, although the author recognition process has been done, it can be thought that the proposed method can be used in all text classification procedures.

  • Amasyalı .M.F. ve Yıldırım T. (2004) Otomatik Haber Metinleri Sınıflandırma, 12.IEEE Sinyal İşleme ve İletişim Uygulamaları Kurultayı, Kuşadası, Aydın, Türkiye, 224-226.
  • Amasyalı, M. F. ve Diri, B. (2006) Automatic Turkish Text Categorization in Terms of Author, Genre and Gender, International Conference on Applications of Natural Language to Information Systems, Klagenfurt, Austria, 221-226. Doi: 10.1007/11765448_22
  • Amasyalı, M.F., Davletov, F., Arslan, T. ve Çiftçi, Ü. (2010) Text2arff: Automatic feature extraction software for Turkish texts, 18.IEEE Sinyal İşleme ve İletişim Uygulamaları Kurultayı, Diyarbakır, Türkiye, 629-632. Doi: 10.1109/SIU.2010.5651686
  • Bekkerman R., El-Yaniv, R., Naftali T. ve Yoad W. (2002) Distributional Word Clusters vs. Words for Text Categorization, Journal of Machine Learning Research, 3,1-48. Doi: 10.1.1.19.7938
  • Bilgin, M. (2018) Makine Öğrenmesi Teorisi ve Algoritmaları, Papatya Bilim, İstanbul.
  • Bilgin, M. ve Şentürk, İ.F. (2017) Sentiment analysis on Twitter data with semi-supervised Doc2Vec, International Conference Computer Science and Engineering, 661-666. Doi: 10.1109/UBMK.2017.8093492
  • Ciya L., Shamim A., ve Paul D. (2001) Feature Preparation in Text Categorization, Oracle Text Selected Papers and Presentations, 1-8.
  • Çatal Ç., Erbakırcı K. ve Erenler Y. (2003) Computer-based Authorship Attribution for Turkish Documents, Turkish Symposium on Artificial Intelligence and Neural Networks, Çanakkale,Türkiye, 539-541.
  • Çiltik, A. ve Güngör, T. (2008) Time-Efficient Spam E-mail Filtering Using N-gram Models, Pattern Recognition Letters, 29(1), 19-33. Doi: 10.1016/j.patrec.2007.07.018
  • Çoban, Ö., Ö. B. ve Özyer, G.T. (2015) Sentiment analysis for Turkish Twitter feeds. 23.IEEE Sinyal İşleme ve İletişim Uygulamaları Kurultayı, Malatya, Türkiye, 2388-2391. Doi: 10.1109/SIU.2015.7130362
  • Diri B. ve Amasyalı M.F. (2003) Automatic Author Detection for Turkish Texts, Artificial Neural Networks and Neural Information Processing, İstanbul, Türkiye, 138-141.
  • Doğan, S. (2006) Türkçe Dokümanlar için N-gram Tabanlı Sınıflandırma: Yazar, Tür ve Cinsiyet, Yıldız Teknik Üniversitesi, Yüksek Lisans Tezi, İstanbul.
  • Doğan, S. ve Diri, B. (2010) Türkçe Dokümanlar İçin N-gram Tabanlı Yeni Bir Sınıflandırma (Ng-ind): Yazar, Tür ve Cinsiyet, Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi, 3(1), 11-19.
  • Fattah, M.A. (2017) A Novel Statistical Feature Selection Approach for Text Categorization, Journal of Information Processing Systems, 13(5), 1397-1409. Doi: 10.3745/JIPS.02.0076
  • Fürnkranz J. (1998) A Study using n-gram Features for Text Categorization, Austrian Research Institute for Artifical Intelligence, 3(1998), 1-10. Doi: 10.1.1.49.133
  • Gaines, B.J. ve Carney, H.E. (2018) Communication and management of electronic mail classification information, U.S. Patent No. 9,942,184.
  • Gezici, G. ve Yanıkoğlu, B. (2018) Sentiment Analysis in Turkish, Turkish Natural Language Processing. Springer, Cham, 255-271. Doi: 10.1007/978-3-319-90165-7_12
  • Holmes, D. I. (1998) The Evolution of Stylometry in Humanities Scholarship, Literary and Linguistic Computing, 13 (3), 111-117. Doi: 10.1093/llc/13.3.111
  • Johnson, R. ve Zhang, T. (2017) Deep pyramid convolutional neural networks for text categorization, 55.Annual Meeting of the Association for Computational Linguistics, Vancouver, Canada,562-570. Doi: 10.18653/v1/P17-1052
  • Kemik, (2019). Kemik-Veri Kümelerimiz. Erişim Adresi: http://www.kemik.yildiz.edu.tr/data/File/2500koseyazisi.rar (Erişim Tarihi: 12.02.2019)
  • Levent, V.E. ve Diri, B. (2014) Türkçe Dokümanlarda Yapay Sinir Ağları İle Yazar Tanıma, Akademik Bilişim, Mersin, Türkiye.
  • Özel, B. (2004) Küresel k-Ortalamalı Gruplama Yöntemi ile Metinlerin ve Terimlerin Saklı Anlam İndekslenmeleri, Akıllı Sistemlerde Yenilikler ve Uygulamaları Konferansı, İstanbul, Türkiye, 223-227.
  • Peng F. ve Schuurmans D. (2003) Combining Naive Bayes and N-gram Language Models for Test Classification, European Conference on Information Retrieval, Berlin, Almanya, 335-350. Doi: 10.1.1.2.1184
  • Peng F., Keselj V., Cerconey N. ve Thomasy C. (2003) N-Gram-Based Author Profiles For Authorship Attribution, The conference pacific association for computational linguistics Nova Scotia, Canada,255-264. Doi: 10.1.1.9.7388
  • Song, F., Liu, S. ve Yang, J. (2005) A comparative study on text representation schemes in text categorization, Pattern analysis and applications, 8(1-2), 199–209. Doi: 10.1007/s10044-005-0256-3
  • Stamatatos E., Fakotakis N. ve Kokkinakis G. (2000) Automatic Text Categorization in Terms of Genre and Author, Computational Linguistics, 26(4), 471-495. Doi: 10.1162/089120100750105920
  • Tan C.M., Wang Y.F. ve Lee C.D. (2002) The Use of Bi-grams to Enhance Text Categorization, Journal Information Processing and Management, 30(4), 529-546. Doi: 10.1016/S0306-4573(01)00045-0
  • Türkoğlu F., Diri B. ve Amasyalı M.F. (2006) Farklı Özellik Vektörleri ile Türkçe Dokümanların Yazarlarının Belirlenmesi, Turkish Symposium on Artificial Intelligence and Neural Networks, Muğla, Türkiye.
  • Türkoğlu, F., Diri, B. ve Amasyalı, M. F. (2007) Author Attribution of Turkish Texts by Feature Mining, 3.International Conference on Intelligent Computing, Qingdao, China, 1086-1093. Doi: 10.1007/978-3-540-74171-8_110
  • Welch, T. A. (1984) A Technique for High-Performance Data Compression, IEEE Computer, 17(6), 8-19. Doi: 10.1109/MC.1984.1659158
Birincil Dil tr
Konular Mühendislik
Bölüm Araştırma Makaleleri
Yazarlar

Orcid: 0000-0002-4216-0542
Yazar: Metin BİLGİN (Sorumlu Yazar)
Kurum: BURSA ULUDAĞ ÜNİVERSİTESİ
Ülke: Turkey


Tarihler

Başvuru Tarihi : 17 Kasım 2018
Kabul Tarihi : 12 Şubat 2019
Yayımlanma Tarihi : 30 Nisan 2019

Bibtex @araştırma makalesi { uumfd484525, journal = {Uludağ University Journal of The Faculty of Engineering}, issn = {2148-4147}, eissn = {2148-4155}, address = {}, publisher = {Bursa Uludağ Üniversitesi}, year = {2019}, volume = {24}, pages = {125 - 136}, doi = {10.17482/uumfd.484525}, title = {TÜRKÇE METİNLERİN SINIFLANDIRMA BAŞARISINI ARTIRMAK İÇİN YENİ BİR YÖNTEM ÖNERİSİ}, key = {cite}, author = {BİLGİN, Metin} }
APA BİLGİN, M . (2019). TÜRKÇE METİNLERİN SINIFLANDIRMA BAŞARISINI ARTIRMAK İÇİN YENİ BİR YÖNTEM ÖNERİSİ. Uludağ University Journal of The Faculty of Engineering , 24 (1) , 125-136 . DOI: 10.17482/uumfd.484525
MLA BİLGİN, M . "TÜRKÇE METİNLERİN SINIFLANDIRMA BAŞARISINI ARTIRMAK İÇİN YENİ BİR YÖNTEM ÖNERİSİ". Uludağ University Journal of The Faculty of Engineering 24 (2019 ): 125-136 <https://dergipark.org.tr/tr/pub/uumfd/issue/43494/484525>
Chicago BİLGİN, M . "TÜRKÇE METİNLERİN SINIFLANDIRMA BAŞARISINI ARTIRMAK İÇİN YENİ BİR YÖNTEM ÖNERİSİ". Uludağ University Journal of The Faculty of Engineering 24 (2019 ): 125-136
RIS TY - JOUR T1 - TÜRKÇE METİNLERİN SINIFLANDIRMA BAŞARISINI ARTIRMAK İÇİN YENİ BİR YÖNTEM ÖNERİSİ AU - Metin BİLGİN Y1 - 2019 PY - 2019 N1 - doi: 10.17482/uumfd.484525 DO - 10.17482/uumfd.484525 T2 - Uludağ University Journal of The Faculty of Engineering JF - Journal JO - JOR SP - 125 EP - 136 VL - 24 IS - 1 SN - 2148-4147-2148-4155 M3 - doi: 10.17482/uumfd.484525 UR - https://doi.org/10.17482/uumfd.484525 Y2 - 2019 ER -
EndNote %0 Uludağ University Journal of The Faculty of Engineering TÜRKÇE METİNLERİN SINIFLANDIRMA BAŞARISINI ARTIRMAK İÇİN YENİ BİR YÖNTEM ÖNERİSİ %A Metin BİLGİN %T TÜRKÇE METİNLERİN SINIFLANDIRMA BAŞARISINI ARTIRMAK İÇİN YENİ BİR YÖNTEM ÖNERİSİ %D 2019 %J Uludağ University Journal of The Faculty of Engineering %P 2148-4147-2148-4155 %V 24 %N 1 %R doi: 10.17482/uumfd.484525 %U 10.17482/uumfd.484525
ISNAD BİLGİN, Metin . "TÜRKÇE METİNLERİN SINIFLANDIRMA BAŞARISINI ARTIRMAK İÇİN YENİ BİR YÖNTEM ÖNERİSİ". Uludağ University Journal of The Faculty of Engineering 24 / 1 (Nisan 2019): 125-136 . https://doi.org/10.17482/uumfd.484525
AMA BİLGİN M . TÜRKÇE METİNLERİN SINIFLANDIRMA BAŞARISINI ARTIRMAK İÇİN YENİ BİR YÖNTEM ÖNERİSİ. JFE. 2019; 24(1): 125-136.
Vancouver BİLGİN M . TÜRKÇE METİNLERİN SINIFLANDIRMA BAŞARISINI ARTIRMAK İÇİN YENİ BİR YÖNTEM ÖNERİSİ. Uludağ University Journal of The Faculty of Engineering. 2019; 24(1): 136-125.