Türkçe için karşılaştırmalı metin sınıflandırma analizi

Year 2018, Volume: 24 Issue: 5, 879 - 886, 12.10.2018

Savaş Yıldırım , Tuğba Yıldız

Abstract

Metin
Sınıflandırma Doğal Dil İşleme (DDİ) alanında önemli bir yere sahiptir. Son
zamanlarda metinsel verilerin artması ve otomatik etiketlenmesi gerekliliği,
metin sınıflandırma probleminin önemini artırmıştır. Geleneksel yaklaşımlardan
öne çıkan kelime torbası yöntemi yıllardır metin sınıflandırmasında başarılı
olmaktadır. Son zamanlarda sinir ağları dil modelleri DDİ problemlerine
başarılı bir şekilde uygulanmış ve bazı alanlarda büyük başarı kaydetmişlerdir.
Yapay Sinir Ağları (YSA) temelli mimarilerin en önemli avantajı daha etkili
kelime ve metin gösterilimlerin oluşturmasıdır. Bu gösterilimler, geleneksel
yöntemlere göre daha az boyutlu ve daha etkili bulunmuştur. Özellikle
anlambilimsel ve sözdizimsel analizlerde başarılı uygulamalar yapılmıştır. Öte
yandan daha uzun vektörlerle gösterilim kullanan geleneksel kelime torbası yöntemleri,
metin gösterilimleri anlamında hala gücünü korumaktadır. Ancak Türkçe için bu
iki yaklaşımın herhangi bir karşılaştırılması yapılmamıştır. Bu çalışmada,
geleneksel kelime torbası yaklaşımı ile sinir ağı temelli yeni gösterilim
yaklaşımları metin sınıflandırması açısından karşılaştırılmıştır. Bu
çalışmalarda gördük ki etkili özellik seçimleri geleneksel yöntemlerinin hala
yeni kuşak kelime gömme (word embeddings) yaklaşımı ile yarışacak düzeydedir.
Son olarak deneylerimizi bu iki yaklaşım açısından çeşitlendirerek raporladık
ve Türkçe için başarılı metin sınıflandırma mimarisini bu raporda ayrıntılı
tartıştık.

Keywords

Metin sınıflandırma, Makine öğrenmesi, Yapay sinir ağları

A comparative analysis of text classification for Turkish language

Abstract

Text categorization plays
important role in the field of Natural Language Processing. Recently, the rapid
growth in the amount of textual data and requirement of automatic annotation
makes the problem of text categorization more important. As a prominent one of
the traditional methods, the bag-of-words approach has been successfully
applied to text categorization problem for years. Recently, Neural Network
Language Models (NNLM) have achieved successful results for various problems of
Natural Language Processing (NLP). The most important advantage of the NNLM is
to provide effective word and document representations. Those representations
are lower dimensional and are found to be more effective than traditional
methods. They have been exploited successfully for semantic and syntactic
analysis. On the other hand, the traditional bag-of-words approaches that use
one-hot long vector representation are still considered powerful in terms of
their accuracy in document classification. However, comparing these approaches
for Turkish language has not been attempted before.  In this study,
we compared them within a variety of analysis. We observed that the traditional
bag-of-word representation utilizing an effective feature selection and a
machine learning algorithm aligned with it have comparable performance with new
generation vector based methods, namely word embeddings. In this study, we have
conducted various experiments comparing these approaches and designated an
effective text categorization architecture for Turkish Language.

Keywords

Text classification, Machine learning, Artificial neural network

References

• Salton G, Wong A, Yang CS. “A vector space model for automatic indexing”. Communications of the ACM, 18(11), 613-620, 1975.
• Harris, Z. “Distributional structure”. Word, 10(2), 146-162, 1954.
• Mikolov T, Chen K, Corrado G, Dean J. “Efficient estimation of word representations in vector space”. Proceedings of Workshop at ICLR. Scottsdale, Arizona 2-4 Mayıs 2013.
• Pennington J, Socher R, Manning C. “Glove: Global vectors for word representation”. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), Doha, Qatar, 25-29 October 2014.
• Le Q, Mikolov T. “Distributed representations of sentences and documents”. 31th International Conference on Machine Learning, Beijing, China, 21-26 June 2014.
• Amasyalı MF, Diri B. Automatic Turkish text categorization in terms of author, genre and gender. Natural Language Processing and Information Systems, Lecture Notes in Computer Science, Vol 3999, 221-226, Berlin, Heidelberg, Germany, Springer, 2006.
• Türkoğlu F, Diri B, Amasyalı MF. Author Attribution of Turkish Texts by Feature Mining. International Conference on Intelligent Computing, Lecture Notes in Computer Science, vol 4681. Springer, Berlin, Heidelberg, 2007.
• Amasyalı MF, Balcı S, Mete E, Varlı EN. "Türkçe metinlerin sınıflandırılmasında metin temsil yöntemlerinin performans karşılaştırılması". EMO Bilimsel Dergi, 2(4), 2012.
• Kılınç D, Özçift A, Bozyigit F, Yıldırım P, Yücalar F, Borandag E. “TTC-3600: A new benchmark dataset for Turkish text categorization”. Journal of Information Science, 43(2), 174-185, 2015.
• Tüfekçi P, Uzun E, Sevinç B. “Text classification of web based news articles by using Turkish grammatical features”. 20th Signal Processing and Communications Applications Conference (SIU), Muğla, Turkiye 18-20 April 2012.
• Akkuş BK, Çakıcı R. “Categorization of Turkish news documents with morphological analysis”. 51st Annual Meeting of the ACL Proceedings of the Student Research Workshop, Sofya, Bulgaristan, 5-7 August 2013.
• Torunoğlu D, Çakırman E, Ganiz MC, Akyokuş S, Gürbüz MZ. “Analysis of preprocessing methods on classification of Turkish texts.”. International Symposium on Innovations in Intelligent Systems and Applications (INISTA), İstanbul, Türkiye, 15-18 June 2011.
• Uysal AK, Günal S. “The impact of preprocessing on text classification”. Information Processing and Management, 50(1), 104-112, 2014.
• Yıldırım S. “A knowledge-poor approach to turkish text categorization”. 15th International Conference on Computational Linguistics and Intelligent Text Processing. Katmandu, Nepal, 6-12 April 2014.
• Açıkalın B, Bayazıt NG. “The importance of preprocessing in Turkish Text classification”. 24th Signal Processing and Communication Application Conference, Zonguldak, Türkiye, 16-19 May 2016.
• Amasyalı MF, Beken A. “Türkçe kelimelerin anlamsal benzerliklerinin ölçülmesi ve metin sınıflandırmada kullanılması”. Signal Processing and Communication Application Conference, Antalya, Türkiye, 9-11 Nisan 2009.
• Toraman Ç. Text Categorization and Ensemble Pruning in Turkish News Portals. PhD Thesis, Bilkent University, Ankara, Turkey, 2011.
• Schütze H, Hull DA, Pedersen JO. “A comparison of classifiers and document representations for the routing problem”. 18th ACM Conference on Research and Development in Information Retrieval, New York, USA, 9-13 July 1995.
• Lewis D, Ringuette M. “A comparison of two learning algorithms for text categorization”. 3rd Annual Symposium on Document Analysis and Information Retrieval, Las Vegas, USA, 11-13 April 1994.
• Manning CD, Raghavan P, Schütze H. Introduction to Information Retrieval, 1st Edition, New York, USA, Cambridge University Press, 2008.
• Zhang W, Yoshida T, Tang X. “A comparative study of TF*IDF, LSI and multi-words for text classification”. Expert System Application, 38(3), 2758-2765, 2011.
• Akin A, Akin MD. “Zemberek, an open source NLP framework for Turkic Languages”. Structure, 10, 1-5, 2007.