LSTM Ağları ile Türkçe Kök Bulma

Year 2019, Volume: 12 Issue: 3, 183 - 193, 31.07.2019

Burcu Can

https://doi.org/10.17671/gazibtd.486042

Cited By: 5

Abstract

Türkçe, morfem adı verilen birimlerin art arda eklenmesiyle sözcüklerin
oluşturulduğu sondan eklemeli bir dildir. Sözcüklerin farklı parçaların
birleştirilmesiyle oluşturulması makine tercümesi, duygu analizi ve bilgi
çıkarımı gibi birçok doğal dil işleme uygulamasında seyreklik problemine yol
açmaktadır çünkü sözcüğün her farklı formu farklı bir sözcük gibi
algılanmaktadır. Bu makalede, sözcüklerin yapım ve çekim eklerinden
arındırılarak köklerinin otomatik olarak bulunabilmesi için bir yöntem öneriyoruz.
Kullandığımız yöntem tekrarlayan sinir ağları kullanarak oluşturulan
kodlayıcı-kod çözücü yaklaşımına dayanmaktadır. Verilen herhangi bir sözcük,
oluşturduğumuz sinir ağı yapısı ile öncelikle kodlanmakta, ardından kodu
çözülerek köküne ulaşılabilmektedir. Bu yöntem şimdiye kadar etiketleme veya
makine tercümesi gibi problemlerde kullanılmıştır. Diğer Türkçe kök bulma modelleriyle
karşılaştırıldığında sonuçların oldukça iyi olduğu gözlenmiştir. Diğer
modellerde olduğu gibi, herhangi bir kural kümesi elle tanımlanmadan, sadece sözcük
ve kök ikililerinden oluşan bir eğitim veri kümesi kullanılarak kök bulma
işlemi önerdiğimiz bu model ile gerçekleştirilebilmektedir.

Keywords

doğal dil işleme, hesaplamalı dilbilimi, gözetimsiz öğrenme, morfoloji, morfolojik bölümleme, derin öğrenme, tekrarlayan sinir ağları

Stemming Turkish Words with LSTM Networks

Abstract

Turkish is an agglutinative language that builds
words by concatenating the units called morphemes. Building words by
concatenating various units together leads to sparsity problem in many natural
language processing tasks such as machine translation, sentiment analysis, and
information extraction because each different form of the same word is
considered as a different word token. In this paper, we  propose a method that can find the stems of
words automatically by filtering out any derivational or inflectional suffixes
attached to words. The proposed method is based on an encoder-decoder model
built by recurrent neural networks. Any given word is first encoded by the
neural network and then its stem is extracted by decoding it. This method has
been used in problems such as tagging or machine translation so far. We obtain compatitive
results compared to other Turkish stemmers. Moreover, unlike the other models, stemming
could be performed without defining a rule set manually, and by just using a
train set that involves word and stem pairs.

Keywords

natural language processing, computational linguistics, unsupervised learning, morphology, morphological segmentation, deep learning, recurrent neural networks

References

• I. Sutskever, O. Vinyals, Q. V. Le, “Sequence to Sequence Learning with Neural Networks”, NIPS'14 Proceedings of the 27th International Conference on Neural Information Processing Systems, Montreal, 2014.
• M.T. Luong, H. Pham, C. D. Manning, “Effective Approaches to Attention-based Neural Machine Translation”, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, Lisbon, 2015.
• K. Cho, B. v. Merriënboer, D. Bahdanau, “On the Properties of Neural Machine Translation: Encoder-Decoder Approaches”, Proceedings of SST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation, Doha, 2014.
• J. B. Lovins, “Development of a Stemming Algorithm”, Defense Technical Information Center, 31, 1968.
• M. F. Porter, “An Algorithm for Suffix Stripping”, Readings in Information Retrieval, 313--316, 1997.
• R. Krovetz, “Viewing Morphology as an Inference Process”, Proceedings of the 16th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 1993.
• Internet: M. F. Porter, Snowball, http://www.snowball.tartarus.org/texts/introduction.html, 2001.
• E. K. Çilden, Stemming Turkish Words Using Snowball, 2006.
• G. Eryiğit, E. Adalı, “An Affix Stripping Morphological Analyzer for Turkish”, Proceedings of the IASTED International Conference Artificial Intelligence and Applications, Innsbruck, 2004.
• Internet: O. Tunçelli, Github, https://github.com/otuncelli/turkish-stemmer-python, 09.11.2018.
• Internet: H. R. Zafer, Github, https://github.com/hrzafer/resha-turkish-stemmer, Kasım 2018.
• Internet: H. R. Zafer, Github, https://github.com/hrzafer/nuve, 09.11.2018.
• K. Koskenniemi, P. Tapanainen, A. Voutilainen, “Compiling and Using Finite-State Syntactic Rules”, Proceedings of the COLING-92, the 14th International Conference on Computational Linguistics, Nantes.
• K. Oflazer, “Two-level Description of Turkish Morphology”, In Proceedings of the Sixth Conference of the European Chapter of the Association for Computational Linguistics, 1994.
• Ç. C. Çöltekin, “A Freely Available Morphological Analyzer for Turkish”, Proceedings of the 7th International Conference on Language Resources and Evaluation (LREC 2010), 2010.
• A. A. Akın, M. D. Akın, “Zemberek, An Open Source NLP Framework for Turkic Languages”, Structure, 10, 1--5, 2007.
• S. Hochreiter, “The Vanishing Gradient Problem During Learning Recurrent Neural Nets and Problem Solutions”, International Journal of Uncertainty, Fuzziness, Knowledge-Based Systems, 6(2), 107-116, 1998.
• G. Neubig, C. Dyer, Y. Goldberg, A. Matthews, W. Ammar, A. Anastasopoulos, M. Ballesteros, D. Chiang, D. Clothiaux, T. Cohn, K. Duh, M. Faruqui, C. Gan, “DyNet: The Dynamic Neural Network Toolkit”, ArXiv, 2017.
• N. B. Atalay, K. Oflazer, B. Say, “The Annotation Process in the Turkish Treebank”, Proceedings of the EACL Workshop on Linguistically Interpreted Corpora - LINC, Budapeşte, 2003.
• K. Oflazer, D. Say, D. Z. Hakkani-Tür, G. Tür, “Building a Turkish Treebank”, Building and Exploiting Syntactically-annotated Corpora, Kluwer Academic Publishers, 2003.
• Internet: M. Kurimo, K. Lagus, S. Virpioja, V. Turunen, Morpho Challenge 2010, Aalto University, http://morpho.aalto.fi/events/morphochallenge2010/, November 2018].