Üretken Rakip Ağ ile Türkçe Metin Üretimi

Öz

Makine öğrenmesi yöntemlerinde tahmin aşamasının başarısı için kullanılan eğitim veri seti kümesi oldukça önemlidir. Doğal dil işlemede en çok karşılaşılan problemlerden birisi yeterli veri bulunamaması veya bulunan verilerin etiketsiz olmasıdır. Özellikle sınıflandırma problemlerinde belirli bir sınıftaki verinin azlığı sınıflandırmanın başarısını düşürmektedir. Bu çalışmada veri kümesinde bulunan eksik sınıfa ait metinlerin arttırılması amacı ile üretken rakip ağlar yöntemi kullanılmıştır. Haber metinleri üzerinde veri çoğalma işlemi gerçekleştirilmiştir. Elde edilen sonuçlar n-gram, destek vektör makinesi, TF-IDF ve lojistik regresyon gibi makine öğrenmesi teknikleriyle birlikte kullanılarak performansları değerlendirilmiştir. Sonuçlara göre üretken rakip ağların Türkçe metin üretimi için kullanılması sınıflandırma başarısını yaklaşık % 47 oranında arttırmıştır.

Anahtar Kelimeler

• Doğal dil işleme
• Üretken rakip ağlar
• Metin üretimi
• Sınıflandırma

Turkish Text Generation with Generative Adversarial Network

Abstract

The training data set used for the success of the training phase in machine learning methods is very important. One of the most common problems in natural language processing is the lack of sufficient data or the unlabeled data. Especially in classification problems, the scarcity of data in a certain class reduces the success of the classification. In this study, generative adversarial network method was used in order to increase the texts belonging to the missing class in the data set. Data augmentation is performed on news texts. The results obtained were evaluated together with machine learning techniques such as n-grams, support vector machine, TF-IDF and logistic regression. According to the results, the use of generative adversarial network for Turkish text generation increased the classification success by approximately 47%.

Keywords

• Natural language processing
• Generative adversarial networks
• Text generation
• Classification

Kaynakça

1. Michie D., Spiegelhalter D. J. & Taylor C. C. (1994). Machine learning. Neural and Statistical Classification, (13.1994), 1-298.
2. Ayon D. (2016). Machine learning algorithms: a review. International Journal of Computer Science and Information Technologies, (7.3), 1174-1179.
3. Xiaojin Z. (2005). Semi-Supervised Learning Literature Survey. CS Technical Reports University of Wisconsin-Madison.
4. Jun S. & Hideki I. (2008). Semi-Supervised Sequential Labeling and Segmentation using Giga-word Scale Unlabeled Data. Proceedings of ACL-08 HLT, 665–673.
5. Goodfellow I. J., Pouget-Abadie J., Mirza M., Xu B., Warde-Farley D., Ozair S., Courville A. & Bengio Y. (2014). Generative Adversarial Nets. Advances in Neural Information Processing System (NIPS), 2672-2680.
6. Zhang H., Xu T., Li H., Zhang S., Wang X., Huang X. & Metexas D. N. (2019). StackGAN++: Realistic Image Synthesis with Stacked Generative Adversarial Networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, (41.8), 1947-1962.
7. Santhanam S. (2018). Context Based Text-Generation Using Lstm Networks. Conference: Artificial Intelligence International Conference A2IC.
8. Wang W. Y., Singh S. & Li J. (2019). Deep Adversarial Learning for NLP. Proceedings of NAACL HLT, 1-5.

9. Che T., Li Y., Zhang R., Hjelm R., Li W., Song Y. & Bengio Y. (2017). Maximum-Likelihood Augmented Discrete Generative Adversarial Networks.
10. Guo J., Lu S., Cai H., Zhang W., Yu Y. & Wang J. (2017). Long Text Generation via Adversarial Training with Leaked Information. Association for the Advancement of Artificial Intelligence.
11. Yu L., Zhang W., Wang J. & Yu Y. (2017). Long Text Generation via Adversarial Training with Leaked Information. Association for the Advancement of Artificial Intelligence.
12. Lin K., Li D., He X., Zhang Z. & Sun M. (2017). Adversarial Ranking for Language Generation. Advances in Neural Information Processing System (NIPS).
13. Fedus W., Goodfellow I. & Dai A. (2018). Maskgan: Better Text Generation Via Filling In The _____. International Conference on Learning Representations (ICLR).
14. Cao Y., Zhou Z., Zhang W. & Yu Y. (2017). Unsupervised Diverse Colorization via Generative Adversarial Networks.
15. Kusner M. & Hernandez-Lobato J. (2016). GANS for Sequences of Discrete Elements with the Gumbel-softmax Distribution.
16. Maskin E. (1999). Nash Equilibrium and Welfare Optimality. The Review of Economic Studies, (66.1), 23-38.
17. Gharesifard B. & Cortes J. (2013). Distributed convergence to Nash equilibria in two-network zero-sum games. Automatica, (49.6), 1683-1692.
18. TensorFlow. Neden TensorFlow. Online Web site: 15 Aralık 2020 tarihinde https://www.tensorflow.org/about adresinden erişildi.
19. Wikipedia. Long short-term memory. Online Web site: 15 Aralık 2020 tarihinde https://en.wikipedia.org/wiki/Long_short-term_memory adresinden erişildi.
20. Wikipedia. n-gram. Online Web site: 15 Aralık 2020 tarihinde https://en.wikipedia.org/wiki/N-gram adresinden erişildi.
21. Medium. TF-IDF/Term Frequency Technique. Online Web site: 15 Aralık 2020 tarihinde https://medium.com/analytics-vidhya/tf-idf-term-frequency-technique-easiest-explanation-for-text-classification-in-nlp-with-code-8ca3912e58c3 adresinden erişildi.
22. Wikipedia. Support vector machine. Online Web site: 15 Aralık 2020 tarihinde https://en.wikipedia.org/wiki/Support_vector_machine adresinden erişildi.
23. Wikipedia. Logistic regression. Online Web site: 15 Aralık 2020 tarihinde https://en.wikipedia.org/wiki/Logistic_regression adresinden erişildi.
24. GitHub. Zemberek-NLP. Online Web site: 15 Aralık 2020 tarihinde https://github.com/ahmetaa/zemberek-nlp adresinden erişildi.