Kodlayıcı kod çözücü ve dikkat algoritmaları kullanılarak karakter tabanlı kelime üretimi

Year 2024, Volume: 39 Issue: 3, 1999 - 2010, 20.05.2024

İsa Ergin Timur İnan

https://doi.org/10.17341/gazimmfd.1206277

Abstract

Bu çalışma, derin öğrenme algoritmalarından kodlayıcı kod çözücü ve dikkat mimarisi kullanılarak karakter tabanlı Türkçe dilbilgisi kurallarına uygun anlamlı kelime üretmeyi amaçlamaktadır. Metin üretimi çalışmalarında karşılaşılan en büyük zorluk uzun metin dizelerinde geçmişe ait bilgilerin hatırlanarak sıralı, anlamlı ve tutarlı metinler oluşturabilmektir. Bu nedenle metin içerisinde bulunan karakterlerin ve kelimelerin sırasının ve anlamının önemi çok büyüktür. Bundan dolayı kelime üretiminde karakterler ve kelimeler arasındaki ilişkilerin yakalanabilmesi için geçmiş bilgileri hatırlayarak öğrenen derin öğrenme algoritmalarının kullanılması gerekmektedir. Derin öğrenme algoritmalarından özyinelemeli yapay sinir ağları geçmiş bilgileri hatırlayarak sıralı örüntüler oluşturmada başarılı sonuçlar vermektedir. Bu modeller, özellikle girdi ve çıktıların farklı boyut ve kategorilere sahip olduğu durumlarda, sıra tabanlı herhangi bir probleme çözüm olarak etkili bir şekilde kullanılmaktadır. Bu nedenle bu çalışmada kodlayıcı kod çözücü ve dikkat mimarisi kullanılarak karakter tabanlı bir dil modeli geliştirilmiştir. Model 100 ve 200 epoch değerlerinde sıcaklık örnek alma yönteminin farklı eşik değerlerinde çalıştırılmaktadır. Model; 100 epoch ve sıcaklık örnek alma yönteminin 0.3 eşik değerinde 90.6% başarı oranı ile en iyi sonucu, 200 epoch ve sıcaklık örnek alma yönteminin 0.5 eşik değerinde 91.9% başarı oranı ile en iyi sonucu vermektedir.

Keywords

Yapay zeka, Makina öğrenmesi, Doğal dil işleme, Dil modeli, Metin üretimi

References

• 1. Kibble, R., Introduction to natural language processing, Undergraduate study in Computing and related programmes, University of London International Programmes, Department of Computing, 1 (2), 1-52, 2013.
• 2. Agarwal, M., An overview of natural language processing, International Journal for Research in Applied Science and Engineering Technology (IJRASET), 7, 2811-2813, 2019.
• 3. Özkan, İ., Ülker, E., 2017, Derin öğrenme ve görüntü analizinde kullanılan derin öğrenme modelleri, Gaziosmanpaşa Bilimsel Araştırma Dergisi, 6 (3), 85-104.
• 4. Khurana, D., Koli, A., Khatter, K., Natural language processing: state of the art, current trends and challenges, Multimed Tools Appl, 82 (3), 3713–3744, 2023.
• 5. Nadeau, D., Sekine, S., A Survey of Named Entity Recognition and Classification, Linguisticae Investigationes, John Benjamins Publisher Company, Holland, 30 (1), 3-26, 2007.
• 6. Dahl, D. A., Natural language processing: past, present and future, In Mobile speech and advanced natural language solutions, Springer, New York, 49-73. 2013.
• 7. Kostadinov S., Understanding Encoder-Decoder Sequence to Sequence Model. towardsdatascience.com. https://towardsdatascience.com/understanding-encoder-decoder-sequence-to-sequence-model-679e04af4346. Yayın tarihi Şubat 5, 2019. Erişim tarihi Mayıs 20, 2022.
• 8. Wang Z., Su X., Ding Z., Long-Term Traffic Prediction Based on LSTM Encoder-Decoder Architecture, in IEEE Transactions on Intelligent Transportation Systems, 22 (10), 6561-6571, 2021.
• 9. Alqahtani, H., Kavakli-Thorne, M., & Kumar, G., Applications of generative adversarial networks (gans): An updated review, Archives of Computational Methods in Engineering, 28 (2), 525-552, 2021.
• 10. Poulos, J., & Valle, R., Character-based handwritten text transcription with attention networks, Neural Computing and Applications, 33 (16), 10563-10573, 2021.
• 11. Eriguchi, A., Hashimoto, K., & Tsuruoka, Y, Character-based decoding in tree-to-sequence attention-based neural machine translation, In Proceedings of the 3rd Workshop on Asian Translation, 175-183, 2016.
• 12. Feng, Y., Hu, C., Kamigaito, H., Takamura, H., & Okumura, M., Improving Character-Aware Neural Language Model by Warming Up Character Encoder under Skip-gram Architecture, In Proceedings of the International Conference on Recent Advances in Natural Language Processing, 421-427, 2021.
• 13. Renduchintala, A., Shapiro, P., Duh, K., and Koehn, P., Character-aware decoder for translation into morphologically rich languages, In Proceedings of Machine Translation Summit XVII, 1, 244-255, 2019.
• 14. Yang, Z., Chen, W., Wang, F., & Xu, B., A character-aware encoder for neural machine translation, In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics, Osaka-Japan, 3063-3070, 11-17 Aralık, 2016.
• 15. Bahdanau, D., Chorowski, J., Serdyuk, D., Brakel, P., & Bengio, Y., End-to-end attention-based large vocabulary speech recognition, In 2016 IEEE international conference on acoustics, speech and signal processing (ICASSP), Shanghai-China, 4945-4949, 20-25 Mart, 2016.
• 16. Meng, Z., Gaur, Y., Li, J., & Gong, Y., Character-Aware Attention-Based End-to-End Speech Recognition. 2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU), Singapore, 949-955, 14-18 Aralık, 2019.
• 17. Kwon, D., Kim, H., Kim, J., Suh, S. C., Kim, I. ve Kim, K. J., A survey of deep learning-based network anomaly detection. Cluster Computing, 22 (1), 949- 961, 2019.
• 18. Noord, R.V., Toral, A., & Bos, J., Character-level representations improve DRS-based semantic parsing Even in the age of BERT, In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), Online. Association for Computational Linguistics, 4587–4603, 2020.
• 19. Otter, D. W., Medina, J. R., & Kalita, J. K., A survey of the usages of deep learning for natural language processing, IEEE transactions on neural networks and learning systems, 32 (2), 604-624, 2020.
• 20. Chen Y., Li F., Wang J., Tang B., Zhou X., Quantum recurrent encoder–decoder neural network for performance trend prediction of rotating machinery, Knowledge-Based Systems, 197, 2020.
• 21. Khandelwal, Renu, Attention: Sequence 2 Sequence model with Attention Mechanism. https://towardsdatascience.com/sequence-2-sequence-model-with-attention-mechanism-9e9ca2a613a. Yayın tarihi Ocak 20, 2020. Erişim tarihi Ekim 2, 2022.
• 22. Niu, Z., Zhong, G., & Yu, H., A review on the attention mechanism of deep learning, Neurocomputing, 452, 48-62, 2021.
• 23. Karakaya, M., Sampling in Text Generation. https://medium.com/deep-learning-with-keras/sampling-in-text-generation-b2f4825e1dad. Yayın tarihi Mart 7, 2021. Erişim tarihi Eylül 25, 2022.
• 24. Stokes, J., A guide to language model sampling in AllenNLP. https://blog.allenai.org/a-guide-to-language-model-sampling-in-allennlp-3b1239274bc3 Yayın tarihi kasım 18, 2020, Erişim tarihi Ekim 5, 2022.
• 25. Mann, B. How to sample from language models. https://towardsdatascience.com/how-to-sample-from-language-models-682bceb97277. Yayın tarihi Mayıs 25, 2019. Erişim tarihi Ekim 10, 2022.
• 26. Renggli, C., Rimanic, L., Gürel, N. M., Karlaš, B., Wu, W., & Zhang, C, A data qualitydriven view of mlops, IEEE Data Eng, Bull, 44 (1) 11–23, 2021.
• 27. Karaca A., Aydın Ö., Generating headlines for Turkish news texts with transformer architecture-based deep learning method. Journal of Gazi University Faculty of Engineering and Architecture, 39 (1), 485-496, 2024.
• 28. Noyan T. , Kuncan F., Tekin R., Kaya Y., A new content-independent approach for document language recognition: Angle Patterns, Journal of Gazi University Faculty of Engineering and Architecture, 37 (3), 1277-1292, 2022.
• 29. Somuncu E., Aydın Atasoy N., Implementing character recognition on text images with a convolutional recurrent neural network. Gazi University Faculty of Engineering and Architecture Journal, 37 (1), 17-28, 2022.
• 30. Çakın, Ö., Post-Semiyotik Okurun İktidarı: Göstergelerin Bağlamsal Yolculuğu, Postlar Çağında İletişim, Editör M.N. Erdem-N.K. Şener, Nüve Kültür Yayınevi, Literatürk Academia, İstanbul, 105-123, 2019.