Transformatör mimarisi tabanlı derin öğrenme yöntemi ile Türkçe haber metinlerine başlık üretme

Öz

Günümüzde, büyük veri içinden istenilen bilgiyi kapsayan doğru içeriklere kısa sürede ulaşabilmek önemli bir ihtiyaçtır. İçeriklere ait başlıkların bu ihtiyacı karşılamada olumlu bir etkisi bulunmaktadır. Ancak yanıltıcı başlıklar olması durumunda bu bir dezavantaja dönüşebilmektedir. Bu çalışmada, güncel doğal dil işleme ve derin öğrenme teknolojilerini kullanarak Türkçe metinleri en iyi özetler biçimde ve daha yönlendirici Türkçe başlıkların üretilmesi amaçlanmaktadır. Çalışmada yaklaşık 52.000 Türkçe haber metni ve başlığını içeren bir derlem kullanılmıştır. Derlemdeki haber metinleri ve başlıkları modelin doğru eğitilebilmesi için bazı ön işlemlerden geçirilmiştir. Daha insansı ve özgün sonuçlar elde etmek amacıyla genel ve soyut özetleme teknikleri çözüm yöntemleri olarak tercih edilmiştir. Eğitim modeli olarak, 2017 yılında yayınlanan ve doğal dil işleme alanında en son teknoloji olarak kabul edilen transformatör mimarisi tabanlı kodlayıcı-kod çözücü derin öğrenme mimarisi kullanılmıştır. Bu model, derin öğrenme kütüphanelerinden TensorFlow ve Keras kullanılarak geliştirilmiştir. Derin öğrenme çalışmalarında yüksek sistem gereksinimlerini karşılayan Google Colab aracılığı ile 20 ve 25 dönem eğitilerek sonuç üretilmiştir. Eğitim süresi toplam 3.5 saat gibi kısa bir sürede tamamlanmıştır. Eğitilen model, 20 ve 25 eğitim dönemi sonunda sırayla 75% ve 85% oranında eğitim başarımı elde etmiştir. Eğitimde kullanılan veri kümesinin tamamı, eğitilen model ile tekrar üretilmiştir. Bu deneyde başarı ölçütleri olarak, genellikle özetleme görevlerinde tercih edilen ROUGE-1 metriği, BLEU ve ikisinin harmonik ortalaması olan F1 skoru tercih edilmiştir. ROUGE-1, BLEU ve F1 skoru, 20 eğitim dönemi sonunda sırayla %59, %54 ve %55 iken, 25 eğitim dönemi sonunda sırayla %77, %70 ve %73 olarak ölçülmüştür. Transformatör mimarisinin başlık üretme probleminde kullanımının, bu alandaki mevcut çalışmalarda kullanılan derlemlere kıyasla daha az eğitim içeriğiyle çözüm üretebildiği ve diğer derin öğrenme mimarileri ile yapılan çalışmalara göre dilbilgisel ve anlamsal olarak daha başarılı sonuçlar elde edildiği gözlemlenmiştir.

Anahtar Kelimeler

• Türkçe Doğal Dil İşleme
• Otomatik Başlık Üretme
• Soyut Metin Özetleme
• Derin Öğrenme
• Transformatör

Kaynakça

1. Edmunson, H. P., New Methods in Automatic Extracting, In J. ACM, Volume 16 (2), 264-285, 1969.
2. Luhn, H.P., The Automatic Creation of Literature Abstracts, In IBM J. Res. Dev., Volume 2 (2), 159-165, 1958.
3. Erkan, G., Radev, D.R., LexRank: Graph-based Lexical Centrality as Salience in Text Summarization, In Journal Of Artificial Intelligence Research (JAIR), Volume 22, 457-479, 2004.
4. Lopyrev, K., Generating News Headlines with Recurrent Neural Networks, arXiv preprint arXiv:1512.01712, 2015.
5. Takase, S., Suzuki, J., Okazaki, N., Hirao, T., Nagata, M., Neural Headline Generation on Abstract Meaning Representation, In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP), Austin-Texas-A.B.D, 1054–1059, 1-5 Kasım, 2016.
6. Tan, J., Wan, X., Xiao, J., From Neural Sentence Summarization to Headline Generation: A Coarse-to-Fine Approach, In Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence (IJCAI), Melbourne-Avustralya, 4109-4115, 19-25 Ağustos, 2017.
7. Murao, K., Kobayashi, K., Kobayashi, H., Yatsuka, T., Masuyama, T., Higurashi, T., Tabuchi, Y., A Case Study on Neural Headline Generation for Editing Support, In Proceedings of the 2019 Annual Conference of the North American Chapter of the Association for Computational Linguistics (NAACL-HLT), Volume 2, Minneapolis-Minnesota-A.B.D, 73-82, 2-7 Haziran, 2019.
8. Gu, X., Mao, Y., Han, J., Liu, J., Yu, H., Wu, Y., Yu, C., Finnie, D., Zhai, J. & Zukoski, N., Generating Representative Headlines for News Stories, In Proceedings of the The Web Conference 2020 (WWW ‘20), Taipei-Tayvan, 1773-1784, 20-24 Nisan, 2000.

9. Karakoç, E., Yılmaz, B., Deep Learning Based Abstractive Turkish News Summarization, In Proceedings of the 27th Signal Processing and Communications Applications Conference (SIU), Sivas-Türkiye, 1-4, 24-26 Nisan, 2019.
10. Chollet, F., Uygulamalı Derin Öğrenme, Python ile Derin Öğrenme, Editör: Kuyumcu, B., Buzdağı Yayınevi, Ankara, Türkiye,123-360, 2017.
11. Şen, M.U., Yanıkoğlu, B., Document classification of SuDer Turkish News Corpora, In Proceedings of the 26th Signal Processing and Communications Applications Conference (SIU), İzmir-Türkiye, 1-4, 2-5 Mayıs, 2018.
12. Nekic, M. Automatic Text Summarization. https://www.youtube.com/watch?v=d0OXm0dRZ4. Yayın tarihi Haziran 27, 2019. Erişim Tarihi Mayıs 15, 2020.
13. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.N., Kaiser, L., Polosukhin, I., Attention is All You Need, In Proceedings of the 31st International Conference on Neural Information Processing Systems (NIPS), Long Beach-California-A.B.D, 6000-6010, 4-9 Aralık, 2017.
14. Goodfellow, I., Bengio, Y., Courville, A., Derin Ağlar: Modern Pratikler, Derin Öğrenme, Editör: Aksoy, B., Kurt, F., Çelik, V., Buzdağı Yayınevi, Ankara, Türkiye, 163-488, 2018.
15. Zhang, A., Lipton, Z.C., Li, M., Smola, A.J. Dive into Deep Learning. https://d2l.ai/d2l-en.pdf. Yayın tarihi Kasım 6, 2020. Erişim tarihi Ocak 10, 2021.
16. Kaiser, Ł. Attention is all you need; Attentional Neural Network Models | Łukasz Kaiser | Masterclass. https://www.youtube.com/watch?v=rBCqOTEfxvg. Yayın tarihi Ekim 4, 2017. Erişim tarihi Şubat 10, 2021.
17. Wheelan, C., Merkezi Limit Teoremi, Çıplak İstatistik, Editör: Kaya, Ö., Buzdağı Yayınevi, Ankara, Türkiye, 201-223, 2020.
18. NVIDIA. Data Sheet: Tesla P100. https://images.nvidia.com/content/tesla/pdf/nvidia-tesla-p100-PCIe-datasheet.pdf. Yayın tarihi Ekim 4, 2016. Erişim tarihi Mart 1, 2021.
19. Özkan, C., İnternet Tabanlı Türkçe Metinler İçin Otomatik Özetleme Tekniği, Yüksek Lisans Tezi, T.C. Maltepe Üniversitesi, Fen Bilimleri Enstitüsü, İstanbul, Türkiye, 2019.
20. Google LLC. Python ROUGE Implementation. https://pypi.org/project/rouge-score. Yayın tarihi Haziran 12, 2020. Erişim tarihi Ocak 10, 2021.