Construction of a Novel Dataset for Turkish and English Keyword Generation and Fine-Tuning of Large Language Models

Abstract

This study presents two comprehensive datasets constructed from the TR Dizin database for use in generating original keywords in Turkish and English texts. These datasets were employed to fine-tune the T5 and FlanT5 large language models, which were subsequently evaluated for their effectiveness. Bayesian optimization was utilized to determine the optimal hyperparameters, enhancing the learning efficiency of the models. Experimental analyses revealed that the Turkish models achieved high performance in both n-gram–based metrics and semantic similarity evaluations. The findings indicate that large language models offer an effective and scalable solution for automatic keyword generation.

Keywords

• Keyword extraction
• Large language models
• Deep learning
• Turkish dataset
• Natural language processing

Türkçe ve İngilizce Anahtar Kelime Üretimi İçin Özgün Veri Seti Oluşturulması ve Büyük Dil Modellerine İnce Ayar Uygulanması

Abstract

Bu çalışmada, Türkçe ve İngilizce metinler için özgün anahtar kelime üretiminde kullanılmak üzere TR Dizin veri tabanından geniş kapsamlı iki veri seti oluşturulmuş ve bu veri setleri T5 ile FlanT5 büyük dil modellerine ince ayar yapılarak değerlendirilmiştir. Hiper parametrelerin belirlenmesinde Bayesian optimizasyon yaklaşımı kullanılmış ve bu süreç modellerin öğrenme verimliliğini artırmıştır. Deneysel analizler, özellikle Türkçe modellerin hem n gram tabanlı ölçütlerde hem de anlamsal benzerlik değerlendirmelerinde yüksek başarı sağladığını göstermektedir. Elde edilen sonuçlar, büyük dil modellerinin otomatik anahtar kelime üretimi için etkili ve ölçeklenebilir bir çözüm sunduğunu ortaya koymaktadır.

Keywords

• Anahtar kelime çıkarımı
• Büyük dil modelleri
• Derin Öğrenme
• Türkçe veri seti
• Doğal dil işleme

Thanks

Bu çalışmada elde edilen sonuçların bir kısmı Doç. Dr. Yasin GÖRMEZ tarafından danışmanlığı yapılan, Şeyda Nur ARSLAN tarafından hazırlanacak olan “Türkçe Metinlerde Anahtar Kelime Tahmini: Özgün Veri Seti Oluşturulması ve Derin Öğrenme Tabanlı Model Geliştirme” başlıklı tezde kullanılacaktır. Bu çalışma aynı zamanda “Detay Danışmanlık Bilgisayar Hizmetleri Sanayi ve Dış Ticaret A.Ş” Ar-Ge merkezinde yürütülen çalışmaların bir ürünüdür, destekleri için teşekkür ederiz. Bu araştırmada yer alan kısmi nümerik hesaplamalar TÜBİTAK ULAKBİM, Yüksek Başarım ve Grid Hesaplama Merkezi’nde (TRUBA kaynaklarında) gerçekleştirilmiştir.

References

1. Waldherr, A. Maier, D. Miltner, P. ve Günther, E. “Big Data, Big Noise: The Challenge of Finding Issue Networks on the Web”, Social Science Computer Review, c. 35, sy 4, ss. 427-443, Ağu. 2017, doi: 10.1177/0894439316643050.
2. Cai L. ve Zhu, Y. “The Challenges of Data Quality and Data Quality Assessment in the Big Data Era”, Data Science Journal, c. 14, sy 0, May. 2015, doi: 10.5334/dsj-2015-002.
3. Grant, M. J. “Key words and their role in information retrieval”, Health Info Libr J, c. 27, sy 3, ss. 173-175, Eyl. 2010, doi: 10.1111/j.1471-1842.2010.00904.x.
4. Berenci, E. Carpineto, C. Giannini, V. ve Mizzaro, S. “Effectiveness of Keyword-Based Display and Selection of Retrieval Results for Interactive Searches”, içinde Research and Advanced Technology for Digital Libraries, S. Abiteboul ve A.-M. Vercoustre, Ed., Berlin, Heidelberg: Springer, 1999, ss. 106-125. doi: 10.1007/3-540-48155-9_9.
5. Rose, S. Engel, D. Cramer, N. ve Cowley, W. “Automatic Keyword Extraction from Individual Documents”, içinde Text Mining, John Wiley & Sons, Ltd, 2010, ss. 1-20. doi: 10.1002/9780470689646.ch1.
6. Maragheh R. Y. ve ark., “LLM-TAKE: Theme Aware Keyword Extraction Using Large Language Models”, 01 Aralık 2023, arXiv: arXiv:2312.00909. doi: 10.48550/arXiv.2312.00909.
7. Koloski, B. Pollak, S. Škrlj, B. ve Martinc, M. “Out of Thin Air: Is Zero-Shot Cross-Lingual Keyword Detection Better Than Unsupervised?”, 14 Şubat 2022, arXiv: arXiv:2202.06650. doi: 10.48550/arXiv.2202.06650.
8. Altuncu, E. Nurse, J. R. C. Xu, Y. Guo, J. ve Li, S. “Improving Performance of Automatic Keyword Extraction (AKE) Methods Using PoS Tagging and Enhanced Semantic-Awareness”, Information, c. 16, sy 7, Art. sy 7, Tem. 2025, doi: 10.3390/info16070601.

9. Khan M. Q. ve ark, “Impact analysis of keyword extraction using contextual word embedding”, PeerJ Comput. Sci., c. 8, s. e967, May. 2022, doi: 10.7717/peerj-cs.967.
10. Kim Y. ve ark., “Validation of deep learning natural language processing algorithm for keyword extraction from pathology reports in electronic health records”, Sci Rep, c. 10, sy 1, s. 20265, Kas. 2020, doi: 10.1038/s41598-020-77258-w.
11. Zhang, Y. Tuo, M. Yin, Q. Qi, L. Wang, X. ve Liu, T. “Keywords extraction with deep neural network model”, Neurocomputing, c. 383, ss. 113-121, Mar. 2020, doi: 10.1016/j.neucom.2019.11.083.
12. Duari S. ve Bhatnagar, V. “Complex Network based Supervised Keyword Extractor”, Expert Systems with Applications, c. 140, s. 112876, Şub. 2020, doi: 10.1016/j.eswa.2019.112876.
13. Shin, H. Lee, H. J. ve Cho, S. “General-use unsupervised keyword extraction model for keyword analysis”, Expert Systems with Applications, c. 233, s. 120889, Ara. 2023, doi: 10.1016/j.eswa.2023.120889.
14. Zhang, K. Xu, H. Tang, J. ve Li, J. “Keyword Extraction Using Support Vector Machine”, içinde Advances in Web-Age Information Management, J. X. Yu, M. Kitsuregawa, ve H. V. Leong, Ed., Berlin, Heidelberg: Springer, 2006, ss. 85-96. doi: 10.1007/11775300_8.
15. Pay T. ve Lucci, S. “Automatic keyword extraction: An ensemble method”, içinde 2017 IEEE International Conference on Big Data (Big Data), Ara. 2017, ss. 4816-4818. doi: 10.1109/BigData.2017.8258552.
16. Bracewell, D. B. Ren, F. ve Kuriowa, S. “Multilingual single document keyword extraction for information retrieval”, içinde 2005 International Conference on Natural Language Processing and Knowledge Engineering, Eki. 2005, ss. 517-522. doi: 10.1109/NLPKE.2005.1598792.
17. Çelikten, A. Onan, A. ve Bulut, H. “Investigation of Biomedical Named Entity Recognition Methods”, içinde 4th International Conference on Artificial Intelligence and Applied Mathematics in Engineering,
18. Hemanth, ]D. J. Yigit, T. Kose, U. ve Guvenc, U. Ed., Cham: Springer International Publishing, 2023, ss. 218-229. doi: 10.1007/978-3-031-31956-3_18.
19. Çelikten, A. Uğur, A. ve Bulut, H. “Keyword Extraction from Biomedical Documents Using Deep Contextualized Embeddings”, içinde 2021 International Conference on INnovations in Intelligent SysTems and Applications (INISTA), Ağu. 2021, ss. 1-5. doi: 10.1109/INISTA52262.2021.9548470.
20. Singhal K. ve ark., “Toward expert-level medical question answering with large language models”, Nat Med, c. 31, sy 3, ss. 943-950, Mar. 2025, doi: 10.1038/s41591-024-03423-7.
21. Chen Q. ve ark., “Benchmarking large language models for biomedical natural language processing applications and recommendations”, Nat Commun, c. 16, sy 1, s. 3280, Nis. 2025, doi: 10.1038/s41467-025-56989-2.
22. Keloth V. K. ve ark., “Advancing entity recognition in biomedicine via instruction tuning of large language models”, Bioinformatics, c. 40, sy 4, s. btae163, Nis. 2024, doi: 10.1093/bioinformatics/btae163.
23. Luo X. ve ark., “Large language models surpass human experts in predicting neuroscience results”, Nat Hum Behav, c. 9, sy 2, ss. 305-315, Şub. 2025, doi: 10.1038/s41562-024-02046-9.
24. Liew P. Y. ve T. Tan, I. K. “On Automated Essay Grading using Large Language Models”, içinde Proceedings of the 2024 8th International Conference on Computer Science and Artificial Intelligence, içinde CSAI ’24. New York, NY, USA: Association for Computing Machinery, Şub. 2025, ss. 204-211. doi: 10.1145/3709026.3709030.
25. Choudhary, M. Agarwal, B. ve Goyal, V. “Hate Speech Detection: Leveraging LLM-GPT2 with Fine-Tuning and Multi-Shot Techniques”, Procedia Computer Science, c. 258, ss. 2817-2825, Oca. 2025, doi: 10.1016/j.procs.2025.04.542.
26. Wan, Z. “Text Classification: A Perspective of Deep Learning Methods”, 24 Eylül 2023, arXiv: arXiv:2309.13761. doi: 10.48550/arXiv.2309.13761.
27. Li Q. ve ark., “A Survey on Text Classification: From Traditional to Deep Learning”, ACM Trans. Intell. Syst. Technol., c. 13, sy 2, s. 31:1-31:41, Nis. 2022, doi: 10.1145/3495162.
28. Zhang, T. Ladhak, F. Durmus, E. Liang, P. McKeown, K. ve Hashimoto, T. B. “Benchmarking Large Language Models for News Summarization”, Transactions of the Association for Computational Linguistics, c. 12, ss. 39-57, Oca. 2024, doi: 10.1162/tacl_a_00632.
29. Basyal L. ve Sanghvi, M. “Text Summarization Using Large Language Models: A Comparative Study of MPT-7b-instruct, Falcon-7b-instruct, and OpenAI Chat-GPT Models”, 17 Ekim 2023, arXiv: arXiv:2310.10449. doi: 10.48550/arXiv.2310.10449.
30. “TR Dizin Entegrasyonu Geliştirme Dokümanı - TR Dizin Yardım”. Erişim: 19 Ekim 2025. [Çevrimiçi]. Erişim adresi: https://development.trdizin.gov.tr/
31. “ysngrmz/trdizin_keywords · Datasets at Hugging Face”. Erişim: 27 Aralık 2025. [Çevrimiçi]. Erişim adresi: https://huggingface.co/datasets/ysngrmz/trdizin_keywords
32. Raffel C. ve ark., “Exploring the Limits of Transfer Learning with a Unified Text-to-Text Dönüştürücü”, 19 Eylül 2023, arXiv: arXiv:1910.10683. doi: 10.48550/arXiv.1910.10683.
33. Chung H. W. ve ark., “Scaling Instruction-Finetuned Language Models”, 06 Aralık 2022, arXiv: arXiv:2210.11416. doi: 10.48550/arXiv.2210.11416.
34. Snoek, J. Larochelle, H. ve Adams, R. P. “Practical Bayesian Optimization of Machine Learning Algorithms”, 29 Ağustos 2012, arXiv: arXiv:1206.2944. doi: 10.48550/arXiv.1206.2944.
35. Bergstra, J. Bardenet, R. Bengio, Y. ve Kégl, B. “Algorithms for Hyper-Parameter Optimization”, içinde Advances in Neural Information Processing Systems, Curran Associates, Inc., 2011. Erişim: 19 Ekim 2025. [Çevrimiçi]. Erişim adresi: https://proceedings.neurips.cc/paper/2011/hash/86e8f7ab32cfd12577bc2619bc635690-Abstract.html
36. “FLAN-T5”. Erişim: 19 Ekim 2025. [Çevrimiçi]. Erişim adresi: https://huggingface.co/docs/Transformers/model_doc/flan-t5
37. “T5”. Erişim: 19 Ekim 2025. [Çevrimiçi]. Erişim adresi: https://huggingface.co/docs/Transformers/model_doc/t5
38. scikit-optimize: Sequential model-based optimization toolbox. (2025). Python. Erişim: 19 Ekim 2025. [MacOS, Microsoft :: Windows, POSIX, Unix]. Erişim adresi: https://scikit-optimize.readthedocs.io/en/lasınama/contents.html
39. Wu, D. Cheng, P. ve Zheng, Y. “Multistage Mixed-Attention Unsupervised Keyword Extraction for Summary Generation”, Applied Sciences, c. 14, sy 6, s. 2435, Oca. 2024, doi: 10.3390/app14062435.
40. Aydın Ö. ve Kantarcı, H. “Türkçe Anahtar Sözcük Çıkarımında LSTM ve BERT Tabanlı Modellerin Karşılaştırılması”, bbmd, c. 17, sy 1, ss. 9-18, Haz. 2024, doi: 10.54525/bbmd.1454220.
41. sentence-Transformers: Embeddings, Retrieval, and Reranking. Python. Erişim: 06 Aralık 2025. [Çevrimiçi]. Erişim adresi: https://www.SBERT.net.
42. “Hugging Face – The AI community building the future.” Erişim: 06 Aralık 2025. [Çevrimiçi]. Erişim adresi: https://huggingface.co/