Türkçe Atasözleri ve Deyimler İçin Çok Görevli Bir Çerçeve: Sınıflandırma, Anlamsal Kümeleme ve Büyük Dil Modelleri ile Anlam Üretimi

Abstract

Atasözleri ve deyimler, yüzyıllar boyunca toplumların deneyimlerini, gözlemlerini ve kültürel değerlerini yansıtan sözlü kültür ürünleridir. Özellikle Türkçede yaygın olan bu kalıplaşmış ifadeler hem dilbilimsel analiz hem de yapay zekâ tabanlı uygulamalar açısından önemli bir değere sahiptir. Bu çalışmada, Türkçe atasözleri ve deyimlerden oluşan kapsamlı bir veri seti oluşturulmuş ve ikili sınıflandırma yoluyla kategorize edilmiştir. Kümeleme süreci yalnızca atasözlerine odaklanmış olup, atasözlerinin anlamları yeniden ifade edilerek, örnek cümleler üretilerek ve tematik etiketler atanarak anlamsal olarak zenginleştirilmiştir. Anlam üretimi görevi için DeepSeek R1 ve mT5 modelleri ince ayarlanmıştır. Bunlar arasında mT5 modeli, tutarlı ve bağlamsal olarak doğru anlamlar üretmede DeepSeek R1’den üstün performans göstermiştir. Ayrıca, atasözleri ve deyimlerin sınıflandırılması için BERT ve DistilBERT gibi transformatör tabanlı modeller kullanılarak %99 gibi yüksek bir doğruluk oranı elde edilmiş olup, en iyi performansı bu iki model sergilemiştir. Atasözlerinin zenginleştirilmiş anlamları daha sonra dört farklı gömme (embedding) modeli kullanılarak vektör temsillerine dönüştürülmüştür: OpenAI (text-embedding-3-large), CohereEmbedding (embed-multilingual-v3.0), SentenceTransformer (paraphrase-multilingual-mpnet-base-v2) ve BERTurk (bert-base-turkish-cased). Kümeleme işlemi, her bir gömme modelinin çıktısı için ayrı ayrı gerçekleştirilmiştir. Yüksek boyutluluk sorununu gidermek için PCA ile boyut indirgeme uygulanmış ve altı farklı kümeleme algoritması sistematik olarak karşılaştırılmıştır. Kümeleme kalitesi Silhouette skoru, Davies-Bouldin indeksi, Calinski-Harabasz indeksi ile PCA ve UMAP görselleştirmeleriyle değerlendirilmiştir. Anlamsal tutarlılığı değerlendirmek amacıyla her kümeden rastgele seçilen 15 atasözünü 1–5 ölçeğinde puanlayan 539 katılımcıyla kullanıcı temelli bir değerlendirme yapılmıştır. Tüm modeller arasında OpenAI’ın “text-embedding-3-large” modeli 3,90 ortalama puanla en yüksek skoru elde etmiş ve sonuç olarak üç kümeli yapı nihai model olarak benimsenmiştir.

Keywords

• Doğal Dil İşleme
• Türkçe
• Atasözü
• Deyim
• Transformatör Dil Modelleri
• Büyük Dil Modelleri
• Kümeleme.

A Multi-Task Framework for Turkish Proverbs and Idioms: Classification, Semantic Clustering, and Meaning Generation with Large Language Models

Abstract

Proverbs and idioms are products of oral culture that reflect societies’ experiences, observations, and cultural values accumulated over centuries. These formulaic expressions, which are especially common in Turkish, hold significant value for both linguistic analysis and artificial intelligence-based applications. In this study, a comprehensive dataset of Turkish proverbs and idioms was constructed and categorized through binary classification. The clustering process focused solely on proverbs, which were semantically enriched by restating their meanings, generating example sentences, and assigning thematic labels. For the task of meaning generation, DeepSeek R1 and mT5 models were fine-tuned. Among these, the mT5 model outperformed DeepSeek R1 in generating coherent and contextually accurate meanings. Additionally, for the classification of proverbs and idioms, transformer-based models, specifically BERT and DistilBERT, were utilized, achieving a high accuracy rate of 99%. The enriched meanings of proverbs were then converted into vector representations using four different embedding models: OpenAI (text-embedding-3-large), CohereEmbedding (embed-multilingual-v3.0), SentenceTransformer (paraphrase-multilingual-mpnet-base-v2), and BERTurk (bert-base-turkish-cased). Clustering was performed independently for each embedding output. To address the curse of dimensionality, PCA-based dimensionality reduction was applied prior to clustering, and six different clustering algorithms were systematically compared. Clustering quality was assessed using the Silhouette score, Davies-Bouldin index, Calinski-Harabasz index, and PCA/UMAP visualizations. A user-based assessment was conducted with 539 participants to evaluate semantic consistency, with each participant rating 15 randomly selected proverbs from each cluster on a scale of 1–5. Among all models, OpenAI’s “text-embedding-3-large” achieved the highest average score of 3.90, and thus the three-cluster structure was adopted as the final configuration.

Keywords

• Natural Language Processing
• Turkish
• Proverb
• Idiom
• Transformer Language Models
• Large Language Models
• Clustering

References

1. Abjalova, M. ve Sharipova, S., Semantic and grammatical issues in translating idioms with automatic translation systems, 2024 9th International Conference on Computer Science and Engineering (UBMK) içinde, 2024, ss. 58-63.
2. Ang, X. ve Ou, L., Realization of retrieval based on Tibetan proverbs database, 2022 IEEE Asia-Pacific Conference on Image Processing, Electronics and Computers (IPEC) içinde, 2022, ss. 749-752.
3. Clark, K., Luong, M.-T., Le, Q. V. ve Manning, C. D., ELECTRA: Pre-training text encoders as discriminators rather than generators, arXiv ön baskı arXiv:2003.10555, 2020.
4. DeepSeek-AI vd. (2025). DeepSeek-R1: Incentivizing reasoning capability in LLMs via reinforcement learning. arXiv ön baskı arXiv:2501.12948.
5. Devlin, J., Chang, M.-W., Lee, K. ve Toutanova, K., BERT: Pre-training of deep bidirectional transformers for language understanding, arXiv ön baskı arXiv:1810.04805, 2018.
6. Erdağı, E., Use of natural language processing methods in teaching Turkish proverbs and idioms, International Journal of Advanced Computer Science and Applications, 15(7), 2024, ss. 1056-1063.
7. Gamage, G., De Silva, D., Adikari, A. ve Alahakoon, D., A BERT-based idiom detection model, 2022 15th International Conference on Human System Interaction (HSI) içinde, 2022, ss. 20-22.
8. Hakkarainen, S. ve Engelbrecht, K., Automatic idiomatic expression detection: Comparison between GPT-4 and Gemini Pro prompt engineering & LSTM-RNN construction, Yüksek lisans tezi, University of Jeddah, 2024.

9. Himdi, H., Arabic idioms detection by utilizing deep learning and transformer-based models, Procedia Computer Science, 244, 2024, ss. 37-48.
10. Koşaner, Ö. ve Eroğlu, H., An idiom based approach to sentiment analysis, International Journal of Creative Research Thoughts, 12(6), 2024, ss. 464-471.
11. Lan, Z., Chen, M., Goodman, S., Gimpel, K., Sharma, P. ve Soricut, R., ALBERT: A lite BERT for self-supervised learning of language representations, arXiv ön baskı arXiv:1909.11942, 2019.
12. Liu, C. C., Koto, F., Baldwin, T. ve Gurevych, I., Are multilingual LLMs culturally-diverse reasoners? An investigation into multicultural proverbs and sayings, arXiv ön baskı arXiv:2309.08591, 2024.
13. Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L. ve Stoyanov, V., RoBERTa: A robustly optimized BERT pretraining approach, arXiv ön baskı arXiv:1907.11692, 2019.
14. Sanh, V., Debut, L., Chaumond, J. ve Wolf, T., DistilBERT, a distilled version of BERT: Smaller, faster, cheaper and lighter, arXiv ön baskı arXiv:1910.01108, 2019.
15. Sujatha, R. ve Nimala, K., Enhancing idiom classification on text-based conversational data, 2023 First International Conference on Advances in Electrical, Electronics and Computational Intelligence (ICAEECI) içinde, 2023, ss. 1-6.
16. Tahayna, B. M. A., Ayyasamy, R. K. ve Akbar, R., Automatic sentiment annotation of idiomatic expressions for sentiment analysis task, IEEE Access, 10, 2022, ss. 122234-122242.
17. Tan, M. (2022). Chinese idiom understanding with transformer-based pretrained language models (Doktora tezi). Singapore Management University.
18. Wang, M., Pham, V.-T., Moghimifar, F. ve Vu, T.-T. (2025). Proverbs run in pairs: Evaluating proverb translation capability of large language model. arXiv ön baskı arXiv:2501.11953.
19. Xue, L., Constant, N., Roberts, A., Kale, M., Al-Rfou, R., Siddhant, A., Barua, A. ve Raffel, C., mT5: A massively multilingual pre-trained text-to-text transformer, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2021, ss. 483-498.