Türkçe ceza hukuku metinlerinde suç türü sınıflandırması için klasik, BERT tabanlı ve GPT-5 modelleri

Öz

Arka Plan—Hukuk alanında yapay zekanın hem mevcut kurumlara entegre edilen destekleyici sistemler hem de tamamen yeni nesil hukuk teknolojisi girişimleri şeklinde geliştiği, ancak Türkiye özelinde hukuk teknolojileri alanındaki çalışmaların dünya literatürüne kıyasla oldukça sınırlı olduğu görülmektedir. Bu sınırlılık, Türkçe’nin eklemeli yapısının doğal dil işleme uygulamaları için karmaşık dilbilimsel zorluklar oluşturmasıyla ilişkilendirilmektedir. Suç türü sınıflandırması hem hukuki araştırma süreçlerini hızlandırmak hem de benzer davaların tespitini kolaylaştırmak açısından önemli bir rol oynamaktadır.

Amaç—Bu çalışmanın amacı, açık kaynaklı Türkçe ceza davası karar metinlerini kullanarak klasik makine öğrenmesi, derin öğrenme ve GPT-5 modellerinin Türkçe hukuk terminolojisi üzerindeki performanslarını karşılaştırmalı olarak analiz etmek, otomatik metin sınıflandırması için modellerin potansiyelini değerlendirmektir. Ayrıca analizler sonucunda en yüksek başarımı gösteren modeller kullanılarak gerçek zamanlı bir sınıflandırma sistemi geliştirip sistemin uygulanabilirliği test etmektir.

Yöntem—Web kazıma kullanılarak Ceza Dairesi karar metinlerinden oluşan ve yedi farklı suç türünü içeren bir veri seti oluşturulmuştur. Veri seti oluşturulurken ilk olarak ilgili web sitesinden elde edilen metinler incelenmiş ve yalnızca suç türü bilgisi içeren metinler filtrelenmiştir. Ardından, suç türleri belirlenerek metinler etiketlenmiştir. Anlamsal olarak benzer olan sınıflar birleştirilmiştir. Son aşamada etiketli veri seti temizlenmiş, metinlerin içerisinde yer alan etiket bilgileri çıkarılmış ve çok kısa olan metinler veri setinden kaldırılmıştır. Veri kümesi, farklı yaklaşımlarla değerlendirilmiştir: TFIDF + Naive Bayes, TFIDF + Logistic Regression, TFIDF + SVM, FastText + SVM, FastText + BiLSTM, BERT, RoBERTa, DistilBERT, GPT-5.2 ve GPT-5.4. Model performansları, doğruluk ve F1-skor ölçütleri kullanılarak karşılaştırılmıştır. Elde edilen sonuçlara göre en yüksek doğruluğu sağlayan TFIDF + SVM modeli ile üretken yapay zekâ tabanlı GPT-5.4 modeli, eğitim veri kümesinde yer almayan veriler üzerinde gerçek zamanlı olarak test edilmiştir.

Bulgular—Geleneksel makine öğrenmesi yöntemlerinden TFIDF + SVM, %95.71 F1 skoru ile en yüksek performansı elde etmiştir. Hukuki karar metinlerinin, suç türünü doğrudan belirleyen güçlü anahtar kelimeler içermesi nedeniyle, kelime frekansına odaklanan TFIDF + SVM yapısı, karmaşık anlamsal bağlamlara odaklanan derin öğrenme modellerine kıyasla daha ayırt edici sonuçlar vermiştir. Gerçek zamanlı test aşamasında; eğitilmiş TFIDF + SVM modeli ile az örnekli öğrenme yaklaşımı kullanılan GPT-5.4 modeli karşılaştırılmıştır. Her iki yöntem de eğitim veri kümesinde yer almayan örnek vakalar üzerinde %85.71 doğruluk oranı sağlayarak birbirine yakın bir performans potansiyeli sergilemiştir. Ancak TFIDF + SVM milisaniyeler içinde yanıt üretirken, GPT-5.4’ün yanıt süresinin daha uzun olması ve API maliyetleri, gerçek zamanlı büyük ölçekli uygulamalar açısından önemli farklılık olarak öne çıkmıştır.

Sonuç—Yapay öğrenme modelleri kullanılarak yapılan sınıflandırmalarda TFIDF + SVM yönteminin Türk dava karar metinlerindeki suç türlerini sınıflandırmada etkili olduğu gözlemlenmiştir. Bu yöntem, yapay zekâ destekli hukuk sistemlerinde karar destek mekanizmalarına entegre edilebilir. Gelecekteki çalışmalar, Türk hukuk dava metinlerini kullanarak daha büyük veri setleri üzerinden daha geniş suç türlerini kapsayan sınıflandırma yaklaşımları araştırılabilir.

Anahtar Kelimeler

• BERT
• Türkçe hukuk NLP
• Metin sınıflandırma
• Büyük dil modelleri
• Gerçek zamanlı performans analizi
• GPT-5.2
• GPT-5.4

Classical, BERT-based, and GPT-5 models for crime type classification in Turkish criminal law texts

Öz

Context—Artificial intelligence in the legal domain has been evolving both as supportive systems integrated into existing institutions and as next-generation legal technology initiatives centered entirely on AI. However, in Türkiye, studies in the field of legal technologies remain quite limited compared to the global literature. This limitation is largely associated with the agglutinative nature of the Turkish language, which poses complex linguistic challenges for natural language processing applications. Crime type classification plays a critical role in accelerating legal research processes and facilitating the identification of similar cases.

Objective—The objective of this study is to comparatively analyze the performance of classical machine learning, deep learning–based and GPT-5 models on Turkish legal terminology using open-source Turkish criminal court decision texts, and to determine the most suitable model for automatic text classification. Additionally, based on the analysis results, a real-time classification system is developed using the model that achieves the highest performance, and the applicability of the system is evaluated.

Method—A dataset consisting of Court of Criminal Chamber decision texts and covering seven different crime types was constructed using web scraping techniques. During dataset creation, the collected texts were first examined and filtered to retain only those containing crime type information. Subsequently, crime types were identified, and the texts were labeled accordingly. Some semantically similar classes were merged. In the final step, the labeled dataset was cleaned by removing embedded label information from the texts and excluding very short documents. The dataset was evaluated using different approaches: TFIDF + Naive Bayes, TFIDF + Logistic Regression, TFIDF + SVM, FastText + SVM, FastText + BiLSTM, BERT, RoBERTa, DistilBERT, GPT-5.2 and GPT-5.4. Model performances were compared using accuracy and F1-score metrics. According to the results, the TFIDF + SVM model and the generative AI–based GPT-5.4 model was tested in real time on data not included in the training dataset.

Results—Among traditional machine learning methods, TFIDF + SVM achieved the highest performance with an F1 score of 95.71%. Since legal court decisions contain strong keywords directly indicating the crime type, the TFIDF + SVM approach, which focuses on word frequency, produced more discriminative results compared to deep learning models that target complex semantic contexts. In the real-time testing phase, the trained TFIDF + SVM model was compared with the few-shot learning-based GPT-5.4 model. Both methods achieved 85.71% accuracy on test samples not included in the training set. However, while TFIDF + SVM generates responses in milliseconds, GPT-5.4 exhibit longer response times and incur API costs.

Conclusion—The findings indicate that the TFIDF + SVM method is effective for classifying crime types in Turkish court decision texts. This approach can be integrated into decision-support mechanisms within AI-assisted legal systems. Future studies may explore classification approaches covering a wider range of crime types using larger datasets derived from Turkish legal case texts.

Anahtar Kelimeler

• BERT
• Turkish legal NLP
• Text classification
• Large language models
• Real-time performance analysis
• GPT-5.2
• GPT-5.4

Kaynakça

1. R. Susskind, Tomorrow’s lawyers: An introduction to your future, 3rd Edition, Oxford, United Kingdom, Oxford University Press, 2023.
2. K. D. Ashley, Artificial intelligence and legal analytics: new tools for law practice in the digital age, Cambridge, United Kingdom, Cambridge University Press, 2017.
3. I. Chalkidis, M. Fergadiotis, P. Malakasiotis, N. Aletras, I. Androutsopoulos, "LEGAL-BERT: The Muppets straight out of Law School", Findings of the Association for Computational Linguistics: EMNLP, 2898-2904, 2020. https://doi.org/10.18653/v1/2020.findings-emnlp.261.
4. Harvey, “Harvey | Generative AI for Professional Services”, https://www.harvey.ai/ (20.12.2025).
5. LexisNexis, “Lexis+AI”, https://www.lexisnexis.com/en-int/ products/lexis-plus-ai (20.12.2025).
6. Thomson Reuters, “Westlaw Edge”, https://legal.thomsonreuters. com/en/products/westlaw-edge (20.12.2025).
7. DoNotPay, “DoNotPay - Your AI Consumer Champion”, https://donotpay.com/ (20.12.2025).
8. ROSS Intelligence, “ROSS Intelligence - Legal Tech Corner”, https://blog.rossintelligence.com/ (20.12.2025).

9. C. Çetindağ, B. Yazıcıoğlu, A. Koç, “Named-entity recognition in Turkish legal texts”, Natural Language Engineering, 29(3), 615-642, 2023. https://doi.org/10.1017/S1351324922000304.
10. O. Akça, “Natural language processings in legal domain: classification of Turkish legal texts”, Yüksek Lisans Tezi, Marmara Üniversitesi Fen Bilimleri Enstitüsü, İstanbul, Türkiye, 2023.
11. E. Mumcuoğlu, C. E. Öztürk, H. M. Ozaktas, A. Koç, “Natural language processing in law: Prediction of outcomes in the higher courts of Turkey”, Information Processing and Management, 58(5), 102684, 2021. https://doi.org/10.1016/j.ipm.2021.102684.
12. O. Akça, G. Bayrak, A. M. Issifu, M. C. Ganiz, “Traditional machine learning and deep learning-based text classification for Turkish law documents using transformers and domain adaptation”, 2022 International Conference on INnovations in Intelligent SysTems and Applications (INISTA), Biarritz, France, 08-12 August 2022. https://doi.org/10.1109/INISTA55318.2022.9894051.
13. M. B. Görentaş, T. Uçkan, “Makine Öğrenmesi Yöntemleri Kullanılarak Mahkeme Kararlarlarının Kümelenmesi”, Journal of Computer Science, 8(2), 148-158, 2023. https://doi.org/10.53070/bbd.1318518.
14. D. Küçük, F. Can, “Exploiting artificial intelligence technologies for automatic processing of legal texts”, Bilişim Hukuku Dergisi, 6(1), 1-23, 2024.
15. M. E. Okursoy, T. İnkaya, “Yüksek Mahkeme Kararlarının Sınıflandırılması için Veri Dengeleme ve Açıklanabilir Yapay Zekâ Tabanlı Karar Destek Sistemi”, Veri Bilimi, 8(1), 11-23, 2025. https://izlik.org/JA57CL35KD.
16. S. K. Demir, E. Aydemir, Y. Sönmez, “Türkiye'de Emsal Kararların Makine Öğrenmesi Algoritmaları ile Sınıflandırılması”, Gazi Üniversitesi Fen Bilimleri Dergisi Part C: Tasarım ve Teknoloji, 13(3), 1227-1239, 2025. https://doi.org/10.29109/gujsc.1668535.
17. B. Kılıç, Y. Öner, “Yargıtay Kararlarının Suç Türlerine Göre Makine Öğrenmesi Yöntemleri İle Sınıflandırılması”, Veri Bilimi, 4(3), 61-71, 2021. https://izlik.org/JA72WJ25EE.
18. F. Ariai, J. Mackenzie, G. Demartini, “Natural language processing for the legal domain: A survey of tasks, datasets, models, and challenges”, ACM Computing Surveys, 58(6), 163, 2025. https://doi.org/10.1145/3777009.
19. B. Abimbola, Q. Tan, E. A. De La Cal Marín, “Sentiment analysis of Canadian maritime case law: a sentiment case law and deep learning approach”, International Journal of Information Technology, 16(6), 3401-3409, 2024. https://doi.org/10.1007/s41870-024-01820-2.
20. É. B. e Santos, I. A. Rodello, “Interpreting Lawsuits Contexts through Probabilistic Topic Modeling”, Revista Eletrônica de Iniciação Científica em Computação, 23(1), 81-90, 2025. https://doi.org/10.5753/reic.2025.5962.
21. D. Singh, “Legal documents text analysis using natural language processing (NLP)”, 2024 2nd International Conference on Self Sustainable Artificial Intelligence Systems (ICSSAS), Erode, India, 23-25 October 2024, 1302-1307. https://doi.org/10.1109/ICSSAS64001.2024.10760929.
22. A. Zadgaonkar, A. J. Agrawal, “An approach for analyzing unstructured text data using topic modeling techniques for efficient information extraction”, New Generation Computing, 42(1), 109-134, 2024. https://doi.org/10.1007/s00354-023-00230-5.
23. D. Trautmann, N. Ostapuk, Q. Grail, A. Pol, G. Bonifazi, S. Gao, M. Gajek, “Measuring the groundedness of legal question-answering systems”, Proceedings of the Natural Legal Language Processing Workshop 2024, Miami, FL, USA, 15 November 2024, 176-186. https://doi.org/10.18653/v1/2024.nllp-1.14.
24. S. Çelik, B. Doğanlı, A. Cengiz, “Citation classification and key phrase extraction in legal texts using machine learning: an examination of the legal text classification dataset“, Quality & Quantity, 60, 6645-6681, 2026. https://doi.org/10.1007/s11135-025-02548-2.
25. T. Turan, E. U. Küçüksille, “Legal text classification in Turkey: A machine learning approach to divorce and zoning decisions”, Uluslararası Mühendislik Tasarım ve Teknoloji Dergisi, 6(2), 53–63, 2024. https://doi.org/10.70669/ijedt.1491511.
26. H. H. Chen, L. Wu, J. P. Chen, W. Lu, J. H. Ding, “A comparative study of automated legal text classification using random forests and deep learning”, Information Processing & Management, 59(2), 102798, 2022. https://doi.org/10.1016/j.ipm.2021.102798.
27. A. A. Khaliq, D. Riva, S. Montanelli, "Evaluating knowledge-based approaches for legal text analysis: A benchmark study", Computer Law & Security Review, 61, 106279, 2026. https://doi.org/10.1016/j.clsr.2026.106279.