Classification of Precedent Decisions in Türkiye with Machine Learning Algorithms

Abstract

In recent years, rapid advancements in artificial intelligence (AI), big data, and data analytics have reduced workload and operational intensity across many industries. However, there has been no significant breakthrough indicating that AI has revolutionized the legal field in a globally impactful way. This suggests that while AI has made some progress in the legal sector, it still holds great potential for further development. In this study, an analysis of precedent decisions in Turkey was conducted. The dataset, obtained from the UYAP system, was categorized into Text and Judgment. The study focused on the three most frequently occurring judgments: Rejection, Acceptance, and Return. Natural Language Processing (NLP) techniques and machine learning algorithms (such as Gradient Boosting, Artificial Neural Networks, and Decision Trees) were employed for training and prediction tasks. The results were evaluated using performance metrics (such as Accuracy and F1-score), and it was observed that the Gradient Boosting algorithm achieved the highest accuracy rate of 83%. To further assess our model’s performance in different classification scenarios, we focused on binary classification tasks and divided our dataset into three different binary sets: "ACCEPTANCE-REJECTION," "REJECTION-RETURN," and "ACCEPTANCE-RETURN." This approach allowed us to examine how effectively the model could distinguish between different legal decisions. The results were evaluated using relevant performance metrics, and the Gradient Boosting algorithm once again achieved the highest accuracy rate of 87%. Similar algorithms also yielded successful results in binary classification scenarios.This study not only highlights the potential of artificial intelligence in the legal field but also contributes significantly to the systematic analysis of precedent decisions and the enhancement of data-driven decision-making processes within the legal sector

Keywords

• Artificial Intelligence
• Natural Language Processing
• Machine Learning
• Precedent Decisions
• Gradient Boosting

Türkiye'de Emsal Kararların Makine Öğrenmesi Algoritmaları ile Sınıflandırılması

Abstract

Son yıllarda yapay zeka (YZ), büyük veri ve veri analitiği gibi alanlardaki hızlı gelişmeler, birçok sektörde çalışma temposunu ve iş yoğunluğunu azaltmıştır. Ancak hukuk alanında YZ'nin bilindik ve dünyaya yankı uyandıran bir dönüşüm yarattığına dair kayda değer bir gelişme yaşanmamıştır. Bu durum, YZ’nin hukuk alanında belirli bir ilerleme kaydetmiş olsa da daha büyük bir potansiyele sahip olduğunu ve gelişmeye açık bir alan sunduğunu göstermektedir. Bu çalışmada, Türkiye’deki emsal kararlar üzerine bir analiz gerçekleştirilmiştir. Çalışma kapsamında, UYAP sistemi üzerinden indirilen veri setleri Metin ve Hüküm olarak sınıflandırılmıştır. Hükümler arasından en sık tekrar eden üç hüküm olan Reddi, Kabulü ve İadesi üzerinde yoğunlaşılmıştır. Doğal dil işleme (Natural Language Processing) adımları ve makine öğrenimi algoritmaları (Gradient Boosting, Yapay Sinir Ağları, Karar Ağaçları vb.) kullanılarak eğitim ve tahmin işlemleri gerçekleştirilmiştir. Elde edilen sonuçlar, belirli başarı metrikleri (Accuracy, F1 skoru vb.) ile değerlendirilmiş ve Gradient Boosting algoritmasının %83 doğruluk oranı ile en başarılı sonuçları verdiği gözlemlenmiştir. Çalışmamızın devamında, modelimizin farklı sınıflandırma senaryolarındaki performansını değerlendirmek amacıyla, ikili sınıflandırma görevlerine odaklandık ve veri setimizi "KABULÜ-REDDİ", "REDDİ-İADESİ" ve "KABULÜ-İADESİ" şeklinde üç farklı iki sınıflı veri setine ayırdık. Böylece modelimizin farklı kararlar arasındaki ayrımı ne kadar başarılı yapabildiğini inceledik. Elde edilen sonuçlar, belirli başarı metrikleri (Accuracy, F1 skoru) ile değerlendirilmiş ve Gradient Boosting algoritmasının %87 doğruluk oranı ile en başarılı sonuçları verdiği gözlemlenmiştir. İkili sınıflandırma senaryolarında da benzer algoritmalarla başarılı sonuçlar elde edilmiştir. Bu çalışma, yapay zekanın hukuk alanındaki potansiyelini ortaya koymakla kalmayıp, emsal kararların sistematik olarak analiz edilmesine ve hukuk dünyasında veriye dayalı karar alma süreçlerinin geliştirilmesine önemli bir katkı sunmaktadır.

Keywords

• Yapay Zeka
• Doğal Dil İşleme
• Makine Öğrenimi
• Emsal Kararlar
• Gradient Boosting

References

1. [1] B. Kılıç and Y. Öner, "Yargıtay Kararlarının Suç Türlerine Göre Makine Öğrenmesi Yöntemleri İle Sınıflandırılması," Veri Bilim Dergisi, vol. 4, no. 3, pp. 61-71, 2021, doi: 10.51203/veri.1011206.
2. [2] E. Mohammed, E. Mustapha, and A. Mourad, "Using Machine Learning to Predict Public Prosecution Judges Decisions in Moroccan Courts," Procedia Computer Science, vol. 220, pp. 998-1002, 2023, doi: 10.1016/j.procs.2023.08.199.
3. [3] J. Morison and T. McInerney, "When should a computer decide? Judicial decision-making in the age of automation, algorithms and generative artificial intelligence," 2024. [Online]. Available: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4723280
4. [4] A. Lage-Freitas et al., "Predicting Brazilian Court Decisions," PeerJ Computer Science, vol. 8, e904, 2022, doi:10.7717/peerj-cs.904.
5. [5] R. Sil, A. Alpana, and A. Roy, "Machine Learning Approach for Automated Legal Text Classification," International Journal of Computer Information Systems and Industrial Management Applications, vol. 13, no. 1, pp. 242-251, 2021.
6. [6] K. Javed and J. Li, "Artificial intelligence in judicial adjudication: Semantic biasness classification and identification in legal judgement (SBCILJ)," PLoS One, vol. 19, no. 5, e0301841, 2024, doi: 10.1371/journal.pone.0301841.
7. [7] N. A. K. Rosili, N. H. Zakaria, R. Hassan, S. Kasim, F. Z. Che Rose, and T. Sutikno, "A systematic literature review of machine learning methods in predicting court decisions," IAES International Journal of Artificial Intelligence, vol. 9, no. 4, pp. 638-651, 2020, doi: 10.11591/ijai. v9. i4. pp638-651.
8. [8] K. Lockard, R. Slater, and B. Sucrese, "Using NLP to model U.S. Supreme Court Cases," SMU Data Science Review, vol. 7, no. 1, Article 4, 2023. [Online]. Available: https://scholar.smu.edu/datasciencereview/vol7/iss1/4

9. [9] D. Küçük and F. Can, "Hukuki metinlerin otomatik işlenmesinde yapay zekâ teknolojilerinin kullanımı," Bilişim Hukuku Dergisi, vol. 2024, no. 1, pp. 29-53, 2024, doi: 10.59752/bhd.1451000.
10. [10] M. Medvedeva, M. Vols, and M. Wieling, "Using machine learning to predict decisions of the European Court of Human Rights," Artificial Intelligence and Law, vol. 28, no. 3, pp. 237-266, 2020, doi: 10.1007/s10506-019-09255-y.
11. [11] S. Abbara et al., "ALJP: An Arabic legal judgment prediction in personal status cases using machine learning models," arXiv preprint arXiv:2309.00238, 2023.
12. [12] D. Alghazzawi et al., "Efficient Prediction of Court Judgments Using an LSTM+CNN Neural Network Model with an Optimal Feature Set," Mathematics, vol. 10, no. 5, 683, 2022, doi: 10.3390/math10050683.
13. [13] T. Turan, E. U. Küçüksille, and N. K. Alagöz, "Prediction of Turkish Constitutional Court Decisions with Explainable Artificial Intelligence," Bilge International Journal of Science and Technology Research, vol. 7, no. 2, pp. 128–141, 2023, doi: 10.30516/bilgesci.1317525.
14. [14] R. Sil, A. Alpana, and A. Roy, "Machine Learning Approach for Automated Legal Text Classification," International Journal of Computer Information Systems and Industrial Management Applications, vol. 13, no. 1, pp. 242-251, 2021.
15. [15] Y. Wen and P. Ti, "A Study of Legal Judgment Prediction Based on Deep Learning Multi-Fusion Models—Data from China," SAGE Open, vol. 14, no. 2, pp. 1-10, 2024, doi: 10.1177/21582440241257682.
16. [16] M. B. Görentaş, T. Uçkan, and N. B. Arlı, "Classification of Decisions of the Court of Jurisdictional Disputes of Türkiye Using Machine Learning Methods," Yüzüncü Yıl Üniversitesi Fen Bilimleri Enstitüsü Dergisi, vol. 28, no. 3, pp. 947-961, 2023, doi: 10.53433/yyufbed.1292275.
17. [17] N. Aletras, D. Tsarapatsanis, D. Preoţiuc-Pietro, and V. Lampos, "Predicting judicial decisions of the European Court of Human Rights: a natural language processing perspective," PeerJ Computer Science, vol. 2, e93, 2016, doi: 10.7717/peerj-cs.93.
18. [18] M. Bilgin, "Kelime Vektörü Yöntemlerinin Model Oluşturma Sürelerinin Karşılaştırılması," Gazi Üniversitesi Bilimsel Teknik Dergisi, vol. 29, no. 4, pp. 695–705, Apr. 2019, doi: 10.17671/gazibtd.472226.
19. [19] E. Mumcuoğlu, C. E. Öztürk, H. M. Ozaktas, and A. Koç, "Natural language processing in law: Prediction of outcomes in the higher courts of Turkey," Information Processing and Management, vol. 58, no. 6, 102684, 2021, doi: 10.1016/j.ipm.2021.102684.
20. [20] T. Uçkan and K. Karabulut, "The Effectiveness of Machine Learning Algorithms in Extractive Text Summarization: A Comparative Analysis of K-Means, Random Forest, GBM, Logistic Regression, and SVM," Dicle Üniversitesi Mühendislik Fakültesi Dergisi, vol. 7, no. 2, pp. 77–91, 2024, doi: 10.57244/dfbd.1538959.
21. [21] J. Cui, X. Shen, and S. Wen, "A Survey on Legal Judgment Prediction: Datasets, Metrics, Models and Challenges," IEEE Access, vol. 11, pp. 111598-111626, 2023, doi: 10.1109/ACCESS.2023.3317083.
22. [22] I. Habernal et al., "Mining legal arguments in court decisions," Artificial Intelligence and Law, 2023, doi:10.1007/s10506-023-09936-8.
23. [23] Kınık, D., & Güran, A. (2021). TF-IDF and Doc2Vec Based Turkish Text Classification System Performance Enhancement with Sequential Word Group Detection. European Journal of Science and Technology (21), 323-332. https://doi.org/10.31590/ejosat.774144
24. [24] Harman, G. (2021). Diabetes Mellitus Prediction Using Support Vector Machines and Naive Bayes Classification Algorithms. European Journal of Science and Technology, (32), 7-13. DOI: 10.31590/ejosat.1041186
25. [25] Parmar, A., Katariya, R., and Patel, V. (2018). A Review on Random Forest: An Ensemble Classifier. In International Conference on Intelligent Data Communication Technologies and Internet of Things, pp. 758-763. Cham: Springer.
26. [26] Çokluk, Ö. (2010). Logistic Regression Analysis: Concept and Application. Educational Sciences: Theory & Practice, 10(3), 1357-1407.
27. [27] Natekin, A., & Knoll, A. (2013). Gradient Boosting Machines: A Tutorial. Frontiers in Neurorobotics, 7, 21.
28. [28] Rothman, D. (2021). Transformers for Natural Language Processing: Build Innovative Deep Neural Network Architectures for NLP with Python, PyTorch, TensorFlow, BERT, RoBERTa, and More. Packt Publishing Ltd. Bert