Yüksek Mahkeme Kararlarının Sınıflandırılması için Veri Dengeleme ve Açıklanabilir Yapay Zekâ Tabanlı Karar Destek Sistemi

Öz

Yapay zekâ (YZ) teknikleri hukuk alanında büyük bir potansiyele sahiptir. Hukukta yazılı metinler ağırlıklı olarak kullanıldığından, yapay zekâ tekniklerinin kullanımı hukuki metinlerin hızlı ve etkin bir şekilde işlenmesini sağlayarak karar verme süreçlerine yardımcı olabilir. Bunun yanında, yapay zekâ teknikleri hukuki süreçlerin iyileştirilmesinde ve davaların olası sonuçlarını tahmin etmede de kullanılabilir. Bu çalışmada, adli ve idari yargıdaki iki Yüksek Mahkeme olan Yargıtay ve Danıştay’ın kararları ele alınmıştır ve yapay zekâ tabanlı bir karar destek sistemi geliştirilmesi amaçlanmıştır. Yargıtay ve Danıştay kararları; hukuki birliğin sağlanması, bireylerin hak ve özgürlüklerinin korunması ve adaletin sağlanması açısından büyük önem taşımaktadır. Bu kapsamda, Ulusal Yargı Ağı Projesindeki Mevzuat ve İçtihat programından alınan her iki Yüksek Mahkemeye ait karar metinleri kullanılmış olup bu kararların %11’i onama, %89’u ise bozma kararıdır. Bu nedenle, ele alınan problem, dengesiz sınıflandırma problemi olarak tanımlanmıştır. Öncelikle veri ön işleme ve doğal dil işleme (NLP) teknikleri kullanılarak karar metinlerinden öznitelikler çıkarılmıştır. Sonrasında, verideki dengesizliği gidermek amacıyla üst örnekleme yöntemlerinden Sentetik Azınlık Aşırı Örnekleme Tekniği (SMOTE) ve rastgele alt örnekleme uygulanmıştır. Son olarak, mahkeme kararlarının tahmin edilmesi amacıyla k-en yakın komşuluk, karar ağacı, destek vektör makinesi, rassal orman, LightGBM, XGBoost ve yapay sinir ağları ile sınıflandırma modelleri geliştirilerek modellerin performansları karşılaştırılmıştır. Elde edilen deneysel sonuçlar, önerilen karar destek sisteminin hukuk profesyonellerine fayda sağlama potansiyeli olduğunu göstermektedir.

Anahtar Kelimeler

• Yapay Zekâ
• Doğal Dil İşleme
• Karar Destek Sistemi
• Hukuk
• Dengesiz Sınıflandırma

Destekleyen Kurum

Bu çalışma, TÜBİTAK tarafından desteklenmiştir (Proje No: 22AG001).

Proje Numarası

22AG001

Teşekkür

Yazarlar ayrıca çalışmaya katkılarından dolayı Dr. Öğretim Üyesi Emine Gökçe KARABEL’e teşekkür ederler.

Data Balancing and Explainable Artificial Intelligence-Based Decision Support System for the Classification of Supreme Court Decisions

Öz

Artificial intelligence (AI) techniques have great potential in the field of law. Since written texts are mainly used in law, the use of AI techniques can assist decision-making processes by ensuring fast and effective processing of legal texts. In addition, AI techniques can also be used to improve the legal processes and predict the possible outcomes of the cases. In this study, the decisions made by the Court of Cassation and the Council of State, two Supreme Courts in the judicial and administrative judiciary, are considered, and it is aimed to develop an AI-based decision support system. The decisions of the Court of Cassation and the Council of State are crucial for ensuring legal unity, protecting the rights and freedoms of individuals and providing justice. In this context, the decisions of both Supreme Courts taken from the Legislation and Jurisprudence program of the National Judicial Network Project were used, and 11% of these decisions were approvals and 89% were reversals. Therefore, the problem considered is defined as an imbalanced classification problem. First, features were extracted from decision texts using data preprocessing and natural language processing (NLP) techniques. Then, Synthetic Minority Oversampling Technique (SMOTE) and random undersampling were applied to eliminate the imbalance in the data. Finally, in order to predict the court decisions, classification models with k-nearest neighbors, decision tree, support vector machine, random forest, LightGBM, XGBoost and artificial neural networks were developed, and the performances of the models were compared. The experimental results showed that the proposed decision support system has the potential to benefit legal professionals.

Anahtar Kelimeler

• Artificial Intelligence
• Natural Language Processing
• Decision Support System
• Law
• Imbalanced Classification

Destekleyen Kurum

This study was supported by TÜBİTAK (Project No: 22AG001).

Proje Numarası

22AG001

Teşekkür

The authors also thank Assistant Professor Dr. Emine Gökçe KARABEL for her contributions to the study.

Kaynakça

1. Arslan A, Talaş U, Çubukçu B. “LAWNAV: yapay zekâ destekli hukuk danışmanı yönlendirme uygulaması”. 10. International European Conference on Interdisciplinary Scientific Research, pp. 177–185, Zürich, Switzerland, 2024.
2. Turan T, Kucuksille EU, Kemaloğlu Alagöz N. “Prediction of Turkish Constitutional Court decisions with explainable artificial intelligence”. Bilge International Journal of Science and Technology Research, 7(1), 2023.
3. Görentaş MB, Uçkan T, Bayram Arlı N. “Uyuşmazlık Mahkemesi Kararlarının Makine Öğrenmesi Yöntemleri ile Sınıflandırılması”. Yüzüncü Yıl Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 28(3), 947-961, 2023.
4. Görentaş MB, Uçkan T. “Makine Öğrenmesi Yöntemleri Kullanılarak Mahkeme Kararlarının Kümelenmesi”. Computer Science, 8(2), 148-158, 2023.
5. Karabel EG, Aydemir D. “Medeni Usul Hukukunda Yargılamanın Hızlandırılması ve Adalete Erişim Hakkı Bakımından Çevrimiçi Yargılama ve Yapay Zekanın Kullanımı”. Marmara Üniversitesi Hukuk Fakültesi Hukuk Araştırmaları Dergisi, 29(1), 530-573, 2023.
6. Mumcuoğlu E, Öztürk CE, Ozaktas HM, Koç A. “Natural language processing in law: Prediction of outcomes in the higher courts of Turkey”. Information Processing & Management, 58(5), 102684, 2021.
7. Almuzaini HA, Azmi AM. “TaSbeeb: A judicial decision support system based on deep learning framework”. Journal of King Saud University Computer and Information Sciences, 35(8), 101695, 2023.
8. Anh DH, Do DT, Tran V, Minh NL. “The impact of large language modeling on natural language processing in legal texts: A comprehensive survey”. 15th International Conference on Knowledge and Systems Engineering (KSE), Hanoi, Vietnam, 1–7, 2023.

9. de Arriba-Pérez F, García-Méndez S, González-Castaño FJ, González-González J. “Explainable Machine Learning Multi-label Classification of Spanish Legal Judgements”. Journal of King Saud University - Computer and Information Sciences, 34(10B), 10180-10192, 2022.
10. Aletras N, Tsarapatsanis D, Preoţiuc-Pietro D, Lampos V. “Predicting judicial decisions of the European Court of Human Rights: A natural language processing perspective”. PeerJ Computer Science, 2, e93, 2016.
11. Budaya IGBA, Suniantara IKP. “Comparison of sentiment analysis algorithms with SMOTE oversampling and TF-IDF implementation on Google Reviews for public health centers”. MALCOM: Indonesian Journal of Machine Learning and Computer Science, 4(3), 1077–1086, 2024.
12. Khan MH, Towhid NA, Faruk KO, Mahmud JA, Mridha MF. “Strategies for enhancing the performance of news article classification in Bangla: Handling imbalance and interpretation”. Engineering Applications of Artificial Intelligence, 125, 106688, 2023.
13. Rupapara V, Rustam F, Shahzad HF, Mehmood A, Ashraf I, Choi GS. “Impact of SMOTE on imbalanced text features for toxic comments classification using RVVC model”. IEEE Access, 9, 78621–78633, 2021.
14. Kocak S, İç YT, Sert M, Dengiz B. “Ar-Ge projelerinin sınıflandırılması için doğal Türkçe dil işleme tabanlı yöntem”. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 38(3), 1375–1388, 2023.
15. Toğaçar M, Eşidir KA, Ergen B. “Yapay zekâ tabanlı doğal dil işleme yaklaşımını kullanarak internet ortamında yayınlanmış sahte haberlerin tespiti”. Journal of Intelligent Systems: Theory and Applications, 5(1), 1–8, 2022.
16. Sevli O, Kemaloğlu Alagöz N. “Olağandışı olaylar hakkındaki tweet’lerin gerçek ve gerçek dışı olarak Google BERT modeli ile sınıflandırılması”. Veri Bilimi Dergisi, 4(1), 31–37, 2021.
17. Öztürk A, Durak Ü, Badıllı F. “Twitter verilerinden doğal dil işleme ve makine öğrenmesi ile hastalık tespiti”. KONJES, 8(4), 839–852, 2020.
18. Adalet Bakanlığı. “UYAP Mevzuat ve İçtihat Programı” https://mevzuat.adalet.gov.tr/ (11.07.2024)
19. Kim SW, Gil JM. “Research paper classification systems based on TF-IDF and LDA schemes”. Human-centric Computing and Information Sciences, 9(1), 30, 2019.
20. Chawla NV, Bowyer KW, Hall LO, Kegelmeyer WP. “SMOTE: Synthetic Minority Over-sampling Technique”. Journal of Artificial Intelligence Research, 16, 321-357, 2002.
21. Chawla NV. “Data Mining for Imbalanced Datasets: An Overview”. In: Maimon O, Rokach L (eds) Data Mining and Knowledge Discovery Handbook. Springer, Boston, MA, 2005.
22. Taunk K, De S, Verma S, Swetapadma A. “A brief review of nearest neighbor algorithm for learning and classification”. 2019 International Conference on Intelligent Computing and Control Systems (ICCS), pp. 1255–1260, Madurai, India, 2019.
23. Fürnkranz J. “Decision Tree”. In: Sammut C, Webb GI (eds) Encyclopedia of Machine Learning. Springer, Boston, MA, 2011.
24. Cervantes J, Garcia-Lamont F, Rodríguez-Mazahua L, Lopez A. “A comprehensive survey on support vector machine classification: Applications, challenges and trends”. Neurocomputing, 408, 189–215, 2020.
25. Liu Y, Wang Y, Zhang J. “New machine learning algorithm: Random forest”. In: Liu B, Ma M, Chang J (eds) Information computing and applications. ICICA 2012. Lecture Notes in Computer Science, Vol. 7473, Springer, Berlin, Heidelberg, 2012.
26. Microsoft Corporation “LightGBM Dokümantasyonu” https://lightgbm.readthedocs.io/ (26.06.2024)
27. Ke G, Meng Q, Finley T, Wang T, Chen W, Ma W, Ye Q, Liu T-Y. “LightGBM: A highly efficient gradient boosting decision tree”. Advances in Neural Information Processing Systems, 30, 3146–3154, 2017.
28. Chen T, Guestrin C. “XGBoost: A scalable tree boosting system”. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 785–794, Association for Computing Machinery, 2016.
29. XGBoost Geliştiricileri, “XGBoost Dökümantasyonu” https://xgboost.readthedocs.io/ (10.07.2024)
30. Abraham A. “Artificial Neural Networks”. In: Sydenham PH, Thorn R (eds) Handbook of Measuring System Design, 2005.
31. Yang GR, Wang X-J. “Artificial neural networks for neuroscientists: A primer”. Neuron, 107(6), 1013–1032, 2020.
32. Ribeiro MT, Singh S, Guestrin C. “Why Should I Trust You?” Explaining the Predictions of Any Classifier. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 1135–1144, ACM, 2016.
33. García V, Mollineda RA, Sánchez JS. “Index of balanced accuracy: A performance measure for skewed class distributions”. In: Araujo H, Mendonça AM, Pinho AJ, Torres MI (eds) Pattern recognition and image analysis. IbPRIA 2009. Lecture Notes in Computer Science, Vol. 5524, Springer, Berlin, Heidelberg, 2009.
34. He H, Garcia EA. “Learning from imbalanced data”. IEEE Transactions on Knowledge and Data Engineering, 21(9), 1263–1284, 2009.
35. Kotsiantis S, Kanellopoulos D, Pintelas P. “Handling imbalanced datasets: A review”. GESTS International Transactions on Computer Science and Engineering, 30(1), 25–36, 2006.