Fazla örnekleme ve az örnekleme ile makine öğrenmesi kullanarak akademik başarının tahmin edilmesine yönelik bir sınıflandırma çalışması

Öz

Makine öğrenimi, bir bilgisayarın verileri analiz etmeyi, modeller oluşturmayı ve karar vermeyi öğrenmesine olanak tanıyan bir yapay zekâ alanıdır. Makine öğrenimi, eğitimde önemli bir rol oynamaktadır. Bu araştırmada, Open University Learning Analytics veri seti üzerinde çeşitli makine öğrenimi teknikleri kullanılarak öğrencilerin akademik performanslarını tahmin etmek amacıyla sınıflandırmalar gerçekleştirilmiştir. Çeşitli yöntemlerin başarısı değerlendirilmiş, ayrıca sınıflandırıcıların tahmin başarısını arttırmak için literatürde sıkça görülen SMOTE, KMeansSMOTE, RandomOverSampler, ADASYN, BorderlineSMOTE ve SVMSMOTE fazla örnekleme teknikleri kullanılarak veri arttırma işlemi yapılmıştır. Ayrıca, EditedNearestNeighbours, AllKNN, NearMiss, NeighborhoodCleaningRule, OneSidedSelection, RandomUnderSampler ve TomekLinks az örnekleme teknikleri kullanılarak da veri azaltma işlemi yapılmıştır. Lojistik Regresyon, Linear Diskriminant Analizi, Rastgele Orman, K-en yakın komşu, Karar Ağaçları, Naive Bayes ve Destek Vektör Makineleri olarak yedi farklı makine öğrenme tekniği kullanılmıştır. Yeniden örnekleme olmadan sınıflandırmaya ayrıca altı farklı fazla örnekleme ve yedi farklı az örnekleme tekniği kullanılarak doksan bir sınıflandırma işlemi gerçekleştirilmiştir. Tüm sınıflandırma süreçleri dört farklı performans metriği ile raporlanmıştır. RandomOverSampler fazla örnekleme tekniği kullanılarak Rastgele Orman sınıflandırıcı ile %97, AIIKNN az örnekleme tekniği ile K-en yakın komşu sınıflandırıcıdan %96 doğruluk elde edilmiştir. Veri setinde sınıf dengesini sağlamak amacıyla fazla örnekleme ve az örnekleme yönteminin sınıflandırıcı başarısını arttırdığı görülmüştür.

Anahtar Kelimeler

• Eğitsel veri madenciliği
• makine öğrenimi
• sınıflandırma
• tahmin
• yeniden örnekleme

Kaynakça

1. 1. Crooks, T. J., The impact of classroom evaluation practices on students. Review of Educational Research, 58 (4), 438-481, 1988.
2. 2. Luan, H., Tsai, C.-C., A review of using machine learning approaches for precision education. Educational Technology & Society, 24 (1), 250-266, 2021.
3. 3. Agarwal, S., Data mining: data mining concepts and techniques, 2013 International Conference on Machine Intelligence and Research Advancement, 203-207.
4. 4. Greller, W., Drachsler, H., Translating learning into numbers: a generic framework for learning analytics, Journal of Educational Technology & Society, 15 (3), 42-57, 2012.
5. 5. Ledley, R. S., Using electronic computers in medical diagnosis, IRE Transactions on Medical Electronics, ME-7 (4), 274-280, 1960.
6. 6. Kalıkov, A., Veri madenciliği ve bir e-ticaret uygulaması, Yüksek Lisans Tezi, Gazi Üniversitesi, Fen Bilimleri Enstitüsü, Ankara, 2006.
7. 7. Polat, A., Açık öğretim liseleri öğrencilerinin okul terki ve mezuniyet durumlarının eğitsel veri madenciliği ile incelenmesi, Doktora Tezi, Sakarya Üniversitesi, Eğitim Bilimleri Enstitüsü, Sakarya, 2021.
8. 8. Turing, A., Computing machinery and intelligence. Mind, 49 (236), 433–460, 1950.

9. 9. Alpaydin, E., Introduction to Machine Learning, fourth edition. MIT Press, 2020.
10. 10. Koza, J. R., Bennett, F. H., Andre, D., Keane, M. A., Automated Design of Both the Topology and Sizing of Analog Electrical Circuits Using Genetic Programming, J. S. Gero & F. Sudweeks (Ed.), Artificial Intelligence in Design 96, Springer Netherlands, 1996.
11. 11. Lantz, B., Machine Learning with R: Expert techniques for predictive modeling, Packt Publishing Ltd., 2019.
12. 12. Iatrellis, O., Savvas, I. K., Fitsilis, P., Gerogiannis, V. C., A two-phase machine learning approach for predicting student outcomes, Education and Information Technologies, 26, 69-88, 2021.
13. 13. Çakıt, E., Dağdeviren, M., Predicting the percentage of student placement: A comparative study of machine learning algorithms, Education and Information Technologies, 27 (1), 997-1022, 2022.
14. 14. Erdoğan, Ş., Timor, M., A data mining application in a student database, Havacılık ve Uzay Teknolojileri Dergisi, 2 (2), 53-57, 2005.
15. 15. Vandamme, J.-P., Meskens, N., Superby, J.-F., Predicting academic performance by data mining methods, Education Economics, 15 (4), 405, 2007.
16. 16. Ibrahim, Z., Rusli, D., Predicting students’ academic performance: Comparing artificial neural network, decision tree and linear regression. 21st Annual SAS Malaysia Forum, 5th September, 2007.
17. 17. Karabatak, M., Özellik Seçimi, Sınıflama ve Öngörü Uygulamalarına Yönelik Birliktelik Kuralı Çıkarımı ve Yazılım Geliştirilmesi, Doktora Tezi, Fırat Üniversitesi, Elazığ, 2008.
18. 18. Dekker, G. W., Pechenizkiy, M., Vleeshouwers. J.M., Predicting students drop out: a case study. EDM’09 - Educ. Data Min. 2009 2nd Int. Conf. Educ. Data Min. 41-50, 2009.
19. 19. Bozkır, A. S., Sezer, E., Gök, B., Öğrenci Seçme Sınavında (ÖSS) öğrenci başarımını etkileyen faktörlerin veri madenciliği yöntemleriyle tespiti. 5. Uluslararası İleri Teknolojiler Sempozyumu (IATS’09), 13-15 Mayıs, Karabük Üniversitesi, Karabük, 37-43, 2009.
20. 20. Delen, D., A comparative analysis of machine learning techniques for student retention management. Decision Support Systems, 49 (4), 498-506, 2010.
21. 21. Mishra, T., Kumar, D., Gupta, S., Mining students’ data for prediction performance, 2014 Fourth International Conference on Advanced Computing & Communication Technologies, 255-262, 2014.
22. 22. Sivakumar, S., Venkataraman, S., Selvaraj, R., Predictive modeling of student dropout indicators in educational data mining using improved decision tree, Indian Journal of Science and Technology, 9 (4), 1-5, 2016.
23. 23. Schatzel, K., Callahan, T., Scott, C. J., Davis, T., Reaching the non-traditional stopout population: A segmentation approach, Journal of Marketing for Higher Education, 21 (1), 47-60, 2011.
24. 24. Şen, B., Uçar, E., Delen, D. Predicting and analyzing secondary education placement-test scores: A data mining approach. Expert Systems with Applications, 39 (10), 9468-9476, 2012.
25. 25. Djulovic, A., Li, D., Towards freshman retention prediction: A comparative study, International Journal of Information and Education Technology, 3 (5), 494-500, 2013.
26. 26. Iam-On, N., Boongoen, T., Generating descriptive model for student dropout: A review of clustering approach. Human-centric Computing and Information Sciences, 7 (1), 1-24, 2017.
27. 27. Chung, J. Y., Lee, S., Dropout early warning systems for high school students using machine learning, Children and Youth Services Review, 96, 346-353, 2019.
28. 28. Trakunphutthirak, R., Lee, V. C., Application of educational data mining approach for student academic performance prediction using progressive temporal data, Journal of Educational Computing Research, 60 (3), 742-776, 2022.
29. 29. Orji, F. A., Vassileva, J., Predicting the Persuasiveness of Influence Strategies From Student Online Learning Behaviour Using Machine Learning Methods, Journal of Educational Computing Research, 2023.
30. 30. Genç, Ş., Surer, E., ClickbaitTR: Dataset for clickbait detection from Turkish news sites and social media with a comparative analysis via machine learning algorithms, Journal of Information Science, 49 (2), 480-499, 2023.
31. 31. Al-Emran, M., Al-Nuaimi, M. N., Arpaci, I., Al-Sharafi, M. A., Anthony Jnr, B., Towards a wearable education: Understanding the determinants affecting students’ adoption of wearable technologies using machine learning algorithms, Education and Information Technologies, 28 (3), 2727-2746, 2023.
32. 32. Hussain, S., Khan, M. Q., Student-performulator: Predicting students’ academic performance at secondary and intermediate level using machine learning, Annals of data science, 10 (3), 637-655, 2023.
33. 33. José-García, A., Sneyd, A., Melro, A., Ollagnier, A., Tarling, G., Zhang, H., ..., Arthur, R., C3-IoC: A career guidance system for assessing student skills using machine learning and network visualisation, International Journal of Artificial Intelligence in Education, 33 (4), 1092-1119, 2023.
34. 34. Students Adaptability Level in Online Education. https://www.kaggle.com/datasets/rocki37/open-university-learning-analytics-dataset. Erişim tarihi Mart 01, 2023.
35. 35. Kilinç, D., Borandağ, E., Yücalar, F., Tunali, V., Şi̇mşek, M., Özçi̇ft, A., KNN Algoritması ve R Dili ile Metin Madenciliği Kullanılarak Bilimsel Makale Tasnifi, Marmara Fen Bilimleri Dergisi, 28 (3), Article 3, 2016.
36. 36. Dimitoglou, G., Adams, J. A., Jim, C. M., Comparison of the C4. 5 and a Naïve Bayes classifier for the prediction of lung cancer survivability, arXiv preprint arXiv:1206.1121, 2012.
37. 37. Liang, Y.C., Maimury, Y., Chen, A. H.L., Juarez, J. R. C., Machine learning-based prediction of air quality, Applied Sciences, 10 (24), Article 24, 2020.
38. 38. Chawla, N. V., Bowyer, K. W., Hall, L. O., Kegelmeyer, W. P., SMOTE: synthetic minority over-sampling technique, Journal of artificial intelligence research, 16, 321-357, 2002.
39. 39. Douzas, G., Bacao, F., Last, F., Improving imbalanced learning through a heuristic oversampling method based on k-means and SMOTE, Information Sciences, 465, 1-20, 2018.
40. 40. Drummond, C., Holte, R. C., C4. 5, Class imbalance, and cost sensitivity: Why under-sampling beats over-sampling, Workshop on learning from imbalanced datasets II, 11, 1-8, 2003.
41. 41. He, H., Bai, Y., Garcia, E. A., Li, S., ADASYN: Adaptive synthetic sampling approach for imbalanced learning, 2008 IEEE international joint conference on neural networks (IEEE world congress on computational intelligence), 1322-1328, 2008.
42. 42. Han, H., Wang, W.-Y., Mao, B.-H., Borderline-SMOTE: a new over-sampling method in imbalanced data sets learning, Advances in Intelligent Computing: International Conference on Intelligent Computing, ICIC 2005, Hefei, China, August 23-26, 2005, Proceedings, Part I 1, 878-887, 2005.
43. 43. Nguyen, H. M., Cooper, E. W., Kamei, K., Borderline over-sampling for imbalanced data classification, International Journal of Knowledge Engineering and Soft Data Paradigms, 3 (1), 4-21, 2011.
44. 44. Wilson, D. L., Asymptotic properties of nearest neighbor rules using edited data, IEEE Transactions on Systems, Man, and Cybernetics, 3, 408-421, 1972.
45. 45. Tomek, I., An Experıment Wıth The Edıted Nearest-Nıeghbor Rule,1976.
46. 46. Mani, I., Zhang, I., KNN approach to unbalanced data distributions: A case study involving information extraction. Proceedings of workshop on learning from imbalanced datasets, 126, 1-7, 2003.
47. 47. Laurikkala, J., Improving identification of difficult small classes by balancing class distribution, Artificial Intelligence in Medicine: 8th Conference on Artificial Intelligence in Medicine in Europe, AIME 2001 Cascais, Portugal, July 1–4, 2001, Proceedings 8, 63-66, 2001.
48. 48. Kubat, M., Matwin, S., Addressing the curse of imbalanced training sets: One-sided selection. Icml, 97 (1), 179, 1997.
49. 49. Prusa, J., Khoshgoftaar, T. M., Dittman, D. J., Napolitano, A., Using random undersampling to alleviate class imbalance on tweet sentiment data, 2015 IEEE international conference on information reuse and integration, 197-202, 2015.
50. 50. Alkan, A., Akademik başarının eğitsel veri madenciliği ve makine öğrenmesi teknikleri kullanılarak tahminlenmesi, Yüksek Lisans Tezi, Mehmet Akif Ersoy Üniversitesi, Fen Bilimleri Enstitüsü, Burdur, 2023.
51. 51. Sevli O., Diagnosis of diabetes mellitus using various classifiers, Journal of the Faculty of Engineering and Architecture of Gazi University, 38 (2), 989-1002, 2022.
52. 52. Börekci A., Sevli O., A classification study for Turkish folk music makam recognition using machine learning with data augmentation techniques, Neural Computing and Applications, 36 (4), 1621-1639, 2024.
53. 53. Akbulut U., Çifçi M.A., İşler B., Aslan Z., Comparison of different machine learning techniques in river flow prediction, Journal of the Faculty of Engineering and Architecture of Gazi University, 40 (1), 467-486, 2025.
54. 54. Gülmez B., Kulluk S., Analysis and price prediction of secondhand vehicles in Türkiye with big data and machine learning techniques, Journal of the Faculty of Engineering and Architecture of Gazi University, 38 (4), 2279-2290, 2023.