Shaping Student Success in Higher Education: Early Prediction and Intervention

Abstract

This study presents a comparative performance evaluation of ten machine learning algorithms for predicting student academic success in higher education institutions. Using a comprehensive dataset encompassing demographic characteristics, academic history, and socio-economic status, we analyzed ensemble methods (XGBoost, Random Forest, Gradient Boosting) alongside traditional algorithms. During data preprocessing, missing values were handled through median imputation and categorical encoding techniques, while feature importance analysis identified critical predictive factors. Five-fold cross-validation results demonstrated that the XGBoost algorithm achieved superior performance with 90.1% test accuracy, with feature importance analysis revealing "previous qualification grade" and "admission score" as the most determinant factors. The findings substantiate the effectiveness of ensemble methods in developing early warning systems for educational institutions.

Keywords

• Student success prediction
• machine learning
• XGBoost
• educational data mining
• comparative algorithm analysis.

Yükseköğretimde Öğrenci Başarısını Şekillendirmek: Erken Tahmin ve Müdahale

Abstract

Bu çalışmada, yükseköğretim kurumlarındaki öğrenci başarısının tahmin edilmesi amacıyla 9 farklı makine öğrenmesi algoritmasının performansları karşılaştırılmıştır. Araştırma kapsamında, öğrencilerin demografik özellikleri, akademik geçmişleri ve sosyo-ekonomik durumlarını içeren kapsamlı bir veri seti üzerinde XGBoost, Random Forest, Gradient Boosting gibi ensemble yöntemleri ile geleneksel algoritmalar analiz edilmiştir. Veri ön işleme aşamasında eksik veriler median değerler ve kategorik kodlama teknikleriyle işlenmiş, özellik önem analiziyle kritik faktörler belirlenmiştir. Beş katlı çapraz doğrulama sonuçlarına göre XGBoost algoritması %90.1 test doğruluğuyla en yüksek performansı gösterirken, özellik önem analizi "önceki yeterlilik notu" ve "kabul puanı"nın en belirleyici faktörler olduğunu ortaya koymuştur. Bulgular, eğitim kurumlarının erken uyarı sistemleri geliştirirken ensemble yöntemlerinin kullanımının etkililiğini kanıtlamaktadır.

Keywords

• Öğrenci başarı tahmini
• makine öğrenmesi
• XGBoost
• eğitim veri madenciliği
• karşılaştırmalı algoritma analizi

References

1. Bishop, C. M., & Nasrabadi, N. M. (2006). Pattern recognition and machine learning (C. 4). Springer. Geliş tarihi gönderen https://link.springer.com/book/9780387310732
2. Dünder, M., & Dünder, E. (2024). Kategorik verilerde sınıf dengesizliği durumunda makine öğrenimi algoritmalarının karşılaştırılması: Öğrencilerin başarı durumları üzerine bir uygulama. Dijital Teknolojiler ve Eğitim Dergisi, 3(1), 28-38.
3. Ersozlu, Z., Taheri, S., & Koch, I. (2024). A review of machine learning methods used for educational data. Education and Information Technologies, 29(16), 22125-22145. https://doi.org/10.1007/s10639-024-12704-0
4. Hosmer, D. W., Lemeshow, S., & Sturdivant, R. X. (2000). Applied logistic regression. Hoboken. NJ: John Wiley & Sons.
5. Martins, M. V., Tolledo, D., Machado, J., Baptista, L. M. T., & Realinho, V. (2021). Early Prediction of student’s Performance in Higher Education: A Case Study. Içinde Á. Rocha, H. Adeli, G. Dzemyda, F. Moreira, & A. M. Ramalho Correia (Ed.), Trends and Applications in Information Systems and Technologies (ss. 166-175). Cham: Springer International Publishing. https://doi.org/10.1007/978-3-030-72657-7_16
6. Mitchell, T. M., & Mitchell, T. M. (1997). Machine learning (C. 1). McGraw-hill New York. Geliş tarihi gönderen http://www.pachecoj.com/courses/csc380_fall21/lectures/mlintro.pdf
7. Murphy, K. P. (2012). Machine learning: A probabilistic perspective. MIT press. Geliş tarihi gönderen https://books.google.com/books?hl=tr&lr=&id=RC43AgAAQBAJ&oi=fnd&pg=PR7&dq=Murphy,+K.+P.+(2012).+Machine+Learning:+A+Probabilistic+Perspective.+MIT+Press.&ots=unjxaFLqZc&sig=tbzANVBkhXH5wmcZ6yd3ht7ru2Y
8. Onyema, E. M., Almuzaini, K. K., Onu, F. U., Verma, D., Gregory, U. S., Puttaramaiah, M., & Afriyie, R. K. (2022). Prospects and Challenges of Using Machine Learning for Academic Forecasting. Computational Intelligence and Neuroscience, 2022, 1-7. https://doi.org/10.1155/2022/5624475

9. Quinlan, J. R. (1986). Induction of decision trees. Machine Learning, 1(1), 81-106. https://doi.org/10.1007/BF00116251
10. Sutton, R. S., & Barto, A. G. (1998). Reinforcement learning: An introduction (C. 1). MIT press Cambridge. Geliş tarihi gönderen https://www.cambridge.org/core/journals/robotica/article/robot-learning-edited-by-jonathan-h-connell-and-sridhar-mahadevan-kluwer-boston-19931997-xii240-pp-isbn-0792393651-hardback-21800-guilders-12000-8995/737FD21CA908246DF17779E9C20B6DF6
11. Tosunoğlu, E., Yılmaz, R., Özeren, E., & Sağlam, Z. (2021). Eğitimde makine öğrenmesi: Araştırmalardaki güncel eğilimler üzerine inceleme. Ahmet Keleşoğlu Eğitim Fakültesi Dergisi, 3(2), 178-199.
12. Wang, S., Wang, F., Zhu, Z., Wang, J., Tran, T., & Du, Z. (2024). Artificial intelligence in education: A systematic literature review. Expert Systems with Applications, 252, 124167.