Çevrimiçi Öğrenme Ortamlarında Akademik Başarının Makine Öğrenmesi Yöntemleriyle Yordanması: OULAD Veri Seti Üzerinde Karşılaştırmalı Bir Çalışma

Abstract

Bu çalışma ile çevrimiçi öğrenme ortamlarında akademik başarıyı etkileyen faktörlerin makine öğrenmesi yöntemleri ile ele alınması amaçlanmıştır. Açık Üniversite Öğrenme Analitiği Veri Seti (OULAD) kullanılarak yapılan bu çalışmada, 22.446 öğrencinin 25.307 ders kaydı verisi üzerinden elde edilen demografik özellikler, sanal öğrenme ortamı etkileşim verileri ve değerlendirme performanslarından oluşan 12 değişken analiz edilmiştir. Akademik başarıyı tahmin etmek için Karar Ağacı, Rastgele Orman, Gradyan Artırma, Lojistik Regresyon ve Naive Bayes algoritmaları karşılaştırmalı olarak incelenmiş; model performansları 10 katlı çapraz doğrulama yöntemiyle değerlendirilmiştir. Elde edilen bulgulara göre Rastgele Orman algoritması, 10 katlı çapraz doğrulamada AUC = 0,9373 (±0,0036) değeri ile en yüksek ve en tutarlı sonuçları vermiş, bağımsız test setinde AUC = 0,9328 değerine ulaşmıştır; hiperparametre optimizasyonu test setindeki AUC’yi 0,9337’ye yükselterek sınırlı bir iyileşme sağlamıştır. Dönemin ilk haftalarına ait verilerle gerçekleştirilen erken uyarı analizinde, yalnızca ilk 30 günlük etkileşim verisiyle AUC = 0,7805, ilk 90 günlük veriyle ise AUC = 0,8325 düzeyinde tahmin başarısına ulaşılabildiği belirlenmiştir. Değişken önemi analizinde değerlendirme sayısı (%24,95), aktif gün sayısı (%20,05) ve ortalama değerlendirme puanı (%14,60) akademik başarının en güçlü yordayıcıları olarak öne çıkmış; demografik özelliklerin yordayıcı gücünün ise nispeten sınırlı kaldığı görülmüştür. Bulgular, çevrimiçi ortamlarda yapay zeka temelli erken uyarı sistemleri ve kişiselleştirilmiş öğrenme tasarımlarının geliştirilmesine yönelik uygulanabilir çıkarımlar sunmaktadır.

Keywords

• Veri madenciliği
• makine öğrenmesi
• eğitim analitiği
• akademik başarı tahmini
• rastgele orman
• sanal öğrenme ortamı
• OULAD

Supporting Institution

Yok

Ethical Statement

Açıklama: Bu çalışmada kamuya açık ve anonimleştirilmiş Açık Üniversite Öğrenme Analitiği Veri Seti (OULAD) kullanılmıştır. Çalışma, herhangi bir kurum veya kuruluştan finansal destek almamıştır. Yazar Katkı Oranı: Yazar, çalışmanın kavramsallaştırılması, veri analizi, yazım ve gözden geçirme süreçlerinin tamamında tek başına katkı sağlamıştır (%100). Etik Kurul Beyanı: Bu çalışmada kamuya açık ve anonimleştirilmiş ikincil veri seti (OULAD; Kuzilek vd., 2017) kullanılmış, katılımcılardan doğrudan veri toplanmamıştır. Bu nedenle etik kurul onayı gerekmemiştir. Çatışma Beyanı: Yazar, bu çalışma kapsamında herhangi bir çıkar çatışması bulunmadığını beyan eder. Üretken Yapay Zekâ Kullanım Beyanı: Revize sürecinde kod ve metin düzenleme için bir üretken yapay zekâ aracından (Claude, Anthropic) yararlanılmıştır.

Predicting Academic Achievement in Online Learning Environments Using Machine Learning Methods: A Comparative Study on the OULAD Dataset

Abstract

This study aimed to examine the factors influencing academic achievement in online learning environments through machine learning methods. Using the Open University Learning Analytics Dataset (OULAD), twelve variables comprising demographic characteristics, virtual learning environment interaction data, and assessment performance were analysed across 25,307 student-course records belonging to 22,446 unique students. Five algorithms, namely decision tree, random forest, gradient boosting, logistic regression, and naive Bayes, were comparatively examined to predict academic achievement, and model performances were evaluated using 10-fold cross-validation. The findings indicate that the random forest algorithm yielded the highest and most consistent results, with an AUC of 0.9373 (±0.0036) in 10-fold cross-validation and 0.9328 on the hold-out test set; hyperparameter optimisation yielded a marginal improvement on the test set (AUC = 0.9337). An early-warning analysis based on data from the initial weeks of the term demonstrated that a predictive accuracy of AUC = 0.7805 could be achieved using only the first 30 days of interaction data, rising to AUC = 0.8325 with the first 90 days. Feature importance analysis revealed that the number of assessments (24.95%), the number of active days on the platform (20.05%), and the mean assessment score (14.60%) were the strongest predictors of academic achievement, whereas students’ demographic characteristics demonstrated relatively limited predictive power. The findings offer applicable insights for the development of artificial intelligence-based early warning systems and the design of personalised learning environments in online settings.

Keywords

• Data mining
• machine learning
• learning analytics
• academic achievement prediction
• random forest
• virtual learning environment
• OULAD

Supporting Institution

None

Ethical Statement

Acknowledgements: This study used the publicly available and anonymized Open University Learning Analytics Dataset (OULAD). The study received no financial support from any institution or organization. Author Contributions: The author contributed solely to the conceptualization, data analysis, writing, and revision processes of the study (100%). Ethical Declaration: This study utilized a publicly available and anonymized secondary dataset (OULAD; Kuzilek et al., 2017), and no data was collected directly from participants. Therefore, ethics committee approval was not required. Conflict of Interest: The author declares no conflict of interest within the scope of this study. Declaration of Generative AI Use: A generative AI tool (Claude, Anthropic) was used for code and text editing during the revision process.

References

1. Althibyani, H. A. (2024). Predicting student success in MOOCs: A comprehensive analysis using machine learning models. PeerJ Computer Science, 10, e2221. https://doi.org/10.7717/peerj-cs.2221 Aruğaslan, E., & Çivril, H. (2021). Türkiye’de eğitim alanında yapılan veri madenciliği ve yapay zekâ çalışmaları. Uluslararası Teknolojik Bilimler Dergisi, 13(2), 81-89. https://izlik.org/JA36BF78KA
2. Asif, R., Merceron, A., Ali, S. A., & Haider, N. G. (2017). Analyzing undergraduate students’ performance using educational data mining. Computers & Education, 113, 177-194. https://doi.org/10.1016/j.compedu.2017.05.007 Aydemir, E. (2019). Ders geçme notlarının veri madenciliği yöntemleriyle tahmin edilmesi. Avrupa Bilim ve Teknoloji Dergisi, 15, 70-76. https://doi.org/10.31590/ejosat.518899
3. Baker, R. S. ve Siemens, G. (2022). Learning analytics and educational data mining. İçinde R. K. Sawyer (Ed.), The Cambridge handbook of the learning sciences (3. baskı, ss. 259–278). Cambridge University Press. https://doi.org/10.1017/9781108888295.016
4. Breiman, L. (2001). Random forests. Machine Learning, 45(1), 5-32. https://doi.org/10.1023/A:1010933404324
5. Creswell, J. W. (2014). Research design: Qualitative, quantitative, and mixed methods approaches (4. baskı). SAGE Publications.
6. Fernandes, E., Holanda, M., Victorino, M., Borges, V., Carvalho, R., & Van Erven, G. (2019). Educational data mining: Predictive analysis of academic performance of public school students in the capital of Brazil. Journal of Business Research, 94, 335-343. https://doi.org/10.1016/j.jbusres.2018.02.012
7. Fernández-Delgado, M., Cernadas, E., Barro, S., & Amorim, D. (2014). Do we need hundreds of classifiers to solve real world classification problems? Journal of Machine Learning Research, 15(90), 3133–3181. https://www.jmlr.org/papers/volume15/delgado14a/delgado14a.pdf
8. Friedman, J. H. (2001). Greedy function approximation: A gradient boosting machine. The Annals of Statistics, 29(5), 1189-1232. https://doi.org/10.1214/aos/1013203451

9. Gök, M. (2017). Makine öğrenmesi yöntemleri ile akademik başarının tahmin edilmesi. Gazi Üniversitesi Fen Bilimleri Dergisi Part C: Tasarım ve Teknoloji, 5(3), 139-148. https://izlik.org/JA23RW29EN
10. Hlosta, M., Zdrahal, Z. ve Zendulka, J. (2017). Ouroboros: Early identification of at-risk students without models based on legacy data. İçinde Proceedings of the Seventh International Learning Analytics & Knowledge Conference (ss. 6–15). Association for Computing Machinery. https://doi.org/10.1145/3027385.3027449 Hussain, M., Zhu, W., Zhang, W., & Abidi, S. M. R. (2018). Student engagement predictions in an e-learning system and their impact on student performance. Computational Intelligence and Neuroscience, 2018, 1-21. https://doi.org/10.1155/2018/6347186
11. Jawad, K., Shah, M. A., & Tahir, M. (2022). Students’ academic performance and engagement prediction in a virtual learning environment using random forest with data balancing. Sustainability, 14(22), 14795. https://doi.org/10.3390/su142214795
12. Kabakchieva, D. (2013). Predicting student performance by using data mining methods for classification. Cybernetics and Information Technologies, 13(1), 61-72. https://doi.org/10.2478/cait-2013-0006
13. Kohavi, R. (1995). A study of cross-validation and bootstrap for accuracy estimation and model selection. Proceedings of the 14th International Joint Conference on Artificial Intelligence (Vol. 2, pp. 1137–1143). Morgan Kaufmann.
14. Kotsiantis, S., Pierrakeas, C., & Pintelas, P. (2004). Predicting students’ performance in distance learning using machine learning techniques. Applied Artificial Intelligence, 18(5), 411-426. https://doi.org/10.1080/08839510490442058
15. Kuzilek, J., Hlosta, M., & Zdrahal, Z. (2017). Open University Learning Analytics dataset. Scientific Data, 4, 170171. https://doi.org/10.1038/sdata.2017.171
16. Lykourentzou, I., Giannoukos, I., Nikolopoulos, V., Mpardis, G., & Loumos, V. (2009). Dropout prediction in e-learning courses through the combination of machine learning techniques. Computers & Education, 53(3), 950-965. https://doi.org/10.1016/j.compedu.2009.05.010
17. Mduma, N., Kalegele, K., & Machuve, D. (2019). A survey of machine learning approaches and techniques for student dropout prediction. Data Science Journal, 18(1), 1-10. https://doi.org/10.5334/dsj-2019-014
18. Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., Vanderplas, J., Passos, A., Cournapeau, D., Brucher, M., Perrot, M., & Duchesnay, É. (2011). Scikit-learn: Machine learning in Python. Journal of Machine Learning Research, 12, 2825-2830.
19. Romero, C., & Ventura, S. (2010). Educational data mining: A review of the state-of-the-art. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 40(6), 601-618. https://doi.org/10.1109/TSMCC.2010.2053532
20. Shahiri, A. M., Husain, W., & Rashid, N. A. (2015). A review on predicting student’s performance using data mining techniques. Procedia Computer Science, 72, 414-422. https://doi.org/10.1016/j.procs.2015.12.157
21. Strobl, C., Boulesteix, A.-L., Zeileis, A., & Hothorn, T. (2007). Bias in random forest variable importance measures: Illustrations, sources and a solution. BMC Bioinformatics, 8, Article 25. https://doi.org/10.1186/1471-2105-8-25
22. Talan, T. (2021). Artificial intelligence in education: A bibliometric study. International Journal of Research in Education and Science, 7(3), 822–837. https://doi.org/10.46328/ijres.2409
23. Tekin, A., & Öztekin, Z. (2018). Eğitsel veri madenciliği ile ilgili 2006-2016 yılları arasında yapılan çalışmaların incelenmesi. Eğitim Teknolojisi Kuram ve Uygulama, 8(2), 108-124. https://doi.org/10.17943/etku.351473
24. Tinto, V. (2006). Taking student success seriously in the college classroom. Journal of Applied Research in the Community College, 13(1), 5-10.
25. Wang, J., & Yu, Y. (2025). Machine learning approach to student performance prediction of online learning. PLOS ONE, 20(1), Article e0299018. https://doi.org/10.1371/journal.pone.0299018 Yağcı, M. (2022). Educational data mining: Prediction of students’ academic performance using machine learning algorithms. Smart Learning Environments, 9(11), 1-19. https://doi.org/10.1186/s40561-022-00192-z
26. Yukselturk, E., Ozekes, S., & Türel, Y. K. (2014). Predicting dropout student: An application of data mining methods in an online education program. European Journal of Open, Distance and e-Learning, 17(1), 118-133. https://doi.org/10.2478/eurodl-2014-0008
27. Zimmerman, B. J. (1990). Self-regulated learning and academic achievement: An overview. Educational Psychologist, 25(1), 3-17. https://doi.org/10.1207/s15326985ep2501_2