MODELLING OF THE EFFECTS ON EDUCATIONAL SUCCESS BY MACHINE LEARNING ALGORITHMS

Yıl 2024, Cilt: 23 Sayı: 45, 27 - 41, 26.06.2024

Zeynep Bakan , Filiz Kanbay

https://doi.org/10.55071/ticaretfbd.1442084

Öz

Machine learning, which is used for classification, clustering and prediction in the fields of health, media, banking and finance, is also used in the field of education today. In this study, by using the mathematical models established with machine learning classification methods such as K-nearest neighbour, naive bayes, random forest, support vector machines, decision trees and boosting; the factors affecting students’ academic success were investigated to guide educational institution the strategies , to determine the measures to be taken, and even to benefit the generalization of the results by applying them to a larger population, different types of schools or at different levels, in different sectors. Maximum model success was achieved by determining the hyperparameters that affected the success of the established mathematical model by the grid scanning method. In mathematical modelling, the academic success criterion is determined as the output; The changes in the model success of the output and input numbers in the established mathematical models were examined; The effects of reducing the number of outputs and inputs by various methods (supervised and unsupervised methods) on the success of the mathematical model have been observed. Finally the best accuracy scores were obtained from the data set with two class labels. The accuracy scores of the algorithms (K-nearest neighbour, naive bayes, random forest, support vector machines, decision trees and boosting) respectively were 0,62, 0,61, 0,96, 0,72, 0,86, 0,79.

Anahtar Kelimeler

Machine learning, k-nearest neighbors, random forest, naive bayes, support vector machines, education-training

Proje Numarası

Bu çalışma Yıldız Teknik Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimince Desteklenmiştir. Proje Numarası: FYL-2024-6152

MAKİNE ÖĞRENMESİ YÖNTEMLERİ İLE EĞİTİM BAŞARISINA ETKİ EDEN FAKTÖRLERİN MODELLENMESİ

Öz

Sağlık, medya, bankacılık ve finans alanında sınıflandırma, kümeleme ve tahmin amacıyla kullanılan makine öğrenmesi günümüzde eğitim alanında da kullanılmaktadır. Bu çalışmada eğitim öğretim kurumlarının belirleyecekleri stratejilerde veya alacakları önlemlerde yol gösterici olması ve hatta daha büyük ana kütle, daha farklı okul türü ya da farklı kademelerde, farklı sektörlerde uygulanarak sonuçların genelleştirilmesine fayda sağlaması amacıyla makine öğrenmesi yöntemlerinden K-en yakın komşu, naive bayes, rastgele orman, destek vektör makineleri, karar ağaçları, boosting makine öğrenmesi sınıflandırma algoritmaları ile kurulan matematiksel modellemeler ile öğrencilerin akademik başarılarını etkileyen faktörler araştırılmıştır. Kurulan matematiksel modelin başarısına etki eden hiperparametreler ızgara taraması yöntemi ile belirlenerek maksimum model başarısı sağlanmıştır. Matematiksel modellemelerde akademik başarı ölçütü çıktı olarak belirlenerek; kurulan matematiksel modellerde çıktı ve girdi sayılarına ait model başarılarının değişimi incelenmiş; çıktıların ve girdilerin sayısının çeşitli yöntemlerle (denetimli ve denetimsiz yöntemlerle) azaltılması işlemlerinin matematiksel model başarısına etkileri gözlenmiştir. Sonuç olarak, en yüksek model başarılarının iki sınıf etiketli veri setine ait olduğu görülmüştür. K-en yakın komşu, naive bayes, rastgele orman, destek vektör makineleri, karar ağaçları, boosting model başarıları sırasıyla 0,62, 0,61, 0,96, 0,72, 0,86, 0,79 olarak elde edilmiştir.

Anahtar Kelimeler

Makine öğrenmesi, k-en yakın komşu, rastgele orman, naive bayes, destek vektör makineleri, eğitim-öğretim

Etik Beyan

Bu çalışma Yıldız Teknik Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimince Desteklenmiştir. Proje Numarası: FYL-2024-6152

Destekleyen Kurum

Bu çalışma Yıldız Teknik Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimince Desteklenmiştir. Proje Numarası: FYL-2024-6152

Proje Numarası

Bu çalışma Yıldız Teknik Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimince Desteklenmiştir. Proje Numarası: FYL-2024-6152

Kaynakça

• Abbasoğlu, B. (2020). Ortaokul Öğrencilerinin Akademik Başarılarının Eğitsel Veri Madenciliği Yöntemleri İle Tahmini. Veri Bilimleri Dergisi, 3(1), 1-10.
• Akarsu, C. (2016). Twitter verileri ile türk televizyonları izlenme oranı sıralamaları tahmini [Yüksek Lisans Tezi]. Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü, İstanbul.
• Albon, C. (2018) Machine Learning with Python Cookbook: Practical Solutions from Preprocessing to Deep Learning (1. Baskı). O'Reilly Media.
• Alpaydın, E. (2010). Introduction to Machine Learning. The MIT Press, Cambridge, Massachusetts, London, England.
• Amasyalı, M.F. (2008). Yeni makine öğrenmesi metodları ve ilaç tasarımına uygulamalar [Doktora Tezi]. Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü, İstanbul.
• Bezek Güre, Ö. (2023). Investigating the Performance of Feature Selection Methods in Classifying Student Success, International Journal of Education Technology and Scientific Researches, 8(24), 2695-2728
• Bilgin, M. (2018). Makine Öğrenmesi Teorisi ve Algoritmaları. Papatya Yayıncılık Eğitim, İstanbul.
• Bozinovski, S. (1981). Teaching space: A representation concept for adaptive pattern classification. Department of Computer and Information Science, University of Massachusetts, Amherst, COINS Technical Report No. 81-28.
• Breiman, L. (2001). Random Forests. Machine Learning,45,5-32,2001.
• Çalışkan, M.& Talu M.F. (2020). Boyut indirgeme yöntemlerinin karşılaştırmalı analizi. Türk Doğa ve Fen Dergisi, 9(1), 107-113. DOI:10.46810/tdfd.707200.
• Cortes, C.& Vapnik, V. (1995).” Support-Vector Networks”, Machine Learning, 20(3), 273-297.
• Fernandes, E., Holand, M., Victorino, M., Borges, V., Carvalho, R. & Erven, G.V. (2019). Educational data mining: predictive analysis of academic performance of public-school students in the capital of Brazil. Journal of Business Research, 94(C), 335-343, DOI: 10.1016/j.jbusres.2018.02.012.
• Goldberger, J., Roweis, S., Hinton, G., & Salakhutdinov, R. (2005) Neighbourhood Components Analysis, Advances in Neural Information Processing Systems, 17, 513-520.
• Gök, M. (2017). Makine öğrenmesi yöntemleri ile akademik başarının tahmin edilmesi. Gazi Üniversitesi Fen Bilimleri Dergisi Part(C): Tasarım ve Teknoloji, 5(3), 139-148.
• Han, J., Kamber, M.& Pei J. (2011). Data Mining: Concept and Techniques. Morgan Kaufmann Publications, USA.
• Harrington, P. (2012). “Machine Learning In Action”, By Manning Publications Co, USA.
• Hengpraprohm, K., Hengpraprohm, S., & Sudjitjoon, W. (2022). A Study of Factors Affecting Learning Efficiency on Higher Education Student Performance Evaluation Dataset Using Feature Selection Techniques. Information Technology Journal, 18(2), 34-43.
• Jabardi, M. H. (2022). Machine learning techniques for assessing students'environments'impact factors on their academic performance. International Journal of Advanced Research in Computer Science, 13(2). http://dx.doi.org/10.26483/ijarcs.v13i2.6813
• Jake, V. (2017), Python Data Science Handbook: Essential Tools for Working with Data, O’Reilly Media, Inc.
• Kaur, P., Singh, M., & Singh Josan, G. (2015, Mart, 12-13). Classification and prediction-based data mining algorithms to predict slow learners in education sector. 3 rd International Conference on Recent Trends in Computing. Procedia Computer Science Journal, 57, India, 500-508.
• Kayalı, S.& Buyrukoğlu, S. (2022, Haziran, 23-26). Makine öğrenmesi yöntemleri ile öğrencilerin akademik başarılarının sınıflandırılması. 2nd International Conference on Educational Technology and Online Learning-ICETOL2022 Full Paper Proceedings, Balıkesir, 330-336.
• Lantz, B. (2013). Machine Learning with R. Packt Publishing, 35 Livery Street, Barmingham B3 2PB, UK.
• Marquez-Vera, C., Cano, A., Romero, C., Noaman, AYM., Fardoun, HM. & Ventura, S. (2016). Early dropout prediction using data mining: A case study with high school students. Expert System, 33(1), 107-124, DOI:10.1111/exsy.12135.
• Mitchell T.M. (1997). Machine Learning. McGraw-Hill Science/Engineering/Math Publisher, Kaliforniya.
• Nayak S., Bhat M., Reddy N V S., & Rao B A. (2022) Study of distance metrics on k - nearest neighbor algorithm for star categorization, Journal of Physics: Conference Series 2161, 012004.
• Nedeva V., & Pehlivanova T. (2021) Students’ Performance Analyses Using Machine Learning Algorithms in WEKA. IOP Conf. Ser. Mater. Sci. Eng., vol. 1031, no. 1, p. 12061, 2021, doi: 10.1088/1757- 899X/1031/1/012061.
• Pallathadka H., Wenda, A., Ramirez-Asís E., Asís-López M., FloresAlbornoz J. & Phasinam K. (2021). Classification and prediction of student performance data using various machine learning algorithms, Mater. Today Proc.doi: https://doi.org/10.1016/j.matpr.2021.07.382.
• Phatai, G., & Luangrungruang, T. (2023, March, 18-20). A Comparative Study of Hybrid Neural Network with Metaheuristics for Student Performance Classification. In 2023 11th International Conference on Information and Education Technology (ICIET) (pp. 448-452). IEEE. Fujisawa, Japan
• Romero, C., Espejo, PG., Zafra, A., Romero, JR., & Ventura, S. (2013). Web usage mining for predicting final marks of students that use moddle courses. Computer Applications in Engineering Education, 21(1), 135-146, DOI:10.1002/cae.20456.
• Sokolova, M. & Lapalme G. (2009). A systematic analysis of performance measures for classification tasks. Information Processing and Management ,45, 427–437.
• Sweeny, M., Lester, J., Rangwala, H. & Johri, A. 2016. Next-Term student performance prediction: A recommender systems approach. Journal of Educational Data Mining, 8(1), 22-51, https://doi.org/10.5281/zenodo.3554603.
• Şahin, S. (2021). Makine öğrenmesi yöntemleri ile ortaokul öğrenci başarılarının tespiti ve bir uygulama [Yüksek Lisans Tezi]. İstanbul Üniversitesi Fen Bilimleri Enstitüsü, İstanbul.
• Şekeroğlu, B., Dimililer, K., & Tuncal, K. (2019) Student Performance Prediction and Classification Using Machine Learning Algorithms ICEIT 2019: Proceedings of the 2019 8th International Conference on Educational and Information Technology 7–11.
• Tipping, M.E. & Bishop C.M. (1999). Mixtures of probabilistic principal component analyzers. Neural Computation, 11(2),443-482. DOI:10.1162.
• Tosunoğlu, R., Yılmaz, E., Özeren, E. & Sağlam, Z. (2021). Eğitimde makine öğrenmesi: Araştırmalardaki güncel eğilimler üzerine inceleme. Ahmet Keleşoğlu Eğitim Fakültesi Dergisi, 3(2), 178-199, DOI:10.38151.
• UCI Machine Learning Repository (2024): Higher Education Students Performance Evaluation Dataset https://archive.ics.uci.edu/dataset/856/higher+education+students+ performance+evaluation. adresinden 25 Şubat 2024 tarihinde erişildi.
• Yang, W., Wang, K.& Zuo W. (2012). Neighborhood component feature selection for high-dimensional data. Journal of Computers, 7(1), 161-168.
• Yıldız, M. & Börekçi, C. (2020). Predicting Academic achievement with Machine learning algorithms. Journal of Educational Technology & Online Learning, 3(3), 372-392, DOI:10.31681/jetol.773206.
• Yılmaz, N.& Şekeroğlu, B. (2019, Ağustos, 27-28). Student Performance Classification Using Artificial Intelligence Techniques. 10 th International Conference on Theory and Application of Soft Computing, Computing with Words and Perceptions-ICSCCW-2019, Prag, 596-603.
• Xu, G., Zong, Y. &Yang, Z. (2013). Applied Data Mining. CRC Press, NewYork.
• Zhang H., (2004). The Optimality of Naive Bayes. Proceedings of the Seventeenth International Florida Artificial Intelligence Research Society Conference (FLAIRS 2004).