Course Selection Prediction with Heuristic Algorithms

Öz

Abstract: This study aims to predict career field preferences using survey data. The survey consists of questions that may influence students’ elective course preferences. The dataset, consisting of 375 students, includes variables such as course content and structural characteristics, students’ tendencies toward courses, and demographic information. In the study, the career field question answered by the students in the survey was determined as the target variable. After the dataset was collected, categorical data were converted into numerical values during the data preprocessing stage. For the experimental process, eight different machine learning algorithms were selected, and all models were run separately. The performance of the models was evaluated using accuracy, precision, recall, and F1-score metrics. Following the initial experimental results, feature selection and hyperparameter optimization were performed using Genetic Algorithm and Hill Climbing methods with the aim of improving model performance. As a result of the initial experiments, the Decision Tree model achieved the highest performance with an accuracy rate of 94%. After the optimization procedures applied to the initial results, the highest performance was obtained with the combination of Gradient Boosting and Genetic Algorithm, reaching an accuracy rate of 96%. These results indicate that survey data generated from factors that may affect elective course preferences contain useful information for predicting career field preferences. In addition, it was observed that the optimizations performed using Genetic Algorithm and Hill Climbing methods improved the performance of the models. In this context, the study demonstrates that machine learning models can be used to analyze student preferences based on survey data and to generate predictions. Furthermore, it can be stated that methods such as Genetic Algorithm and Hill Climbing provide supportive contributions to model performance.

Anahtar Kelimeler

• Machine learning
• Career field prediction
• Elective course preferences
• Genetic Algorithm
• Hill Climbing

Sezgisel Algoritmalar ile Ders Seçimlerinin Tahmin Edilmesi

Öz

Bu çalışmada, anket verileri kullanılarak kariyer alanı tercihlerinin tahmin edilmesi amaçlanmıştır. Anket, öğrencilerin seçmeli ders tercihlerini etkileyebilecek sorulardan oluşmaktadır. 375 öğrenciden oluşan veri kümesi, derslerin içerikleri ve yapısal özellikleri, öğrencilerin derslere yönelim durumları ve demografik bilgileri gibi değişkenleri barındırmaktadır. Çalışmada, öğrencilerin ankette cevaplandırdığı kariyer alanı sorusu hedef değişken olarak belirlenmiştir. Veri setinin toplanmasından sonra veri ön işleme aşaması ile birlikte kategorik veriler sayısal değerlere dönüştürülmüştür. Deneylerin yapılması için sekiz farklı makine öğrenmesi algoritması belirlenmiş ve bütün modeller ayrı ayrı çalıştırılmıştır. Modellerin performansları doğruluk, kesinlik, duyarlılık ve F1-skoru performans metrikleriyle değerlendirilmiştir. Başlangıç deney sonuçlarından sonra Genetik Algoritma ve Hill Climbing yöntemleri ile öznitelik seçimi ve hiperparametre optimizasyonu yapılarak model performanslarının yükseltilmesi amaçlanmıştır. Gerçekleştirilen başlangıç deneyleri sonucunda %94 doğruluk oranı elde eden Karar Ağacı, en başarılı model olmuştur. Başlangıç sonuçlarına uygulanan optimizasyon işlemleri sonrasında en yüksek performans, %96 doğruluk oranı ile Gradient Boosting ve Genetik Algoritma kombinasyonuyla elde edilmiştir. Bu sonuçlar seçmeli ders tercihlerini etkileyebilecek faktörler ile oluşturulan anket verilerinin kariyer alanı tercihlerini tahmin etmede kullanılabilecek bilgiler taşıdığını göstermektedir. Ek olarak, Genetik Algoritma ve Hill Climbing yöntemleri kullanılarak yapılan optimizasyonların modellerin performanslarını artırdığı görülmektedir. Bu kapsamda, makine öğrenmesi modellerinin anket verilerine dayalı öğrenci tercihlerini analiz etmede ve tahmin üretmekte kullanılabileceği ortaya konmaktadır. Ayrıca, Genetik Algoritma ve Hill Climbing gibi yöntemlerin model performansını destekleyici katkılar sunduğu görülmektedir.

Anahtar Kelimeler

• Makine öğrenmesi
• Kariyer alanı tahmini
• Seçmeli ders tercihleri
• Genetik Algoritma
• Hill Climbing

Kaynakça

1. Algarni, S., & Sheldon, F. (2023). Systematic review of recommendation systems for course selection. Machine Learning and Knowledge Extraction, 5(2), 560-596. https://doi.org/10.3390/make5020033
2. Alzubi, J., Nayyar, A., & Kumar, A. (2018). Machine learning from theory to algorithms: An overview. Journal of Physics: Conference Series, 1142(1), 012012. https://doi.org/10.1088/1742-6596/1142/1/012012
3. Arcinas, M. M., Meenakshi, M., Bahalkar, P. S., Bhaturkar, D., Lalar, S., Rane, K. P., Garg, S., Omarov, B., & Raghuvanshi, A. (2025). An efficient course recommendation system for higher education students using machine learning techniques. Bulletin of Electrical Engineering and Informatics, 14(2), 1468-1475. https://doi.org/10.11591/eei.v14i2.7711
4. Begum, S., & Padmannavar, S. S. (2022). Prediction of student performance using genetically optimized feature selection with multiclass classification. International Journal of Engineering Trends and Technology, 70(4), 223-235. https://doi.org/10.14445/22315381/IJETT-V70I4P219
5. Chen, M., & Liu, Z. (2024). Predicting performance of students by optimizing tree components of random forest using genetic algorithm. Heliyon, 10(12). https://doi.org/10.1016/j.heliyon.2024.e32570
6. Esteban, A., Zafra, A., & Romero, C. (2020). Helping university students to choose elective courses by using a hybrid multi-criteria recommendation system with genetic optimization. Knowledge-Based Systems, 194, 105385.
7. Ezz, M., & Elshenawy, A. (2020). Adaptive recommendation system using machine learning algorithms for predicting student’s best academic program. Education and Information Technologies, 25(4), 2733-2746. https://doi.org/10.1007/s10639-019-10049-7
8. Farissi, A., Dahlan, H. M., & Samsuryadi. (2020). Genetic algorithm based feature selection for predicting student’s academic performance. In Emerging Trends in Intelligent Computing and Informatics (C. 1073, ss. 110-117). Springer International Publishing. https://doi.org/10.1007/978-3-030-33582-3_11

9. Hoti, A. H., Zenuni, X., Hamiti, M., & Ajdari, J. (2023). Student performance prediction using AI and ML: State of the art. 2023 12th Mediterranean Conference on Embedded Computing (MECO), 1-6. https://doi.org/10.1109/MECO58584.2023.10154933
10. Kara, Ş. E., & Şamlı, R. (2021). Genetik algoritma ile öznitelik seçimi yapılarak yazılım projelerinin maliyet tahmini. Avrupa Bilim ve Teknoloji Dergisi, (27), 985-994. https://doi.org/10.31590/ejosat.994372
11. Khalil, M., AlSayed, A., Liu, Y., & Vanrolleghem, P. A. (2024). An integrated feature selection and hyperparameter optimization algorithm for balanced machine learning models predicting N2O emissions from wastewater treatment plants. Journal of Water Process Engineering, 63, 105512.
12. Probst, P., Boulesteix, A.-L., & Bischl, B. (2019). Tunability: Importance of hyperparameters of machine learning algorithms. Journal of Machine Learning Research, 20(53), 1-32.
13. Rainio, O., Teuho, J., & Klén, R. (2024). Evaluation metrics and statistical tests for machine learning. Scientific reports, 14(1), 6086.
14. Sadiku, M. N., Ajayi, S. A., & Sadiku, J. O. (2025). Machine Learning: An Overview. International Journal of Trend in Scientific Research and Development, 9(5), 1121-1131.
15. Sopan, K. A., & Sambhajirao, K. V. (2025). A Personalized Course Recommendation System for Students Using Machine Learning Techniques. Journal of Technology, 12, 903-912.
16. Tosunoğlu, E., Yılmaz, R., Özeren, E., & Sağlam, Z. (2021). Eğitimde makine öğrenmesi: Araştırmalardaki güncel eğilimler üzerine inceleme. Ahmet Keleşoğlu Eğitim Fakültesi Dergisi, 3(2), 178-199.
17. VidyaShreeram, N., & Muthukumaravel, A. (2021). Student career prediction using machine learning approaches. First International Conference on Computing, Communication and Control System, 444.
18. Zawacki-Richter, O., Marín, V. I., Bond, M., & Gouverneur, F. (2019). Systematic review of research on artificial intelligence applications in higher education – where are the educators? International Journal of Educational Technology in Higher Education, 16(1), 39. https://doi.org/10.1186/s41239-019-0171-0