Investigating Factors Affecting Success in University Placement Using Artificial Intelligence Methods

Abstract

There are several factors affecting students’ success. This study investigates the factors that affect university placement success. A forty-question questionnaire, prepared with the opinions of experts, was applied to university students from various fields. The data obtained from the questionnaire was analyzed using artificial intelligence methods to predict the most important factors affecting success. The study evaluated the success of the prediction models with performance measurement metrics using four different machine learning methods. It is important to note that the most successful method varied depending on the performance metrics used for evaluation. The Random Forest method had the best results with 4.95 MSE and 2.22 RMSE values, followed by the Extreme Gradient Boosting method with a 1.60 MAE value and the Linear Regression method with a 0.36 MAPE value. Based on all metrics, the success rate of the Support Vector Machines method was relatively lower than that of other methods. The study suggests that by considering the factors affecting university placement success in order of importance, it can be possible to increase the students' success. Therefore, educators, families, counselors, and students can make improvements, conduct studies in the relevant areas, and take necessary measures to account for this order of importance.

Keywords

• Machine learning
• Artificial intelligence
• University placement success
• Factors affecting success

Üniversite Yerleşme Başarısını Etkileyen Faktörlerin Yapay Zekâ Yöntemleriyle Araştırılması

Abstract

Öğrencilerin akademik başarılarını etkilediği düşünülen birçok faktör bulunmaktadır. Bu çalışmada özellikle üniversite yerleşme başarısını etkileyen faktörler araştırılmıştır. Uzmanların görüşleri alınarak kırk soruluk bir anket hazırlanmış ve çeşitli alanlarda eğitim görmekte olan üniversite öğrencilerine uygulanmıştır. Anketten elde edilen veriler kullanılarak başarıyı en çok etkileyen faktörler önem sırasına göre yapay zekâ yöntemleriyle tahmin edilmiştir. Bu tahminlerin başarıları performans ölçüm metrikleriyle değerlendirilmiştir. Çalışmada dört farklı makine öğrenimi kullanılmıştır. Tahminlere ait performans metriklerine göre en başarılı yöntemler değişmektedir. Metrikler incelendiğinde en iyi sonuçlar, 4,95 MSE ve 2,22 RMSE değerleriyle Rastgele Orman yöntemi, 1,60 MAE değeriyle Aşırı Gradyan Yükseltme yöntemi, 0,36 MAPE değeriyle Lineer Regresyon yöntemidir. Destek Vektör Makineleri yönteminin başarısı ise tüm metriklere göre diğer yöntemlerden görece daha düşüktür. Çalışma sonucunda önem sırasına göre üniversite yerleşme başarısına etki eden faktörler dikkate alınarak öğrencilerin başarısını artırmanın mümkün olabileceği düşünülmektedir. Böylece eğitimciler, aileler, danışmanlar ve öğrenciler bu önem sırasını dikkate alacak şekilde mümkün olan alanlarda iyileştirmeler ve çalışmalar yapabilir, gerekli önlemleri alabilirler.

Keywords

• Makine öğrenimi
• Yapay zekâ
• Üniversite yerleşme başarısı
• Başarıyı etkileyen faktörler

References

1. Acı, M. & Doğansoy, A. G. (2022). Makine öğrenmesi ve derin öğrenme yöntemleri kullanılarak e-perakende sektörüne yönelik talep tahmini. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 37(3), 1325-1340. https://doi.org/10.17341/gazimmfd.944081
2. Adak, M. F. & Duralioğlu, Ö. (2023). Makine öğrenmesi yöntemleri kullanılarak öğrencilerin kazanım bilgileri ile sınavlardaki başarı durumunun tahmini. Journal of Intelligent Systems: Theory and Applications, 6(1), 43-51. https://doi.org/10.38016/jista.1183353
3. Agustiningsih, A., Findawati, Y., & Kautsar, I. A. (2023). Classification of vocational high school graduates' ability in industry using extreme gradient boosting (xgboost), random forest, and logistic regression. Jurnal Teknik Informatika (Jutif), 4(4), 977-985. https://doi.org/10.52436/1.jutif.2023.4.4.945
4. Arnold, K. E. (2017). The effects of educational technology usage profiles and legally protected bio-demographic data on behaviorally-based predictive student success models in learning analytics: An exploratory study (PhD Thesis). Available from ProQuest Dissertations and Theses database (UMI No. 10269454).
5. Aydoğan, M. & Karcı, A. (2018). Meslek yüksekokulu öğrencilerinin başarı performanslarının makine öğrenmesi yöntemleri ile analizi. 2nd International Symposium on Multidisciplinary Studies and Innovative Technologies’de sunulmuş bildiri, Ekim 2018, Kızılcahamam, Ankara. https://www.ismsitconf.org/?go=ismsit2018 sayfasından erişilmiştir.
6. Baykul, Y. (1979). Örtük özellikler ve klasik test kuramları üzerine bir karşılaştırma (Doktora Tezi). https://tez.yok.gov.tr sayfasından erişilmiştir.
7. Breiman, L. (2001). Random forests. Machine Learning, 45(1), 5-32.
8. Brown, M., DeMonbrun, R. M., & Teasley, S. (2018). Taken together: conceptualizing students' concurrent course enrollment across the post-secondary curriculum using temporal analytics. Journal of Learning Analytics, 5(3), 60-72. http://dx.doi.org/10.18608/jla.2018.53.5

9. Chen, K., Huang, M., Zhu, X., & Wang, G. (2021). Learning disability early warning system based on classification algorithm. 2nd International Conference on Information Science and Education’da sunulmuş bildiri, Kasım 2021, Chongqing, Çin. https://ieeexplore.ieee.org/document/9742515 sayfasından erişilmiştir.
10. Çağdaş, K. & Erdem, O. A. (2012). Öğrenci başarısını etkileyen faktörlerin veri madenciliği yöntemleriyle incelenmesi. Politeknik Dergisi, 15(2), 111-116.
11. Dewan, M. A. A., Lin, F., Wen, D., & Kinshuk. (2015). Predicting dropout-prone students in e-learning education system. 12th Intl Conf on Ubiquitous Intelligence and Computing and 2015 IEEE 12th Intl Conf on Autonomic and Trusted Computing and 2015 IEEE 15th Intl Conf on Scalable Computing and Communications and Its Associated Workshops’da sunulmuş bildiri, Ağustos, 2015, Pekin, Çin. https://ieeexplore.ieee.org/abstract/document/7518496 sayfasından erişilmiştir.
12. Doğan, A. (2023). Makine öğrenimi yöntemleri kullanılarak Türkiye’nin kuzeybatısı için deprem tahmini. Yerbilimleri, 44(2), 166-178. https://doi.org/10.17824/yerbilimleri.1325321
13. Doğan, A., Korkmaz, M., & Kirmaci, V. (2023). Estimation of ranque-hilsch vortex tube performance by machine learning techniques. International Journal of Refrigeration, 150, 77-88. https://doi.org/10.1016/j.ijrefrig.2023.01.021
14. Elbadrawy, A., Polyzou, A., Ren, Z., Sweeney, M., Karypis, G., & Rangwala, H. (2016). Predicting student performance using personalized analytics. Computer, 49(4), 61-69. https://doi.org/10.1109/MC.2016.119
15. Gülçin, U. & Çokluk-Bökeoglu, Ö. (2012). Yükseköğretimde öğrenci başarılarının sınıflandırılmasında yapay sinir ağları ve lojistik regresyon yöntemlerinin kullanılması. Akdeniz İnsani Bilimler Dergisi, 3(2), 71-79.
16. Güneş, S., Görmüş, Ş., Yeşilyurt, F., & Tuzcu, G. (2012). ÖSYS başarısını etkileyen faktörlerin analizi. Pamukkale Üniversitesi Sosyal Bilimler Enstitüsü Dergisi(11), 71-81.
17. Gürbüz, R., Erdem, E., Temurtaş, A., & Aygen, K. (2015). ÖSYS başarısını etkileyen faktörler: Adıyaman ili örneği. Adıyaman University Journal of Educational Sciences, 5(1), 49-71.
18. Güvenç, E., Sakal, M., Çetin, G., & Özkaraca, O. (2022). Öğrencilerin dersteki niteliklerinin makine öğrenmesi teknikleri kullanılarak sınıflandırılması. Düzce Üniversitesi Bilim ve Teknoloji Dergisi, 10(3), 1359-1371. https://doi.org/10.29130/dubited.1017202
19. He, L., Levine, R. A., Bohonak, A. J., Fan, J., & Stronach, J. (2018). Predictive analytics machinery for STEM student success studies. Applied Artificial Intelligence, 32(4), 361-387. https://doi.org/10.1080/08839514.2018.1483121
20. Hill, F., Fulcher, D., Sie, R., & De Laat, M. (2018). Balancing accuracy and transparency in early alert identification of students at risk. International Conference on Teaching, Assessment, and Learning for Engineering’da sunulmuş bildiri, Aralık 2018, Wollongong, NSW, Avustralya. https://ieeexplore.ieee.org/abstract/document/8615370 sayfasından erişilmiştir.
21. Hung, J.-L., Shelton, B. E., Yang, J., & Du, X. (2019). Improving predictive modeling for at-risk student identification: a multistage approach. IEEE Transactions on Learning Technologies, 12(2), 148-157.
22. Hussain, M., Zhu, W., Zhang, W., Abidi, S. M. R., & Ali, S. (2019). Using machine learning to predict student difficulties from learning session data. Artificial Intelligence Review, 52(1), 381-407. https://doi.org/10.1007/s10462-018-9620-8
23. Jariwala, N., Putta, C. L., Gatade, K., Umarji, M., Ruhina-Rahman, S. N., Pawde, D. M., ..., & Shunmugaperumal, T. (2023). Intriguing of pharmaceutical product development processes with the help of artificial intelligence and deep/machine learning or artificial neural network. Journal of Drug Delivery Science and Technology, 87, 104751. https://doi.org/10.1016/j.jddst.2023.104751
24. Jokhan, A., Sharma, B., & Singh, S. (2019). Early warning system as a predictor for student performance in higher education blended courses. Studies in Higher Education, 44(11), 1900-1911. https://doi.org/10.1080/03075079.2018.1466872
25. Kaban, A. & Bilen, Ö. (2021). Eğitimde kullanılan erken uyarı sistemleri konusunda yapılmış çalışmaların incelenmesi. MANAS Sosyal Araştırmalar Dergisi, 10(2), 788-797.
26. Kaya, F. H. (2022). Makine öğrenmesi algoritmaları kullanarak öğrencilerin akademik başarısını etkileyen faktörlerin tespit edilmesi (Yüksek Lisans Tezi). http://tez.yok.gov.tr sayfasından erişilmiştir.
27. Korkmaz, M., Dogan, A., & Kirmaci, V. (2022). Performance analysis of counterflow ranque–hilsch vortex tube with linear regression, support vector machines and gaussian process regression method. Gazi J. Eng. Sci, 8(2), 361-370. https://doi.org/10.30855/gmbd.0705015
28. Korkmaz, M., Doğan, A., & Kırmacı, V. (2023). Thermal temperature estimation by machine learning methods of counterflow ranque-hilsch vortex tube using different fluids. Heat Transfer Research, 54(12), 61-79. https://doi.org/10.1615/HeatTransRes.2023046884
29. Luu, Q.-H., Lau, M. F., Ng, S. P., & Chen, T. Y. (2021). Testing multiple linear regression systems with metamorphic testing. Journal of Systems and Software, 182, 111062. https://doi.org/10.1016/j.jss.2021.111062 Marbouti, F., Diefes-Dux, H., & Madhavan, K. (2015). Predictive modeling for identifying at-risk students using course performance data. The 6th Research in Engineering Education Symposium’da sunulmuş bildiri, Temmuz 2015, Dublin, İrlanda. https://www.researchgate.net sayfasından erişilmiştir.
30. Marbouti, F., Diefes-Dux, H. A., & Madhavan, K. (2016). Models for early prediction of at-risk students in a course using standards-based grading. Computers & Education, 103, 1-15. https://doi.org/10.1016/j.compedu.2016.09.005
31. Montgomery, D. C., Peck, E. A., & Vining, G. G. (2021). Introduction to linear regression analysis. John Wiley & Sons.
32. Möller, A., Ruhlmann-Kleider, V., Leloup, C., Neveu, J., Palanque-Delabrouille, N., Rich, J., …, & Pritchet, C. (2016). Photometric classification of type Ia supernovae in the SuperNova Legacy Survey with supervised learning. Journal of Cosmology and Astroparticle Physics, 2016(12), 008. https://doi.org/10.1088/1475-7516/2016/12/008 Murat, G. (2017). Makine öğrenmesi yöntemleri ile akademik başarinin tahmin edilmesi. Gazi University Journal of Science Part C: Design and Technology, 5(3), 139-148.
33. Nadar, N. (2023). Enhancing student performance prediction through stream-based analysis dataset using modified xgboost algorithm. International Journal on Information Technologies & Security, 15(2), 75-87.
34. Özdamar, K. (1999). Paket programlar ile istatistiksel veri analizi 1. Kaan.
35. Özer, H. & Sarı, A. (2016). Kovaryans analizi modelleriyle üniversite öğrencilerinin başarılarını etkileyen faktörlerin belirlenmesi: Atatürk Üniversitesi İİBF öğrencileri için bir uygulama. Dokuz Eylül Üniversitesi İktisadi İdari Bilimler Fakültesi Dergisi, 24(2), 105-126.
36. Rençber, B. A. (2012). Üniversite öğrencilerinin akademik başarılarını etkileyen faktörler. Çankırı Karatekin Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 3(1), 191-198.
37. Rodriguez-Galiano, V., Sanchez-Castillo, M., Chica-Olmo, M., & Chica-Rivas, M. (2015). Machine learning predictive models for mineral prospectivity: An evaluation of neural networks, random forest, regression trees and support vector machines. Ore Geology Reviews, 71, 804-818. https://doi.org/10.1016/j.oregeorev.2015.01.001 Samson, P. J., Czarnik, A., & Gross, M. (2017). Relationships between digital measures of student engagement and exam scores: is the LMS enough? 7th International Learning Analytics & Knowledge Conference (LAK17): Practitioner Track’da sunulmuş bildiri, Mart 2017, Vancouver, Kanada. https://www.researchgate.net sayfasından erişilmiştir.
38. Sandoval, A., Gonzalez, C., Alarcon, R., Pichara, K., & Montenegro, M. (2018). Centralized student performance prediction in large courses based on low-cost variables in an institutional context. The Internet and Higher Education, 37, 76-89. https://doi.org/10.1016/j.iheduc.2018.02.002
39. Selvi, A. (2020). Bilecik ilinde ilköğretimden liseye geçiş sınavlarında makine öğrenmesi yöntemleri ile öğrenci başarısının tahmini (Yüksek Lisans Tezi). http://tez.yok.gov.tr sayfasından erişilmiştir.
40. Sletten, M. A., Tøge, A. G., & Malmberg-Heimonen, I. (2023). Effects of an early warning system on student absence and completion in Norwegian upper secondary schools: a cluster-randomised study. Scandinavian Journal of Educational Research, 67(7), 1151-1165. https://doi.org/10.1080/00313831.2022.2116481
41. Soman, K., Loganathan, R., & Ajay, V. (2009). Machine learning with SVM and other kernel methods. PHI Learning.
42. Stapel, M., Zheng, Z., & Pinkwart, N. (2016). An ensemble method to predict student performance in an online math learning environment. 9th International Conference on Educational Data Mining’de sunulmuş bildiri, Haziran 2016, Raleigh, NC. https://eric.ed.gov/?id=ED592647 sayfasından erişilmiştir.
43. Su, W., Jiang, F., Shi, C., Wu, D., Liu, L., Li, S., …, & Shi, J. (2023). An xgboost-based knowledge tracing model. International Journal of Computational Intelligence Systems, 16(1), 1-9. https://doi.org/10.1007/s44196-023-00192-y
44. Tamayo, D., Silburt, A., Valencia, D., Menou, K., Ali-Dib, M., Petrovich, C., …, & Paradise, A. (2016). A machine learns to predict the stability of tightly packed planetary systems. The Astrophysical Journal Letters, 832(2), L22. https://doi.org/10.3847/2041-8205/832/2/L22
45. Tosunoğlu, E., Yılmaz, R., Özeren, E., & Sağlam, Z. (2021). Eğitimde makine öğrenmesi: Araştırmalardaki güncel eğilimler üzerine inceleme. Ahmet Keleşoğlu Eğitim Fakültesi Dergisi, 3(2), 178-199.
46. Waddington, R. J., Nam, S., Lonn, S., & Teasley, S. D. (2016). Improving early warning systems with categorized course resource usage. Journal of Learning Analytics, 3(3), 263-290.
47. Wei, J., Chu, X., Sun, X. Y., Xu, K., Deng, H. X., Chen, J., …, & Lei, M. (2019). Machine learning in materials science. InfoMat, 1(3), 338-358. https://doi.org/10.1002/inf2.12028
48. Yao, D. & Deng, X. (2020). A learning situation early warning method based on linear regression. International Conference on Big Data and Informatization Education’da sunulmuş bildiri, Nisan 2020, Zhangjiajie, Çin. https://ieeexplore.ieee.org/abstract/document/9150254 sayfasından erişilmiştir.
49. Yavuzarslan, M. & Çiğdem, E. (2022). Öğrenme yönetim sistemi log kayıtlarının akademik başarı tahmininde kullanılması. Bilişim Teknolojileri Dergisi, 15(2), 199-207. https://doi.org/10.17671/gazibtd.837884
50. Yılmaz, E. & Aktürk, A. (2021). Z kuşağı bir nesli anlamak. Palet.