Predicting Instructor Performance by Feature Selection and Machine Learning Methods

Abstract

Today, increasing amount of data in all sector of life, make data mining more popular, and high amount of data in increasing complexity demanded to acquit. Different methods developed day by day, for solving problems at many sectors like finance, health, defense, and education, applied to data mining for many social, economic, and scientific issues. In the education area, where both number of instructors and students always increase, for enhancing system performance, it is needed to observe and evaluate the performance of students and instructors and such situation causes to reveal a new concept Educational Data Mining. Research in this area generally focuses on student performance. Thus, there is a need for research in instructor performance. Research using machine learning combined with attribute selection in the field of educational data mining have focused on student performance in general, but few studies have focused on instructor performance. In this paper, it was discussed how the performance of the instructor can be determined by educational data mining methods. A Likert type questionnaire dataset on opinions of the Gazi University’s student regarding their instructor’s teaching performance is used in this research and different feature reduction, and machine learning algorithms are used for evaluating the data set and performances of instructors. According to the obtained results, it has been revealed that the feature selection with genetic algorithm gives the best result for the used data set compared to the other methods and 19 attributes can be used instead of 33 attributes. Utilizing genetic algorithm and deep learning as a machine learning method has achieved a predictive accuracy performance of 97.70 %, which is higher than the value that can be achieved by using all the attributes. This study differs from the others in that it combines the reduced number of attributes and machine learning, as well as the ordering of instructor performances in concrete terms.

Keywords

• Educational data mining,instructor performance,machine learning,feature selection,performance evaluation

Öznitelik Seçme ve Makine Öğrenmesi Yöntemleriyle Eğitmen Performansının Tahmin Edilmesi

Abstract

Günümüzde hayatın her sektöründe işlenen veri miktarının artması, veri madenciliğin giderek daha popüler hale gelmesine yol açmış ve yüksek miktarda verinin artan bir karmaşıklıkta işlenmesi ihtiyacı doğmuştur. Finanstan, sağlığa, savunmadan eğitime onlarca sektörün sorunlarını çözmek adına gün geçtikçe farklı yöntemler geliştirilmekte, sosyal, ekonomik, bilimsel birçok problemin çözümü adına veri madenciliği yöntemlerine başvurulmaktadır. Eğitilen ve eğiten sayısının gün geçtikçe arttığı eğitim sektöründe ise, sistemin başarısının geliştirilebilmesi için, gerek eğitilen gerekse eğitimcilerinin performanslarının takip edilmesi ve kıymetlendirilmesi ihtiyacı, eğitimsel veri madenciliği kavramını doğurmuştur. Bu alanda yapılan çalışmalar genel olarak, öğrenci performansı konularına yoğunlaştığından, eğitmen performansı konusunda daha çok çalışmaya ihtiyaç duyulmaktadır. Eğitimsel veri madenciliği alanında öznitelik seçme ile birleştirilmiş makine öğrenmesi kullanan çalışmaların genel olarak öğrenci performansı üzerine yoğunlaştığı, ancak az sayıdaki çalışmanın eğitmen performansı üzerinde durduğu görülmüştür. Bu çalışmamızda, eğitmen performansının eğitimsel veri madenciliği yöntemleriyle nasıl tespit edilebileceği üzerinde durulmuştur.  Çalışma kapsamında Gazi Üniversitesi öğrencilerinin eğitmenleri hakkında doldurdukları bir Likert Ölçekli Anket veri seti üzerinde çalışılmış, çeşitli öznitelik indirgeme algoritmaları ve farklı makine öğrenme yöntemleriyle veri seti kıymetlendirilmiş ve eğitmenlerin performansları tahmin edilmiştir. Elde edilen sonuçlara göre genetik algoritma ile öznitelik seçmenin, kullanılan veri seti için diğer yöntemlere kıyasla en iyi sonucu verdiğini göstermiş ve 33 tane öznitelik yerine 19 öznitelik kullanılabileceği ortaya çıkarılmıştır. Genetik algoritma ile birlikte makine öğrenmesi yöntemi olarak derin öğrenme kullanımı ile birlikte %97,70 bir tahmin doğruluk performansına ulaşılmış ve bu değerin tüm özniteliklerin kullanılması ile elde edilebilecek değerden yüksek olduğu görülmüştür. Bu çalışmayı diğerlerinden farklı kılan özelliği ise, indirgenmiş öznitelik sayısı ve makine öğrenmesini birleştirmesinin yanında, eğitmen performanslarının sıralanması işlemini de somut olarak yapmasıdır.

Keywords

• Eğitimsel veri madenciliği,eğitmen performansı,makine öğrenmesi,öznitelik seçme,performans kıymetlendirme

References

1. Agaoglu, M. (2016). Predicting instructor performance using data mining techniques in higher education. IEEE Access, 4, 2379-2387.
2. Ahmed, A. M., Rizaner, A., & Ulusoy, A. H. (2016). Using data mining to predict instructor performance. Procedia Computer Science, 102, 137-142.
3. Andonie, R. (2010). Extreme data mining: Inference from small datasets. International Journal of Computers Communications & Control, 5(3), 280-291.
4. Anwar, M., Naseer, A., & Ali, I. (2014). Identifying hidden patterns in students' feedback through cluster analysis. International Journal of Computer Theory and Engineering, 7, 16-20.
5. Coburn, L. (1984). Student evaluation of teacher performance. Education Resources Information Center Publications.
6. Cortez, P., & Silva, A. M. G. (2008). Using data mining to predict secondary school student performance. The European Multidisciplinary Society for Modelling and Simulation Technology.
7. Delavari, N., Phon-Amnuaisuk, S., & Beikzadeh, M. R. (2008). Data mining application in higher learning institutions. Informatics in Education, 7(1), 31-54.
8. Gunduz, G., & Fokoue, E. (2013). UCI machine learning repository [http://mlearn.ics.uci.edu/MLRepository.html]. Irvine, CA: University of California, School of Information and Computer Science.

9. Han, J., Pei, J., & Kamber, M. (2011). Data mining: Concepts and techniques. Morgan Kaufmann.
10. Hobson, S. M., & Talbot, D. M. (2001). Understanding student evaluations: What all faculty should know. College teaching, 49(1), 26-31.
11. Karahan, Ş., & Akgül, Y. S. (2016). Eye detection by using deep learning. 24th International Conference on Signal Processing and Communication Application (SIU), 2145-2148, Izmir, Turkey.
12. Koutina, M., & Kermanidis, K. L. (2011). Predicting postgraduate students’ performance using machine learning techniques. Advances in Information and Communication Technology, 364, 159-168.
13. Marsh, H. W., & Roche, L. A. (1997). Making students' evaluations of teaching effectiveness effective: The critical issues of validity, bias, and utility. American Psychologist, 52(11), 1187.
14. Mendes, R. R. F., de Voznika, F. B., Freitas, A. A., & Nievola, J. C. (2001) Discovering fuzzy classification rules with genetic programming and co-evolution. Lecture Notes in Computer Science - Principles of Data Mining and Knowledge Discovery, 2168, 314-325.
15. Minaei-Bidgoli, B., & Punch, W. F. (2003). Using genetic algorithms for data mining optimization in an educational web-based system. Lecture Notes in Computer Science, 2724, 2252-2263.
16. Natek, S., & Zwilling, M. (2014). Student data mining solution–knowledge management system related to higher education institutions. Expert Systems with Applications, 41(14), 6400-6407.
17. Oyedotun, O. K., Tackie, S. N., Olaniyi, E. O., & Khashman, A. (2015). Data mining of students' performance: Turkish students as a case study. International Journal of Intelligent Systems and Applications, 7(9), 20-27.
18. Peña-Ayala, A. (2014). Educational data mining: A survey and a data mining-based analysis of recent works. Expert Systems with Applications, 41(4), 1432-1462.
19. Radmacher, S. A., & Martin, D. J. (2001). Identifying significant predictors of student evaluations of faculty through hierarchical regression analysis. The Journal of Psychology, 135(3), 259-268.
20. Romero, C., & Ventura, S. (2007). Educational data mining: A survey from 1995 to 2005. Expert Systems with Applications, 33(1), 135-146.
21. Sanjay, S. S., & Keshav, B. B. (2017). Teacher’s performance analyzer. The International Journal on Emerging Trends in Technology, 4(1), 178- 180.
22. Sorour, S. E., Goda, K., & Mine, T. (2015). Estimation of student performance by considering consecutive lessons. 4th International Congress on Advanced Applied Informatics (IIAI-AAI), 121-126, Okayama, Japan.
23. Superby, J. F., Vandamme, J. P., & Meskens, N. (2006). Determination of factors influencing the achievement of the first-year university students using data mining methods. 8th International Conference on Intelligent Tutoring Systems, Educational Data Mining Workshop, 234-240, Jhongli, Taiwan.
24. Theodoridis, S., & Koutroumbas, K. (2008). Pattern recognition. Academic Press.