PREDICTING PUBLIC PERSONNEL SELECTION EXAMINATION ACHIEVEMENT: A DATA MINING APPROACH

Abstract

This research investigates the predictive variables related to the Public Personnel Selection Examination (KPSS), utilized for recruitment in public institutions and organizations. The study explores predictor variables' importance levels by analysing longitudinal data, including examinees' high-stakes exams, demographic information, and educational backgrounds. It compares the prediction performances of machine learning algorithms such as artificial neural networks, random forest, support vector machine, and k-nearest neighbour. The findings reveal that the quantitative test of the graduate education exam is the most influential predictor, closely followed by the mathematics test of the university entrance exam. These results highlight the importance of quantitative reasoning skills in predicting KPSS achievement. Additionally, variables related to undergraduate programs and universities demonstrate significant importance in predicting KPSS achievement. Notably, the artificial neural networks model demonstrates superior predictive accuracy compared to other models, indicating its effectiveness in KPSS prediction. This research sheds light on important predictors of KPSS achievement and provides valuable insights into the effectiveness of different prediction models.

Keywords

• KPSS
• Artificial Neural Networks
• Support Vector Machine
• k-Nearest Neighbor
• Random Forest

References

1. Açıl, Ü. (2010). Öğretmen adaylarının akademik başarıları ile KPSS puanları arasındaki ilişkinin çeşitli değişkenler açısından incelenmesi (Publication No. 264743) [Master’s thesis, Mustafa Kemal University]. YOK Thesis Center.
2. Arıkan, S., & D'Costa, A. (2016). ÖSS ve LES ile ölçülen sayısal ve sözel beceriler arasındaki ilişki. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 12(1), 303-313. https://doi.org/10.17860/efd.71302
3. Bahadır, E. (2013). Yapay Sinir Ağları ve Lojistik Regresyon Analizi Yaklaşımları ile Öğretmen Adaylarının Akademik Başarılarının Tahmini, (Publication No. 349939) [Doctoral thesis, Marmara University]. YOK Thesis Center.
4. Bahar, H.H., (2006). KPSS puanlarının akademik başarı ve cinsiyet açısından değerlendirilmesi. Eğitim ve Bilim, 31(140), 68-74. https://egitimvebilim.ted.org.tr/index.php/EB/article/view/5010
5. Bahar, H.H., (2011). ÖSS puanı ve lisans mezuniyet notunun KPSS 10 Puanını Yordama Gücü. Eğitim ve Bilim, 36(162), 168-181. https://egitimvebilim.ted.org.tr/index.php/EB/article/view/801
6. Baker, R.S.J.d. (2010). Data mining. In P. Peterson, E. Baker & B. McGaw (Eds.), International Encyclopedia of Education (3rd ed., pp. 112-118). Elsevier. https://doi.org/10.1016/B978-0-08-044894-7.01318-X.
7. Baştürk, R. (2008). Fen ve teknoloji alanı öğretmen adaylarının kamu personeli seçme sınavı başarılarının yordanması. İlköğretim Online, 7 (2), 323-332. https://dergipark.org.tr/tr/pub/ilkonline/issue/8601/107111
8. Bayazit, A., Askar, P., & Cosgun, E. (2014). Predicting learner answers correctness through eye movements with random forest. In A. Peña-Ayala (Ed.), Educational data mining (pp.203-226). Springer. https://link.springer.com/book/10.1007/978-3-319-02738-8

9. Boateng, E.Y., Otoo, J. and Abaye, D.A. (2020) Basic tenets of classification algorithms K-nearest-neighbor, support vector machine, random forest and neural network: A review. Journal of Data Analysis and Information Processing, 8, 341–357. https://doi.org/10.4236/jdaip.2020.84020
10. Bramer, M. (2020). Principles of data mining (4th ed.). London: Springer.
11. Breiman, L. (2001). Random forests, Machine Learning, 45(1) 5–32. https://doi.org/10.1023/A:1010933404324
12. Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö.E., Karadeniz, Ş. & Demirel, F. (2014). Bilimsel araştırma yöntemleri (18th ed.). Ankara: Pegem Akademi.
13. Chapman, P., Clinton, J., Kerber, R., Khabaza, T., Reinartz, T., Shearer, C. & Wirth, R. (2000). CRISP-DM 1.0 step-by-step data mining guide. SPSS inc. URL: https://www.kde.cs.uni-kassel.de/wp-content/uploads/lehre/ws2012-13/kdd/files/CRISPWP-0800.pdf
14. Cortes, C., & Vapnik, V. (1995). Support-vector networks. Machine Learning, 20, 273-297. http://dx.doi.org/10.1007/BF00994018
15. Cox, D. R., & Wermuth, N. (1992). A comment on the coefficient of determination for binary responses. The American Statistician, 46(1), 1–4. https://doi.org/10.2307/2684400
16. Çırak, G. (2012). Yükseköğretimde öğrenci başarılarının sınıflandırılmasında yapay sinir ağları ve lojistik regresyon yöntemlerinin kullanılması (Publication No. 311755) [Master’s thesis, Ankara University]. YOK Thesis Center.
17. Demir, M. (2015). Predicting pre-service classroom teachers’ civil servant recruitment examination’s educational sciences test scores using artificial neural networks. Educational Sciences: Theory & Practice, 15(5), 1169–1177. https://doi.org/10.12738/estp.2015.5.0018
18. Dunham, M.H. (2003). Data mining: Introductory and advanced topics. New Jersey: Pearson Education.
19. Ercoşkun, M. H., & Nalçacı, A. (2009). Sınıf öğretmeni adaylarının ÖSS, akademik ve KPSS başarılarının çeşitli değişkenler açısından incelenmesi. Kastamonu Eğitim Dergisi, 17(2), 479–486.
20. Ersöz, F. (2019). Veri madenciliği teknikleri ve uygulamaları. Ankara: Seçkin Yayıncılık. Fausett, L. (1994). Fundamentals of neural networks: architectures, algorithms, and applications. New Jersey: Prentice-Hall Englewood Cliffs.
21. Fraenkel, J.R., Wallen, N.E., & Hyun, H.H. (2012). How to design and evaluate research in education (8th ed.). New York: McGraw-Hill.
22. Gholamy, A., Kreinovich, V., & Kosheleva, O. (2018). Why 70/30 or 80/20 relation between training and testing sets: A pedagogical explanation. Departmental Technical Reports (CS). 1209. https://scholarworks.utep.edu/cs_techrep/1209
23. Jidagam, R., & Rizk, N. J. (2016). Evaluation of predictive data mining algorithms in student academic performance. Paper presented at the meeting of 10th International Technology, Education and Development Conference, Valencia, Spain. Retrieved from https://doi.org/10.21125/inted.2016.0487
24. Han, J., Kamber, M., & Pei, J. (2012). Data mining: concepts and techniques (3rd ed.). Waltham: Morgan Kaufmann.
25. Kablan, (2010). Akademik mezuniyet ortalama puanı ile KPSS başarı puanı arasındaki ilişki. Uludağ Üniversitesi Eğitim Fakültesi Dergisi, 23 (2), 451-470. https://dergipark.org.tr/tr/download/article-file/153416
26. Kayri, M. (2015). An intelligent approach to educational data: Performance comparison of the multilayer perceptron and the radial basis function artificial neural networks. Educational Sciences: Theory & Practice, 15(5), 1247–1255. https://doi.org/10.12738/estp.2015.5.0238
27. Kösterelioğlu, İ., Kösterelioğlu, M.A., & Kilmen, S. (2008). Kamu personeli seçme sınavı puanları ile lisans diploma notu arasındaki ilişkilerin çeşitli değişkenlere göre incelenmesi. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 8(1), 151-160. https://dergipark.org.tr/tr/download/article-file/16612
28. Larose, D. T. (2005). Discovering knowledge in data: An introduction to data mining. New Jersey: John Wiley & Sons.
29. Madaus, G. (1998). The distortion of teaching and testing: High-stakes testing and instruction. Peabody Journal of Education, 65(3), 29–46. https://www.jstor.org/stable/1492818
30. Mengash, H.A. (2020). Using data mining techniques to predict student performance to support decision-making in university admission systems. IEEE Access, 8, 55462-55470. https://ieeexplore.ieee.org/document/9042216
31. Mitchell, T.M. (1997). Machine learning. New York: McGraw-Hill.
32. Musso, M. F., Cascallar, E. C., Bostani, N., & Crawford, M. (2020). Identifying reliable predictors of educational outcomes through machine-learning predictive modeling. In Frontiers in Education, 5, 104. https://doi.org/10.3389/feduc.2020.00104
33. Olson, D.L., & Delen, D. (2008). Advanced data mining techniques. Berlin: Springer.
34. Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2012a). 2012 Öğrenci Seçme ve Yerleştirme Sistemi (ÖSYS) Kılavuzu. ÖSYM. Retrieved May 22, 2023, from https://www.osym.gov.tr/Eklenti/173,klavuz-2012mail-kpdf.pdf?0
35. Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2012b). YGS Sonuçlarına İlişkin Sayısal Bilgiler. ÖSYM. Retrieved May 22, 2023, from https://www.osym.gov.tr/TR,986/2012-ygs-sonuclarina-iliskin-sayisal-bilgiler.html
36. Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2013a). 2013 Öğrenci Seçme ve Yerleştirme Sistemi (ÖSYS) Kılavuzu. ÖSYM. Retrieved May 22, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2013/OSYS/2013OSYSSISTEMKILAVUZU%2021%2003%202013.pdf
37. Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2013b). Yükseköğretime Geçiş Sınavının Değerlendirilmesi. ÖSYM. Retrieved May 22, 2023, from https://www.osym.gov.tr/TR,896/2013-yuksekogretime-gecis-sinavinin-2013-ygs-degerlendirilmesi-01042013.html
38. Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2014a). 2014 Öğrenci Seçme ve Yerleştirme Sistemi (ÖSYS) Kılavuzu. ÖSYM. Retrieved May 22, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2014/YGS/2014_OSYS_KILAVUZU_02_01_2014.pdf
39. Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2014b). Yükseköğretime Geçiş Sınavının Değerlendirilmesi. ÖSYM. Retrieved May 22, 2023, from https://www.osym.gov.tr/TR,829/2014-yuksekogretime-gecis-sinavinin-2014-ygs-degerlendirilmesi-29032014.html
40. Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2015a). 2015 Öğrenci Seçme ve Yerleştirme Sistemi (ÖSYS) Kılavuzu. ÖSYM. Retrieved May 22, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2015/YGS/2015_OSYS_KILAVUZ.pdf
41. Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2015b). YGS Sonuçlarına İlişkin Sayısal Bilgiler. ÖSYM. Retrieved May 22, 2023, from https://www.osym.gov.tr/TR,58/2015-ygs-sonuclarina-iliskin-sayisal-bilgiler.html
42. Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2016a). 2016 Öğrenci Seçme ve Yerleştirme Sistemi (ÖSYS) Kılavuzu. ÖSYM. Retrieved May 22, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2016/YGS/2016-OSYSKILAVUZU11012016.pdf
43. Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2016b). YGS Sonuçlarına İlişkin Sayısal Bilgiler. ÖSYM. Retrieved May 22, 2023, from http://dokuman.osym.gov.tr/pdfdokuman/2016/YGS/2016_YGS_Sayisal_Bilgiler.pdf
44. Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2017a). 2017 Öğrenci Seçme ve Yerleştirme Sistemi (ÖSYS) Kılavuzu. ÖSYM. Retrieved May 22, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2017/OSYS/KILAVUZ18042017.pdf
45. Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2017b). YGS Sonuçlarına İlişkin Sayısal Bilgiler. ÖSYM. Retrieved May 22, 2023, from https://www.osym.gov.tr/TR,13047/2017-ygs-sinav-sonuclarina-iliskin-sayisal-bilgiler.html
46. Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2020a). Akademik Personel ve Lisansüstü Eğitimi Giriş Sınavı (ALES) İlkbahar Dönemi Kılavuzu. ÖSYM. Retrieved June 14, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2020/ALES-1/aleskilavuz15052020.pdf
47. Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2020b). 2020 Kamu Personel Seçme Sınavı (Kpss) Kılavuzu Lisans. ÖSYM. Retrieved July 12, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2020/KPSS/kilavuz02022021.pdf
48. Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM), (2020c). 2020 Yabancı Dil Bilgisi Seviye Tespit Sınavı (YDS) Kılavuzu. ÖSYM. Retrieved June 15, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2020/YDS-1/kilavuz18082020.pdf
49. Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2020d). 2020 Yükseköğretim Kurumları Sınavı (YKS) Yükseköğretim Programları ve Kontenjanları Kılavuzu. ÖSYM. Retrieved June 10, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2020/YKS/tkilavuz13082020.pdf
50. Özçınar, H. (2006). KPSS sonuçlarının veri madenciliği yöntemleriyle tahmin edilmesi (Publication No. 180572) [Master’s thesis, Pamukkale University]. YOK Thesis Center.
51. Özkan, R., & Pektaş. S. (2011). Eğitim fakültesi son sınıf öğrencilerinin mezuniyet başarı notları ile KPSS puanları arasındaki ilişki üzerine bir araştırma (eğitim fakültesi örneği). Türklük Bilimi Araştırmaları, 30, 269-281. https://dergipark.org.tr/tr/download/article-file/157093
52. Rai, S., Shastry, K.A., Pratap, S., Kishore, S., Mishra, P., Sanjay, H.A. (2021). Machine learning approach for student academic performance prediction. In: Bhateja, V., Peng, SL., Satapathy, S.C., Zhang, YD. (eds) Evolution in Computational Intelligence. Advances in Intelligent Systems and Computing, 1176. Springer. https://doi.org/10.1007/978-981-15-5788-0_58
53. Safran, M., Kan, A., Üstündağ, M.T., Birbudak, T.S., & Yıldırım, O. (2014). 2013 KPSS sonuçlarının öğretmen adaylarının mezun oldukları alanlara göre incelenmesi. Eğitim ve Bilim, 39(171), 13-25. https://egitimvebilim.ted.org.tr/index.php/EB/article/view/3044
54. Sammut, C., & Webb, G.I. (Ed.). (2011). Encyclopedia of Machine Learning. New York: Springer.
55. Şen, B., Uçar, E., & Delen, D. (2012). Predicting and analyzing secondary education placement-test scores: A data mining approach. Expert Systems with Applications, 39(10), 9468-9476. https://doi.org/10.1016/j.eswa.2012.02.112
56. Şengür, D., & Tekin, A. (2013). Öğrencilerin mezuniyet notlarının veri madenciliği metotları ile tahmini. Bilişim Teknolojileri Dergisi, 6(3), 7-16. https://dergipark.org.tr/tr/pub/gazibtd/issue/6629/88010
57. UniVeri. (n.d.). Türkiye Cumhuriyeti Cumhurbaşkanlığı İnsan Kaynakları Ofisi UniVeri. Retrieved February 29, 2024, from https://www.cbiko.gov.tr/projeler/uni-veri
58. Wendler, T., & Gröttrup, S. (2021). Data mining with SPSS Modeler theory, exercises and solutions (2nd ed.). Springer. https://doi.org/10.1007/978-3-030-54338-9
59. Yeşil, R., Korkmaz, Ö., & Kaya, S. (2009). Eğitim fakültesindeki akademik başarının kamu personeli seçme sınavındaki başarı üzerinde etkisi. Fırat Üniversitesi Sosyal Bilimler Dergisi, 19(2), 149-160. https://dergipark.org.tr/tr/download/article-file/72001
60. Yükseköğretim Kurulu (YÖK), 2023. Üniversite izleme ve değerlendirme genel raporu 2023. Retrieved February 13, 2024, from https://www.yok.gov.tr/Documents/Yayinlar/2023-universite-izleme-ve-degerlendirme-genel-raporu.pdf