Veri Madenciliğinde Kullanılan Öğrenme Yöntemlerinin Farklı Koşullar Altında Karşılaştırılması

Abstract

Bu çalışmada veri madenciliği ve makine öğrenme yaklaşımının eğitim alanında kullanılması ve bu algoritmalara dayalı olarak elde edilen sonuçların güvenirlik ve geçerlik değerlerinin ne düzeyde olduğu belirlenmeye çalışılmıştır. PISA 2015 Türkiye ortalamasına göre öğrencilerin başarılı ve başarısız olarak sınıflandığı çalışmada farklı öğrenme yöntemleri kullanılarak fen okuryazarlığı bakımından öğrencilerin hangi sınıfta yer alacağı tahmin edilmiş ve bu aşamada elde edilen sonuçların güvenirlik ve geçerlik ölçütleri incelenmiştir. Çalışma kapsamında ele alınan 8 farklı öğrenme yönteminden doğru sınıflama sayısı, doğru sınıflama oranı, kappa istatistiği, karekök hata ve göreceli karekök hata değerleri bakımından en iyi sonuçların Random Forest yöntemiyle elde edilirken Ridge lojistik regresyon, Lojistik model ve Hoefding tree yöntemlerinin en başarılı diğer yöntemler olduğu belirlenmiştir. Çapraz geçerleme yöntemi kullanılmadan tüm veri setinin eğitim ve test veri seti olarak ayrılması durumunda Lojistik model, Random Forest ve Ridge Regresyon yöntemlerinin farklı büyüklükteki test verilerinde en düşük hata değerlerini verirken Random Tree ve J.48 yönteminlerinin en yüksek hata değerlerine sahip olduğu belirlenmiştir. Ridge regresyon, Random forest ve Lojistik model tarafından elde edilen hata değerlerinin de farklı yüzdelikteki test verilerinde oldukça tutarlı olduğu sonucuna ulaşılmıştır. Farklı yöntemler yardımıyla elde edilen ölçme sonuçlarının veri setini test ve eğitim verisi olarak ayırmayıp aynı veri seti üzerinden hem öğrenme yöntemini eğitip hem de test ettiğimiz taktirde özellikle Random tree ve J.48 öğrenme yöntemlerinin gerçek performanslarından daha yüksek doğru sınıflama oranına sahip oldukları belirlenmiştir.

Keywords

• Veri madenciliği,WEKA,Öğrenme yöntemi,Sınıflama

References

1. Ahmed, A. B., & Elaraby, I. S. (2014) Data Mining: A prediction for student's performance using classification method. World Journal of Computer Application and Technology, 2 (2), 43-47.
2. Boss, D. D. (2003). Introduction to the Bootstrap World, Statistical Science, 18 (2), 168-174.
3. Bramer, M. (2013). Principles of Data Mining (2nd ed.), London: Springer-Verlag.
4. Brown, M. S. (2014). Data Mining For Dummies, Hoboken, New Jersey: John Wiley & Sons.
5. Chamatkar, A. J., & Butey, P. K. (2014) Importance of data mining with different types of data applications and challenging areas, Journal of Engineering Research and Applications, 4 (5), 38-41.
6. Chen, S. X. and J. S. Liu (1997). Statistical applications of the Poisson-binomial and conditional Bernoulli distributions. Statistica Sinica 7, 875–892.
7. Dekking, F. M., Kraaikamp, C., Lopuhaa, H. P. & Meester, L. E. (2005) A modern ıntroduction to probability and statistics: understanding why and how, United States of America: Springer Science+Business Media.
8. Domingos, P. (2012), A few useful things to know about machine learning, Communications of the ACM, 55 (10), 78–87.

9. Efron, B. (1979). Bootstrap methods: another look at the jackknife. Annals of Statistics, 7, 1–26.
10. Elayidom, S. M. (2012). Design and development of data mining models for the prediction of manpower (Unpublished Doctoral Thesis), Cochin University of Science and Technology Computer Science and Engineering, Kochi, India.
11. Elhamahmy, M. E., Elmahdy, H. N., & Saroit, I. A. (2010). A new approach for evaluating intrusion detection system, CiiT International Journal of Artificial Intelligent Systems and Machine Learning, 2 (11), 290-298.
12. Fernandez-Delgado, M., Cernadas, E., Barro, S., & Amorim, D. (2014). Do we need hundreds of classifiers to solve real world classification problems? Journal of Machine Learning Research, 15, 3133–3181.
13. Fraenkel, J. R., Wallen, N. E., & Hyun, H. H. (2012). How to design and evaluate research in education (8th ed.). New York: Mc Graw HIll.
14. Friedman, J. H., & Fisher N. I. (1999). Bump hunting in high-dimensional data. Stat Comput, 9,123–143.
15. Galdi, P., & Tagliaferri, R. (2017). Data Mining: Accuracy and Error Measures for Classification and Prediction, in Reference Module in Life Sciences, Holland: Elsevier
16. Han, J., & Kamber, M. (2006). Data Mining: Concepts and Techniques, (2nd edition),
17. Hastie, T., Tibshirani, R., & Friedman, J. H. (2009). The elements of statistical learning: Data mining, inference, and prediction. New York, NY: Springer.
18. Huang, S., & Fang, N. (2013). Predicting student academic performance in an engineering dynamics course: A comparison of four types of predictive mathematical models. Computers & Education, 61, 133–145.
19. Kohavi, R. (1995). A study of cross-validation and bootstrap for accuracy estimation and model selection, Appears in the International Joint Conference on Articial Intelligence, 2, 1137-1143.
20. Kuonen, D. (2018). An introduction to bootstrap methods and their application, WBL in Angewandter Statistik ETHZ 2017/19, 1-143.
21. Liaw A. & Wiener M. (2002), Classification and regression by random forest, R News, 2 (3), 18-22.
22. Lykourentzou, I., Giannoukos, I., Mpardis, G., Nikolopoulos, V., & Loumos, V. (2009). Early and dynamic student achievement prediction in e-learning courses using neural networks, Journal of the American Society for Information Science and Technology, 60 (2), 372–380.
23. Mavroforakis, C. (2011). Data mining with WEKA, Boston University, Retrived from http://cs-people.bu.edu/cmav/cs105/files/lab12/intro_to_weka.pdf
24. MEB (2016). PISA 2015 Ulusal Ön Raporu. Ankara: MEB
25. Mehdiyev, N., Enke, D., Fettke, P., & Loos, P. (2016). Evaluating Forecasting Methods by Considering Different Accuracy Measures, Procedia Computer Science, 95, 264 – 271.
26. Ng, A.Y. (1997). Preventing "overfitting" of cross-validation data. In D.H. Fisher (Ed.), Proceedings of the 14th International Conference on Machine Learning, Nashville, TN, USA, July 8–12, San Francisco, CA: Morgan Kaufmann.
27. North, M. A. (2012). Data Mining for the Masses, ABD: A Global Text Project Book.
28. Olmo, J.L. Romero, J.R. & Ventura, S. (2012). Classification rule mining using ant programming guided by grammar with multiple Pareto fronts. Soft Computing, 16 (12), 2143-2163.
29. Ramageri, M. B. (2010). Data mining techniques and applications, Indian Journal of Computer Science and Engineering, 1 (4), 301-305.
30. Refaeilzadeh, P., Tang, L., & Liu., H. (2009). Cross Validation. In Encyclopedia of Database Systems, (Editors: M. Tamer Özsu and Ling Liu). New York, ABD: Springer publishing.
31. Schwenke, C., & Schering, A. (2007). True Positives, True Negatives, False Positives, False Negatives. New Jersey, ABD: Wiley Encyclopedia of Clinical Trials.
32. Sinha, A. P., & May, J. H. (2005) Evaluating and tuning predictive data mining models using receiver operating characteristic curves, Journal of Management Information Systems, 21 (3), 249-280.
33. Sinharay, S. (2016). An NCME instructional module on data mining methods for classification and regression, Educational Measurement: Issues and Practice, 35 (3), 38–54.
34. Souza, J., Matwin, S., & Japkowicz, N. (2002). Evaluating data mining models: a pattern language. In: 9th Conference on Pattern Language of Programs (PLOP’02), Monticello, Illinois, 8–12 September 2002.
35. Strobl, C., Malley, J., & Tutz, G. (2009). An introduction to recursive partitioning: Rationale, application, and characteristics of classification and regression trees, bagging, and random forests. Psychological Methods, 14, 323–348.
36. Svetnik, V., Liaw, A., Tong, C., & Wang, T. (2004). Application of Breimans random forest to modeling structure-activity relationships of pharmaceutical molecules. In F. Roli, J. Kittler, & T. Windeatt (Eds.), Multiple classifier systems (vol. 3077, pp. 334–343). Cagliari, Italy: Springer.
37. Vanwinckelen, G., & Blockeel, H. (2012) On estimating model accuracy with repeated cross-validation, Belgian-Dutch Conference on Machine Learning (BeneLearn) edition:21 location, 24-25 May 2012.
38. Weiss, S. M., & Kulikowski, C. A. (1991). Computer Systems that Learn: Classification and Prediction Methods from Statistics, Neural Nets, Machine Learning, and Expert Systems. San Mateo, CA: Morgan Kaufmann.
39. Williams, G. (2011) Data mining with Rattle and R: The art of excavating data for knowledge discovery, New York, USA: Springer Science+Business Media
40. Witten, I. H., & Frank, E. (2005) Data minig: Practical machine learning tools and techniques, United States of America: Morgan Kaufmann publications
41. Witten, I. H., Frank, E., & Hall, M. (2016) Data minig: Practical machine learning tools and techniques, United States of America: Morgan Kaufmann publications.