PISA 2015 Veri Setinde OVA ve OVO Stratejileri Çerçevesinde Bazı Temel Sınıflandırıcıların Performanslarının Karşılaştırılması

Year 2022, Volume: 19 Issue: 3, 733 - 759, 10.12.2022

Hümeyra Demir , Gürol Zırhlıoğlu

https://doi.org/10.33711/yyuefd.1071860

Abstract

Bu çalışmanın amacı hem çok sınıflı verilerin sınıflandırılması için kullanılan OVA ve OVO stratejilerinin hem de bu stratejiler altında uygulanan bazı ikili sınıflandırıcıların performanslarının karşılaştırılmasıdır. Çalışmanın yöntemi betimsel araştırmadır. PISA 2015 Türkiye uygulamasının fen başarı testi ve anket sonuçları veri seti olarak kullanılmıştır. PISA 2015 Türkiye uygulamasına 61 ilden 187 okul ve 5895 öğrenci katılmıştır. Okullar belirlenirken tabakalı seçkisiz örnekleme yöntemi kullanılmış daha sonra bu okullardan seçilen öğrenciler yine seçkisiz yöntemle belirlenmiştir. Okullar, istatistiki bölge birimleri sınıflamasına göre belirlenen 12 bölge içinden, eğitim türü, okul türü, okulların bulundukları yer ve okulların idari biçimleri dikkate alınarak oluşturulmuştur. 5895 örnek içeren veri setinden, boş veri içeren örnekler silindiğinde elde edilen 3459 örnekli veri seti çalışmada kullanılmıştır. 26 bağımsız 1 bağımlı değişkenden oluşan veri setinde bağımsız değişkenler kategorik olarak tanımlanmıştır. Veri dosyası arff formatına dönüştürülerek WEKA experimenter tezgâhında analizler gerçekleştirilmiştir. OVA ve OVO stratejileri altında belirlenen beş farklı algoritma veri setine uygulanmıştır. Test seçeneklerinden 10 katlı çapraz geçerleme, birleştirme stratejilerinden de oy verme tekniği kullanılmıştır. Analiz sonucunda OVA ve OVO stratejilerinin her ikisi altında en başarılı algoritmalar LR ve NB algoritmaları iken en başarısız algoritma KNN algoritması olarak belirlenmiştir. En az örnek içeren sınıfı tahminleyebilme başarısı bakımından her iki strateji altında da en başarılı algoritma KNN algoritmasıdır. Algoritmalar doğruluk değeri ve hata ortalaması bakımından OVA stratejisi altında F metriği bakımından ise OVO stratejisi altında daha başarılıdır. Farklı algoritmaların performansları farklı ve daha çok sayıda veri seti üzerinde, farklı ayrıştırma ve birleştirme stratejileri ile, farklı test seçenekleri, farklı performans metrikleri, farklı algoritma parametreleriyle ya da yapılacak farklı önişlemler ile denenebilir.

Keywords

Ayrıştırma stratejileri, Çok sınıflı sınıflandırma, Sınıflandırma algoritmaları, Performans karşılaştırma.

Comparing the Performance of Some Basic Classifiers Within the Framework of OVA and OVO Strategies in PISA Dateset

Abstract

The aim of this study is to compare the OVA and OVO strategies used for the classification of multi-class data as well as the performance of some binary classifiers under these strategies. The method of the study is descriptive research. Test data and survey results of 5895 Turkish students who participated to PISA-2015 were used. PISA 2015 science achievement test and survey results obtained from Turkey were used as data set. 5895 students from 187 schools and 61 provinces joined PISA 2015 in Turkey while determining the schools, stratified random sampling method was used and then the students selected from these schools were determined by random method. The schools were formed by taking into account the types of education, type of school, the location of the schools and the administrative forms of the schools within the 12 regions determined by the classification of statistical district units. In the data set containing 5895 samples, the 3459 sample data set obtained when the samples containing missing data were deleted was used in the study. In the data set consisting of 26 independent and 1 dependent variables, independent variables were categorically defined. The data file was converted to arff format and analyzed at WEKA experimenter. It was applied five different algorithms to data set under OVA and OVO strategies. 10-fold cross validation from the test options and voting techniques from the joining strategies were used. The most successful algorithms under both OVA and OVO strategies are LR and NB algorithms, while the most failing algorithm is the KNN algorithm. The most successful algorithm under both strategies is the KNN algorithm for the success of estimating the class with the least sample. Algorithms in terms of accuracy and mean error metrics are more successful under the OVA strategy and F metric for the OVO strategy. The performance of the different algorithms can be tested on different and more data sets, with different decomposition and combining strategies, test options, performance metrics, algorithm parameters or pre processes to be made.

Keywords

Multiclass classification, Binarization techniques, Classification algorithms, Comparing performance.

References

• Adnan, M. N. & Islam, M. Z. (2015). One-vs-all binarization technique in the context of random forest. European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning (ESANN), 22-24 April 2015, Bruges, Belgium.
• Akçapınar, G. (2014). Çevrimiçi öğrenme ortamındaki etkileşim verilerine göre öğrencilerin akademik performanslarının veri madenciliği yaklaşımı ile modellenmesi (Yayımlanmış doktora tezi). Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.
• Akpınar, H. (2000). Veri tabanlarında bilgi keşfi ve veri madenciliği. İstanbul Üniversitesi İşletme Fakültesi Dergisi, 29 (1), 1-22.
• Allwein, E. L., Schapire, R. E. & Singer, Y. (2000). Reducing multiclass to binary: A unifying approach for margin classifiers. Journal of Machine Learning Research, 1, 113-141.
• Altman, D. G. (1990). Practical statistics for medical research. USA: CRC press.
• Aydoğan, E. (2008), Veri madenciliğinde sınıflandırma problemleri için evrimsel algoritma tabanlı yeni bir yaklasım: Rough-Mep algoritması. Gazi Üniversitesi Fen Bilimleri Enstitüsü: Yayımlanmamış doktora tezi.
• Aydoğdu, B. (2006). İlköğretim fen ve teknoloji dersinde bilimsel süreç becerilerini etkileyen değişkenlerin belirlenmesi (Yayımlanmış yüksek lisans tezi). Dokuz Eylül Üniversitesi Eğitim Bilimleri Enstitüsü, İzmir.
• Babadağ, K. (2006). Zeki veri madenciliği: Ham veriden altın bilgiye ulaşma yöntemleri. Industrial Application Software, 85-87.
• Batista, G. E. A. P. A. & Silva, D. F. (2009). How k-nearest neighbor parameters affect its performance. 10th Argentine Symposiumon Artificial Intelligence (ASAI 2009), 24-25 August 2009, Mar Del Plata, Argentina.
• Bhatia, N. & Vandana (2010). Survey of nearest neighbor techniques. International Journal of Computer Science and Information Security, 8 (2), 302-305.
• Bin Othman, M. F. & Yau, T. M. S. (2007). Comparison of different classification techniques using WEKA for breast cancer. 3rd Kuala Lumpur International Conference on Biomedical Engineering, 11-14 December 2006, Kuala Lumpur, Malaysia.
• Bulut, F. (2016). Performance evaluations of supervised learners on imbalanced datasets, 26-27 April 2016, Istanbul, Turkey.
• Cong, Y., Yang X. G., Lv, W. & Xue, Y. (2009). Prediction of novel and selective TNF-alpha converting enzyme (TACE) inhibitors and characterization of correlative molecular descriptors by machine learning approaches. Journal of Molecular Graphics and Modelling, 28 (3), 236-244.
• Coomans, D. & Massart, D. L. (1982). Alternative k-nearest neighbour rules in supervised pattern recognitition: Part 1. K-nearest neighbour classification by using alternative voting rules. Analytica Chimica Acta, 136, 15-27.
• Coşkun, C. (2010). Veri madenciliği algoritmalarının karşılaştırılması (Yayımlanmış yüksek lisans tezi). Dicle Üniversitesi Fen Bilimleri Enstitüsü, Diyarbakır.
• Coşkun, C. ve Baykal, A. (2011). Veri madenciliğinde sınıflandırma algoritmalarının bir örnek üzerinde karşılaştırılması. Malatya: Akademik Bilişim.
• Cover, T. M. ve Hart, P. E. (1967). Nearest neighbor pattern classification. IEEE Transactions on Information Theory, 13 (1), 21–27.
• Fayyad, U., Piatetsky-Shapiro, G., Smyth, P. & Uthurusamy, R. (Eds.) (1996). Advances in knowledge discovery and data mining. Cambridge: MIT Press/AAAI Press.
• Field, A. (2005). Discovering statistics using SPSS (2nd Edition). London: Sage Publications.
• Friedman, J. (1996). Another approach to polychotomous classification. Technical report, Department of Statistics, Stanford University, Stanford, CA.
• Galar, M., Fernández, A., Barrenechea, E. ve Herrera, F. (2015). DRCW-OVO: distance-based relative competence weighting combination for one-vs-one strategy in multi-class problems. Pattern recognition, 48 (1), 28-42.
• Hair, J. F., Black, W. C., Babin, B., Anderson, R. E. & Tatham, R. L. (2006). Multivariate data analysis (6th Edition). Upper Saddle River, NJ: Prentice-Hall.
• Han, J., Kamber, M. & Pei, J. (2011). Data mining: Concepts and techniques (3rd Edition). Burlington: Morgan Kaufmann Publishers.
• Hand, D. J. (2006). Classifier Technology and the Illusion of Progress. Institute of Mathematical Statistics in Statistical Science, 21 (1), 1-15.
• Hung, S. Y., Yen, D. C. & Wang, H. Y. (2006). Applying data mining to telecom churn management. Expert Systems with Applications, 31, 515–524. International Educational Data Mining Society [IEDMS], (2016). Educational data mining. [Çevrim-içi: http://www.educationaldatamining.org/], Erişim Tarihi: 26.12.2017.
• Kahraman, F., Çapar, A., Ayvacı, A., Demirel, H. ve Gökmen, M. (2004). Comparison of DVM and ANN performance for handwritten character classification. Proceedings of the IEEE 12th Signal Processing and Communications Applications Conference, 30-30 April 2004, Kusadasi, Turkey
• Kalıpsız, O. ve Cihan, P. (2015). Öğrenci proje anketlerini sınıflandırmada en iyi algoritmanın belirlenmesi. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi, 8 (1), 41-49.
• Kayri, M. ve Çokluk, Ö. (2010). Using multinomial logistic regression analysis in artificial neural network: An application. Ozean Journal of Applied Sciences, 3 (2), 259-268.
• Liu, B., Hao, Z. & Tsang, E. C. (2008). Nesting one-against-one algorithm based on DVMs for pattern classification. IEEE Transactions on Neural Networks, 19 (12), 2044-2052.
• Lorena, A. C., De Carvalho, A. C. ve Gama, J. M. P. (2008). A review on the combination of binary classifiers in multiclass problems. Artificial Intelligence Review, 30 (1), 19-37.
• Mertler, C.A. & Vannatta, R.A. (2005) Advanced and multivariate statistical methods: Practical application and interpretation (3rd Edition). Los Angeles: Pyrczak.
• Özbay, Ö. (2015). Veri madenciliği kavrami ve eğitimde veri madenciliği uygulamaları. Uluslararası Eğitim Bilimleri Dergisi, 4 (3), 262-272.
• Özkan, Y. (2016). Veri madenciliği yöntemleri (3. Baskı). İstanbul: Papatya Yayıncılık Eğitim.
• Pal, M. & Mather, P. M. (2003). An assessment of the effectiveness of decision tree methods for land cover classification. Remote Sensing of Environment, 86 (4), 554-565.
• Passerini, A., Pontil, M. & Frasconi, P. (2004). New results on error correcting output codes of kernel machines. IEEE Transactions on Neural Networks and Learning Systems, 15 (1), 45-54.
• Polat, K. ve Güneş, S. (2007). Classification of epileptiform EEG using a hybrid system based on decision tree classifier and fast Fourier transform. Applied Mathematics and Computation, 187 (2), 1017-1026.
• Qiu, X. Y., Kang, K. & Zhang, H. X. (2008). Selection of kernel parameters for KNN. IEEE International Joint Conference on Neural Networks (IJCNN), 1-8 June 2008, Hong Kong, China
• Sabzevari, H., Soleymani, M. & Noorbakhsh, E. (2007). A comparison between statistical and data mining methods for credit scoring in case of limited available data. Proceedings of the 3rd CRC Credit Scoring Conference, 22-25 July 2007, Edinburgh, UK.
• Sen, A., Islam, M. M., Murase, K. & Yao, X. (2016). Binarization with boosting and oversampling for multiclass classification. IEEE Transactions on Cybernetics, 46 (5), 1078-1091.
• Sharma, A. K. ve Sahni, S. (2011). A comparative study of classification algorithms for spam email data analysis. International Journal on Computer Science and Engineering, 3 (5), 1890-1895.
• Taruna, S. & Pandey, M. (2014). An empirical analysis of classification techniques for predicting academic performance. IEEE International Advance Computing Conference (IACC), 21-22 February 2014, Gurgaon, India.
• Varpa, K., Joutsijoki, H., Iltanen, K. ve Juhola, M. (2011). Applying one-vs-one and one-vs-all classifiers in k-nearest neighbour method and support vector machines to an otoneurological multi-class problem. Studies in Health Technology and Informatics, 169, 579–583.
• Yurdakul, S. (2015). Veri madenciliği ile lise öğrenci performanslarının değerlendirilmesi (Yayımlanmış yüksek lisans tezi). Kırıkkale Üniversitesi Fen Bilimleri Enstitüsü, Kırıkkale.
• Zaiane, O. R. & Luo, J. (2001). Towards evaluating learners’ behaviour in a web-based distance learning environment. Proceedings IEEE International Conference on Advanced Learning Technologies (ICALT 2001), 6-8 August 2001, Madison, WI, USA,
• Zhang H. (2004). The optimality of NB. Proceedings of the Seventeenth International Florida Artificial Intelligence Research Society Conference (FLAIRS 2004), 25-29 July 2004, Miami Beach, Florida, USA.