Examining the Performance of Regression Trees and Multiple Linear Regression Analyses in Predicting PISA 2022 Mathematical Literacy Skills

Year 2024, Volume: 37 Issue: 3, 1069 - 1091, 31.12.2024

Fatma Nur Aydın , Kübra Atalay Kabasakal

https://doi.org/10.19171/uefad.1489814

Abstract

In the study, predictions were made regarding the performance of multiple linear regression analysis and regression tree algorithm in predicting PISA 2022 mathematical literacy skills. In addition, the variables that are important in prediction were identified. Accordingly, data of 6645 individuals were used. As independent variables, two questionnaire items related to the use of digital resources, the number of weekly class hours, two different indices of mathematics self-efficacy, familiarity with mathematical concepts, ICT resources, home possessions, economic, social and cultural status index, and the first plausible value for reading literacy skills were used. Prediction performances were compared according to the metrics of mean absolute error, mean absolute error percentage, mean squared error, root mean squared error, bias, correlation between expected and observed values and explained variance. According to the results obtained, (1) although the prediction performance of both methods was good, multiple linear regression analysis showed better performance. (2) Although the importance ranking of the variables was largely similar in both methods, the two most important variables were reading literacy score and self-efficacy level towards formal and applied mathematics. The results obtained are discussed in the context of the characteristics of the data set.

Keywords

Regression tree, Multiple linear regression, PISA 2022, Mathematics literacy

Ethical Statement

Secondary data were used in this study. Therefore, ethical approval is not required. In the whole process from the planning of this study to the use of data and analysis of the data, all the rules specified in the "Directive on Scientific Research and Publication Ethics of Higher Education Institutions" were followed. None of the actions specified under the second section of the Directive, "Actions Contrary to Scientific Research and Publication Ethics", have been carried out. In the writing process of this research, scientific, ethical and citation rules were followed; no falsification was made on the data used. This study has not been sent to any other academic publication environment for evaluation.

Supporting Institution

None

Project Number

-

Thanks

None

Regresyon Ağaçları ve Çoklu Doğrusal Regresyon Analizlerinin PISA 2022 Matematik Okuryazarlığı Becerisini Yordama Performanslarının İncelenmesi

Abstract

Araştırmada çoklu doğrusal regresyon analizinin ve regresyon ağacı algoritmasının PISA 2022 matematik okuryazarlığı becerisini yordama performanslarına ilişkin kestirimler yapılmıştır. Buna ek olarak yordamada önemli olan değişkenlerin tespiti gerçekleştirilmiştir. Buna göre 6645 kişinin verileri kullanılmıştır. Bağımsız değişkenler olarak dijital kaynakların kullanımı ile ilgili iki anket maddesi, haftalık ders saati sayısı, matematik öz yeterliğine ilişkin iki farklı indeks, matematiksel kavramlara aşinalık, Bilgi ve İletişim Teknolojisi kaynakları, ev olanakları, ekonomik, sosyal ve kültürel statü indeksi, okuduğunu anlama becerisine ilişkin birinci olası değer kullanılmıştır. Tahmin performansları ortalama mutlak hata, ortalama mutlak hata yüzdesi, hata kareler ortalaması, hata kareler ortalamasının kökü, yanlılık, beklenen ve gözlenen değerler arasındaki korelasyon ve açıklanan varyans metriklerine göre karşılaştırılmıştır. Elde edilen sonuçlara göre (1) her iki yöntemin tahmin performansı iyi düzeyde olmakla birlikte, çoklu doğrusal regresyon analizi daha iyi performans göstermiştir. (2) Her iki yöntemde değişkenlerin önem sıralaması büyük ölçüde benzer olmakla birlikte, en önemli iki değişken okuduğunu anlama puanı ve formal ve uygulamalı matematiğe yönelik öz yeterlik düzeyi olmuştur. Elde edilen sonuçlar veri setinin özellikleri bağlamında tartışılmıştır.

Keywords

Regresyon ağacı, Çoklu doğrusal regresyon, PISA 2022, Matematik okuryazarlığı

Ethical Statement

Bu çalışmada ikincil veriler kullanılmıştır. Bu nedenle etik onay gerekli değildir. Bu araştırmanın planlanmasından, verilerin kullanılmasına ve verilerin analizine kadar olan tüm süreçte “Yükseköğretim Kurumları Bilimsel Araştırma ve Yayın Etiği Yönergesi” kapsamında uyulması belirtilen tüm kurallara uyulmuştur. Yönergenin ikinci bölümü olan “Bilimsel Araştırma ve Yayın Etiğine Aykırı Eylemler” başlığı altında belirtilen eylemlerden hiçbiri gerçekleştirilmemiştir. Bu araştırmanın yazım sürecinde bilimsel, etik ve alıntı kurallarına uyulmuş; kullanılan veriler üzerinde herhangi bir tahrifat yapılmamıştır. Bu çalışma herhangi başka bir akademik yayın ortamına değerlendirme için gönderilmemiştir.

Supporting Institution

Yok

Project Number

-

Thanks

Yok

References

• Acar Güvendir, M. (2017). Determination of the relationship between students' mathematical literacy and home and school educational resources in the Program for International Student Assessment (PISA 2012). Mersin University Journal of the Faculty of Education, 13(1), 94–109. https://doi.org/10.17860/mersinefd.305762
• Aksu, G., & Güzeller, C. (2016). Classification of PISA 2012 mathematical literacy scores using decision-tree method: Turkey sampling. Eğitim ve Bilim - Education and Science, 41(185), 101–122. https://doi.org/10.15390/EB.2016.4766
• Aksu, G., & Keceoğlu, C. R. (2019). Comparison of results obtained from logistic regression, CHAID analysis, and decision tree methods. Eurasian Journal of Educational Research, 19(84), 115–134. https://doi.org/10.14689/ejer.2019.84.6
• Aksu, G., Güzeller, C. O., & Eser, M. T. (2017). Analysis of maths literacy performances of students with hierarchical linear modeling (HLM): The case of PISA 2012 Turkey. Education & Science, 42(191), 247–266. https://doi.org/10.15390/EB.2017.6956
• Aksu, N., Aksu, G., & Saraçaloğlu, S. (2022). Prediction of the factors affecting PISA mathematics literacy of students from different countries by using data mining methods. International Electronic Journal of Elementary Education, 14(5), 613–629. https://doi.org/10.26822/iejee.2022.267
• Allore, H., Tinetti, M. E., Araujo, K. L., Hardy, S., & Peduzzi, P. (2005). A case study found that a regression tree outperformed multiple linear regression in predicting the relationship between impairments and social and productive activities scores. Journal of Clinical Epidemiology, 58(2), 154–161. https://doi.org/10.1016/j.jclinepi.2004.09.001
• Arıkan, S. (2016). Türkiye’deki öğrencilerin öğrenme fırsatları ve matematik performansları arasındaki ilişki. Mustafa Kemal Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 13(36), 47–66.
• Breiman, L., Friedman, J., Olshen, R., & Stone, C. (1984). Classification and regression trees. CRC Press.
• Chowdhury, S., Lin, Y., Liaw, B., & Kerby, L. (2022, September). Evaluation of tree-based regression over multiple linear regression for non-normally distributed data in battery performance. In 2022 International Conference on Intelligent Data Science Technologies and Applications (IDSTA) (pp. 17–25). IEEE. https://doi.org/10.48550/arXiv.2111.02513
• Demin, G. (2023). expss: Tables, labels and some useful functions from spreadsheets and 'SPSS' statistics (R package version 0.11.6). https://CRAN.R-project.org/package=expss
• Fletcher, T. D. (2022). QuantPsyc: Quantitative psychology tools (R package version 1.6). https://CRAN.R-project.org/package=QuantPsyc
• Fraenkel, J. R., Wallen, N. E., & Hyun, H. H. (2012). How to design and evaluate research in education. McGraw Hill.
• Gomes, C. M. A., Lemos, G. C., & Jelihovschi, E. G. (2021). The reasons why the regression tree method is more suitable than general linear model to analyze complex educational datasets. Revista Portuguesa de Educação, 34(2), 42–63. https://doi.org/10.21814/rpe.18044
• Guo, Y. (2014). Cross-cultural comparison of the school factors affecting students’ achievement in mathematical literacy: Based on the multilevel analysis of PISA 2012. China Examinations, 10.
• Güre, Ö. B., Kayri, M., & Erdoğan, F. (2020). Analysis of factors affecting PISA 2015 mathematics literacy via educational data mining. Education and Science / Eğitim ve Bilim, 45(202), 393–415. https://doi.org/10.15390/EB.2020.8477
• Hamner, B., & Frasco, M. (2018). Metrics: Evaluation metrics for machine learning (R package version 0.1.4). https://CRAN.R-project.org/package=Metrics
• Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction. Springer.
• Hebbali, A. (2024). olsrr: Tools for building OLS regression models (R package version 0.6.0). https://CRAN.R-project.org/package=olsrr
• Howell, D. C. (2019). Psikoloji için istatistiksel metotlar (Y. Baykul, Çev. Ed.). Pegem Akademi Yayıncılık. (Eserin orijinali 2013’te yayınlandı).
• James, G., Witten, D., Hastie, T., & Tibshirani, R. (2013). An introduction to statistical learning with applications in R. Springer.
• Karabay, E., Yıldırım, A., & Güler, G. (2015). Yıllara göre PISA matematik okuryazarlığının öğrenci ve okul özellikleri ile ilişkisinin aşamalı doğrusal modeller ile analizi. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 1(36), 137–151.
• Kesici, A. (2018). Lise öğrencilerinin matematik motivasyonunun matematik başarısına etkisinin incelenmesi. Ondokuz Mayıs University Journal of Education Faculty, 37(2), 177–194. https://doi.org/10.7822/omuefd.438550
• Kim, Y. S. (2008). Comparison of the decision tree, artificial neural network, and linear regression methods based on the number and types of independent variables and sample size. Expert Systems with Applications, 34(2), 1227–1234. https://doi.org/10.1016/j.eswa.2006.12.017
• Kocarık Gacar, B., & Deveci Kocakoç, İ. (2020). Regression analyses or decision trees? Celal Bayar University Journal of Social Sciences / Celal Bayar Üniversitesi Sosyal Bilimler Dergisi, 18(4), 251–260. https://doi.org/10.18026/cbayarsos.796172
• Koğar, H. (2015). Examination of factors affecting PISA 2012 mathematical literacy through mediation model. Eğitim ve Bilim / Education and Science, 40(179), 45–55. https://doi.org/10.15390/EB.2015.4445
• Kuhn, M. (2008). Building predictive models in R using the caret package. Journal of Statistical Software, 28(5), 1–26. https://doi.org/10.18637/jss.v028.i05
• Ma, X. (2018). Using classification and regression trees: A practical primer. IAP.
• Mertler, C. A., & Vannatta, R. (2017). Advanced and multivariate statistical methods: Practical application and interpretation. Routledge.
• Milborrow, S. (2024). rpart.plot: Plot 'rpart' models: An enhanced version of 'plot.rpart' (R package version 3.1.2). https://CRAN.R-project.org/package=rpart.plot
• Mohammadi, J., Shataee, S., & Babanezhad, M. (2011). Estimation of forest stand volume, tree density, and biodiversity using Landsat ETM+ data: Comparison of linear and regression tree analyses. Procedia Environmental Sciences, 7, 299–304. https://doi.org/10.1016/j.proenv.2011.07.052
• OECD. (2023a). PISA 2022 assessment and analytical framework (PISA). OECD Publishing. https://doi.org/10.1787/dfe0bf9c-en
• OECD. (2023b). PISA 2022 results (Volume I): The state of learning and equity in education (PISA). OECD Publishing. https://doi.org/10.1787/53f23881-en
• OECD. (2024). PISA 2022 technical report (PISA). OECD Publishing. https://doi.org/10.1787/01820d6d-en
• Okatan, Ö., & Tomul, E. (2021). Uluslararası Öğrenci Başarılarını Değerlendirme Programı’na (PISA) göre Türkiye’deki öğrencilerin matematik başarıları ile ilişkili değişkenlerin incelenmesi. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, (57), 98–125. https://doi.org/10.21764/maeuefd.663150
• Ötken, Ş. (2019). PISA uygulamalarında okuma-matematik-fen okuryazarlığı puanlarındaki değişimin çok değişkenli-çok düzeyli model ile incelenmesi (Yayımlanmamış doktora tezi). Hacettepe Üniversitesi.
• Özkal, N. (2020). Öğretmen güdüsel desteği, özyeterlik inancı ve akademik başarı arasındaki ilişkiler: Lise matematik dersi örneği. Akdeniz Üniversitesi Eğitim Fakültesi Dergisi, 3(2), 88–97.
• Öztop, F., & Toptaş, V. (2022). Matematik başarısı ile okuduğunu anlama becerisi arasındaki ilişki: Bir meta-analiz çalışması. Yıldız Journal of Educational Research, 7(1), 12–21. https://doi.org/10.14744/yjer.2022.002
• Pinheiro, H. S. K., Carvalho, W. D., Chagas, C. D. S., Anjos, L. H. C. D., & Owens, P. R. (2018). Prediction of topsoil texture through regression trees and multiple linear regressions. Revista Brasileira de Ciência do Solo, 42, e0170167. https://doi.org/10.1590/18069657rbcs20170167
• Piramuthu, S. (2008). Input data for decision trees. Expert Systems with Applications, 34(2), 1220–1226. https://doi.org/10.1016/j.eswa.2006.12.030
• Ploner, A., & Brandenburg, C. (2003). Modelling visitor attendance levels subject to day of the week and weather: A comparison between linear regression models and regression trees. Journal for Nature Conservation, 11(4), 297–308. https://doi.org/10.1078/1617-1381-00061
• R Core Team. (2024). R: A language and environment for statistical computing. R Foundation for Statistical Computing. https://www.R-project.org/
• Redelmeier, A., Jullum, M., & Aas, K. (2020). Explaining predictive models with mixed features using Shapley values and conditional inference trees. In A. Holzinger, P. Kieseberg, A. Tjoa, & E. Weippl (Eds.), Machine learning and knowledge extraction: 4th IFIP TC 5, TC 12, WG 8.4, WG 8.9, WG 12.9 International Cross-Domain Conference, CD-MAKE 2020, Dublin, Ireland, August 25–28, 2020, Proceedings 4 (pp. 117–137). Springer International Publishing. https://doi.org/10.1007/978-3-030-57321-8_7
• Revelle, W. (2024). psych: Procedures for psychological, psychometric, and personality research (R package version 2.4.3). Northwestern University. https://CRAN.R-project.org/package=psych
• Robinson, D., Hayes, A., & Couch, S. (2023). broom: Convert statistical objects into tidy tibbles (R package version 1.0.5). https://CRAN.R-project.org/package=broom
• Romero, C., & Ventura, S. (2010). Educational data mining: A review of the state of the art. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 40(6), 601–618. https://doi.org/10.1109/TSMCC.2010.2053532
• Sarıer, Y. (2021). PISA uygulamalarında Türkiye’nin performansı ve öğrenci başarısını yordayan değişkenler. Türkiye Sosyal Araştırmalar Dergisi, 25(3), 905–926.
• Schloerke, B., Cook, D., Larmarange, J., Briatte, F., Marbach, M., Thoen, E., Elberg, A., & Crowley, J. (2024). GGally: Extension to 'ggplot2' (R package version 2.2.1). https://CRAN.R-project.org/package=GGally
• Sinharay, S. (2016). An NCME instructional module on data mining methods for classification and regression. Educational Measurement: Issues and Practice, 35(3), 38–54. https://doi.org/10.1111/emip.12115
• Steinberg, D., & Colla, P. (1995). CART: Tree-structured nonparametric data analysis. Salford Systems.
• Stevens, J. P. (2009). Applied multivariate statistics for the social sciences. Routledge.
• Strobl, C. (2013). Data mining. In T. D. Little (Ed.), The Oxford handbook of quantitative methods in psychology: Vol. 2: Statistical analysis (pp. 678–700). OUP USA.
• Strobl, C., Malley, J., & Tutz, G. (2009). An introduction to recursive partitioning: Rationale, application, and characteristics of classification and regression trees, bagging, and random forests. Psychological Methods, 14(4), 323–348. https://doi.org/10.1037/a0016973
• Şahin, M. G., & Yıldırım, Y. (2016). PISA 2012 Türkiye örnekleminde matematiksel davranış ve matematik okuryazarlığını etkileyen değişkenlerin çok gruplu hibrit modelleme ile incelenmesi. Eğitim ve Bilim, 41(187), 181–198. https://doi.org/10.15390/EB.2016.6837
• Tabachnick, B. G., & Fidell, S. F. (2020). Çok değişkenli istatistiklerin kullanımı (M. Baloğlu, Çev. Ed.). Nobel Yayıncılık. (Eserin orijinali 2013’te yayınlandı).
• Therneau, T. M., & Atkinson, E. J. (2023a). An introduction to recursive partitioning using the RPART routines. Mayo Foundation: Technical report.
• Therneau, T., & Atkinson, B. (2023b). Recursive partitioning and regression trees. https://CRAN.R-project.org/package=rpart
• Wickham, H., François, R., Henry, L., Muller, K., & Vaughan, D. (2023). dplyr: A grammar of data manipulation (R package version 1.1.4). https://CRAN.R-project.org/package=dplyr
• Wickham, H., Vaughan, D., & Girlich, M. (2024). tidyr: Tidy messy data (R package version 1.3.1). https://CRAN.R-project.org/package=tidyr
• Xie, Y. (2024). knitr: A general-purpose package for dynamic report generation in R (R package version 1.46). https://yihui.org/knitr/
• Yohannes, Y., & Webb, P. (1999). Classification and regression trees, CART: A user manual for identifying indicators of vulnerability to famine and chronic food insecurity. International Food Policy Research Institute.