Investigating Factors Affecting Scientific Literacy with Structural Equation Modeling and Multilevel Structural Equation Modeling: Case of PISA 2015

Öz

There is no empirical evidence in the literature regarding the problems encountered in the use of single-level analyzes on hierarchical data and the implementation of a single-multilevel structural equation model. In this study, the models were created by using Structural Equation Modeling and Multilevel Structural Equation Modeling for the effects of factors such as enjoyment in learning science, instrumental motivation, scientific self-efficacy, hinderances in education, and hinderance to learning which are claimed to predict Turkish students’ science performance who participated PISA 2015. The effects of the predictive variables were estimated with two different single-level models constructed by aggregating and disaggregating the data. Then, single-level models are compared with the two-level model in terms of model fit and standardized parameters. As a result, since it was observed that standard error in regression coefficients decreased for the model which disregarded group levels, and variance-within-groups was not included in the model which disregarded individual levels which caused a data loss, the results were biased, and the effectiveness of the statistical test was weakened. In light of the results of this study, some recommendations were suggested for future studies which may consider dealing with analyzing hierarchical data.

Anahtar Kelimeler

• Scientific Literacy
• Single-level Analysis
• Hierarchical Data
• Multi-level Analysis

Fen Okuryazarlığını Etkileyen Faktörlerin Tek ve Çok Düzeyli Yapısal Eşitlik Modeli ile İncelenmesi: PISA 2015 Örneği

Öz

Hiyerarşik veriler üzerinde tek düzeyli analizlerin kullanımı ile tek ve çok düzeyli yapısal eşitlik modelinin uygulanmasında karşılaşılan sorunlara ilişkin literatürde ampirik bir kanıt bulunmamaktadır. Bu çalışmada, Türkiye’de PISA 2015 uygulamasına katılmış bireylerin fen başarısını yordadığı düşünülen fen öğrenmekten zevk alma, fen öğreniminde araçsal güdülenme, fen öz yeterliği, eğitim sürecindeki engeller, öğrenme engeli değişkenlerinin etkisi tek düzeyli ve çok düzeyli yapısal eşitlik ile modellenmiştir. Yordayıcı değişkenlerin etkileri, verilerin toplanması ve ayrıştırılması ile oluşturulan iki tek düzeyli model ile kestirilmiş ve model uyumu ile standartlaştırılmış parametreler açısından iki düzeyli model ile karşılaştırılmıştır. Sonuç olarak grup düzeyi göz ardı edilen modelde regresyon katsayılarına ait standart hataların azalmasından, birey düzeyi göz ardı edilen modelde ise grup içi varyans analize dâhil edilmediğinden ve veri kaybı yaşanmasından dolayı yanlı sonuçlar elde edilmiş ve istatiksel testin gücünü azaltmıştır. Bu sonuçların, gelecekte hiyerarşik verilerde yapılacak çalışmalarda kullanılacak analizler için araştırmacılara fikir sunması beklenmektedir. 

Anahtar Kelimeler

• Fen Okuryazarlığı
• Tek Düzeyli Analizler
• Hiyerarşik Veri
• Çok Düzeyli Yapısal Eşitlik Modeli.

Kaynakça

1. Acar, T., & Öğretmen, T. (2012). Çok düzeyli istatistiksel yöntemler ile 2006 PISA fen bilimleri performansının incelenmesi. Eğitim ve Bilim, 37(163), 178-189.
2. Acosta, S. T. & Hsu, H. Y. (2014). Negotiating diversity: An empirical investigation into family, school and student factors influencing New Zealand adolescents’ science literacy. Educational Studies, 40(1), 98-115.https://doi.org/10.1080/03055698.2013.830243
3. Aktamış, H., Kiremit, H. Ö., & Kubilay, M. (2016). Öğrencilerin öz-yeterlik inançlarının fen başarılarına ve demografik özelliklerine göre incelenmesi. Adnan Menderes Üniversitesi Eğitim Fakültesi Eğitim Bilimleri Dergisi, 7(2), 1-10.
4. Al Şensoy, S., & Sağsöz, A. (2015). Öğrenci başarısının sınıfların fiziksel koşulları ile ilişkisi. Kırşehir Eğitim Fakültesi Dergisi, 16(3), 87-104.
5. Anagün, Ş. S. (2011). PISA 2006 sonuçlarına göre öğretme-öğrenme süreci değişkenlerinin öğrencilerin fen okuryazarlıklarına etkisi. Eğitim ve Bilim, 36(162), 84-102.
6. Anıl, D. (2009). Uluslararası Öğrenci Başarılarını Değerlendirme Programı’nda (PISA) Türkiye’deki öğrencilerin fen bilimleri başarılarını etkileyen faktörler. Eğitim ve Bilim, 34(152), 87-100.
7. Bandura, A. (1994). Self-efficacy. In V. S. Ramachaudran (Ed.), Encyclopedia of human behavior (Vol. 4) Is (pp. 71–81). Academic Press. https://doi.org/10.1002/9780470479216.corpsy0836
8. Barutçu Yıldırım, F., & Demir, A. (2020). Self-handicapping among university students: The role of procrastination, test anxiety, self-esteem, and self-compassion. Psychological Reports, 123(3), 825-843. https://doi.org/10.1177%2F0033294118825099

9. Bates, D., Mächler, M., Bolker, B., Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1), 1-48. https://doi.org/10.18637/jss.v067.i01
10. Beese, J., & Liang, X. (2010). Do resources matter? PISA science achievement comparisons between students in the United States, Canada and Finland. Improving Schools, 13(3), 266-279. https://doi.org/10.1177%2F1365480210390554
11. Bilican Demir, S., & Yıldırım, O. (2021). Indirect effect of economic, social, and cultural status on immigrant students’ science performance through science dispositions: A multilevel analysis. Education and Urban Society, 53(3), 336–356. https://doi.org/10.1177/0013124520928602
12. Bircan, H. (2015). Motivasyon ve bilişsel katılımın fen başarısındaki rolü [Yayımlanmamış yüksek lisans tezi]. Orta Doğu Teknik Üniversitesi.
13. Bussie`re, P., Knighton, T., & Pennock, D. (2007). Measuring up: Canadian results of the OECD PISA study—the performance of Canada’s youth in science, reading and mathematics: 2006 first results for Canadians aged 15 (Report No: 590-593). Canadian Ministry of Industry. http://www5.statcan.gc.ca/bsolc/olc-cel/olc-cel?catno=81–590-X&chropg=1&lang=eng
14. Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö. E., Karadeniz, Ş., & Demirel, F. (2014). Bilimsel araştırma yöntemleri. Pegem Akademi.
15. Can, S., Somer, O., Korkmaz, M., Dural, S., & Öğretmen, T. (2011). Çok düzeyli yapısal eşitlik modelleri. Türk Psikoloji Dergisi, 26(67), 14-21.
16. Çoker, E. (2009). Çok-düzeyli regresyon modelleri ile çok-düzeyli yapısal eşitlik modellerinin uygulamalı karşılaştırılması [Yayınlanmamış doktora tezi]. Mimar Sinan Güzel Sanatlar Üniversitesi.
17. Depaoli, S., & Clifton, J. P. (2015) A Bayesian approach to multilevel structural equation modelling with continuous and dichotomous outcomes. Structural Equation Modelling: A Multidisciplinary Journal, 22(3), 327-351. https://doi.org/10.1080/10705511.2014.937849
18. Doménech-Betoret, F., Abellán-Roselló, L., & Gómez-Artiga, A. (2017). Self-efficacy, satisfaction, and academic achievement: The mediator role of students' expectancy-value beliefs. Frontiers in Psychology, 8, 1193. https://doi.org/10.3389/fpsyg.2017.01193
19. Draper, D. (1995). Inference and hierarchical modelling in the social sciences. Journal of Educational Statistics, 20(2), 115-148. https://doi.org/10.3102%2F10769986020002115
20. Dyer, N. G., Hanges, P. J., & Hall, R. J. (2005). Applying multilevel confirmatory factor analysis techniques to the study of leadership. The Leadership Quarterly, 16(1), 149–167. https://doi.org/10.1016/j.leaqua.2004.09.009
21. Döş, İ., & Atalmış, E. H. (2016). OECD verilerine göre PISA sınav sonuçlarının değerlendirilmesi. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 16(2), 432-450. https://doi.org/10.17240/aibuefd.2016.16.2-5000194936
22. Fang, Z., & Wei, Y. (2010) Improving middle school students’ science literacy through reading infusion. The Journal of Educational Research, 103(4), 262-273. https://doi.org/10.1080/00220670903383051
23. Farmer, G. L. (2000). Use of multilevel covariance structure analysis to evaluate the multilevel nature of theoretical constructs. Social Work Research, 24(3), 180–191. https://doi.org/10.1093/swr/24.3.180
24. Finlayson, M. (2009). The impact of teacher absenteeism on student performance: The case of the Cobb County School District [Unpublished master’s thesis]. Kennesaw State University.
25. Fraenkel, J. R., Wallen, N. E., & Hyun, H. H. (2012). How to design and evaluate research in education. McGraw Hill.
26. Gardner, P. L. (1975) Attitudes to science: A review. Studies in Science Education, 2(1), 1-41. https://doi.org/10.1080/03057267508559818
27. Greenwald, R., Hedges, L. V., & Laine, R. D. (1996). The effect of school resources on student achievement. Review of Educational Research, 66(3), 361-396. https://doi.org/10.3102%2F00346543066003361
28. Goldstein, H. (1987). Multilevel models in education and social research. Oxford University Press.
29. Güngör, M. (2019). Fen motivasyonu ve özyeterliği modeli'nin ölçme değişmezliğinin incelenmesi: PISA 2015 Türkiye örneği [Yayınlamamış yüksek lisans tezi]. Hacettepe Üniversitesi
30. Hallquist, M. N., & Wiley, J. F. (2018). MplusAutomation: A R package for facilitating large-scale latent variable analyses in M plus. Structural Equation Modelling: A Multidisciplinary Journal, 25(4), 621-638. https://doi.org/10.1080/10705511.2017.1402334
31. Hanrahan, M. (1999). Rethinking science literacy: Enhancing communication and participation in school science through affirmational dialogue journal writing. Journal of Research in Science Teaching, 36(6), 699–717. https://doi.org/10.1002/(SICI)1098-2736(199908)36:6%3C699::AID-TEA7%3E3.0.CO;2-P
32. Hanson, T. L., Austin, G., & Lee-Bayha, J. (2003). Student health risks, resilience, and academic performance. WestEd.
33. Hanushek, E. A. (1997). Assessing the effects of school resources on student performance: An update. Educational Evaluation and Policy Analysis, 19(2), 141-164. https://doi.org/10.3102%2F01623737019002141
34. Heck, R. H. (2001). Multilevel modelling with SEM. In J. A. Marcoulides, & R. E. Schumacker (Eds.), New developments and techniques in structural equation modelling (pp. 89-127). Lawrence Erlbaum Associates.
35. Heck, R. H., & Thomas, S. L. (2015). An introduction to multilevel modelling techniques: MLM and SEM approaches using Mplus. Routledge.
36. Hedges, L. V., Laine, R. D., & Greenwald, R. (1994). An exchange: Part I: Does money matter? A meta-analysis of studies of the effects of differential school inputs on student outcomes. Educational Researcher, 23(3), 5–14. https://doi.org/10.3102%2F0013189X023003005
37. Hox, J. J., Moerbeek, M., & Van de Schoot, R. (2017). Multilevel analysis: Techniques and applications. Routledge.
38. Hu, L., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modelling: A Multidisciplinary Journal, 6(1), 1–55. https://doi.org/10.1080/10705519909540118
39. Jamil, N. L., & Mahmud, S. N. D. (2019). Self-efficacy relationship on science achievement amongst national secondary school students. Creative Education, 10(11), 2509. https://doi.org/10.4236/ce.2019.1011179
40. Kaplan, D., & Elliot, P. R. (1997). A didactic example of multilevel structural equation modelling applicable to the study of organizations. Structural Equation Modelling, 4(1), 1-24. https://doi.org/10.1080/10705519709540056
41. Kaplan, D., Kim, J. S., & Kim, S. Y. (2009). Multilevel latent variable modelling: Current research and recent developments. In R. E. Millsap, & A. Maydeu-Olivares (Eds.), The Sage handbook of quantitative methods in psychology (pp. 592-612). SAGE Publications
42. Kaya, V. H., & Doğan, A. (2017). Determination and comparison of Turkish student characteristics affecting science literacy in Turkey according to PISA 2012. Research Journal of Business and Management (RJBM), 4(1), 34-51. https://doi.org/10.17261/Pressacademia.2017.369
43. Kirbulut, Z. D., & Uzuntiryaki-Kondakci, E. (2019). Examining the mediating effect of science self-efficacy on the relationship between metavariables and science achievement. International Journal of Science Education, 41(8), 995-1014. https://doi.org/10.1080/09500693.2019.1585594
44. Kjærnsli, M., & Lie, S. (2011). Students’ preference for science careers: International comparisons based on PISA 2006. International Journal of Science Education, 33(1), 121-144. https://doi.org/10.1080/09500693.2010.518642
45. Konishi, C., Hymel, S., Zumbo, B. D., & Zhen Li. (2010). Do school bullying and student—teacher relationships matter for academic achievement? A multilevel analysis. Canadian Journal of School Psychology, 25(1), 19–39. https://doi.org/10.1177/0829573509357550.
46. Little, R. J. A. (1988). A test of missing completely at random for multivariate data with missing values. Journal of the American Statistical Association 83(404), 1198–1202. https://doi.org/10.1080/01621459.1988.10478722
47. Mehta, P. D., & Neale, M. C. (2005). People are variables too: Multilevel structural equations modelling. Psychological Methods, 10(3), 259-284. https://psycnet.apa.org/doi/10.1037/1082-989X.10.3.259
48. Muthén, B. O. (1994). Multilevel covariance structure analysis. Sociological Methods & Research, 22(3), 376-398. https://doi.org/10.1177%2F0049124194022003006
49. Muthén, B., & Satorra, A. (1995). Complex sample data in structural equation modelling. Sociological Methodology, 25, 267-316. https://doi.org/10.2307/271070
50. Noyan, F. (2009). Çok aşamalı yapısal eşitlik modellerinin iş tatmini ile örgütsel bağlılık arasındaki ilişki üzerine bir uygulaması [Yayınlanmamış doktora tezi]. Marmara Üniversitesi
51. Organisation for Economic Co-operation and Development. (2015). Summary description of the seven levels of proficiency in science in PISA 2015. https://www.oecd.org/pisa/test/summary-description-seven-levels-of-proficiency-science-pisa-2015.htm
52. Organisation for Economic Co-operation and Development. (2016). PISA 2015 results (volume I): Excellence and equity in education. PISA, OECD Publishing.
53. Organisation for Economic Co-operation and Development. (2017). PISA 2015 assessment and analytical framework: Science, reading, mathematic, financial literacy and collaborative problem solving. OECD Publishing. https://doi.org/10.1787/9789264281820-en
54. Özer, Y., & Anıl, D. (2011). Öğrencilerin fen ve matematik başarılarını etkileyen faktörlerin yapısal eşitlik modeli ile incelenmesi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 41, 313-324.
55. Özkan, M., Balci, S., Kayan, S., & Is, E. (2018). Quality of educational resources: A comparative evaluation of schools that joined PISA 2015 from Turkey and Singapore. International Education Studies, 11(4), 132-143. https://doi.org/10.5539/ies.v11n4p132
56. Raudenbush, S. W. (1995). Reexamining, reaffirming, and improving application of hierarchical models. Journal of Educational Statistics, 20(2), 210-220. https://doi.org/10.3102%2F10769986020002210
57. Raudenbush, S. W., & Bryk, A. S. (2002). Hierarchical linear models: Applications and data analysis methods (2nd ed.). Sage Publications.
58. Schroeder, C. M., Scott, T. P., Tolson, H., Huang, T. Y., & Lee, Y. H. (2007). A meta-analysis of national research: Effects of teaching strategies on student achievement in science in the United States. Journal of Research in Science Teaching, 44(10), 1436-1460. https://doi.org/10.1002/tea.20212
59. Tabachnick, B., & Fidell, L. S. (2012). Using multivariate statistics. Pearson.
60. Taş, U. E., Arıcı, Ö., Ozarkan, H. B., & Özgürlük, B. (2016). Uluslararası öğrenci değerlendirme programı 2015 ulusal raporu. http://odsgm.meb.gov.tr/test/analizler/docs/PISA/PISA2015_Ulusal_Rapor.pdf
61. Török, L., Szabó, Z. P., & Tóth, L. (2018). A critical review of the literature on academic self-handicapping: Theory, manifestations, prevention and measurement. Social Psychology of Education: An International Journal, 21(5), 1175–1202. https://doi.org/10.1007/s11218-018-9460-z
62. Uğraş, M. (2018). Yedinci sınıf öğrencilerinin motivasyon ile öz yeterlik inançlarının fen bilimleri dersindeki başarılarıyla ilişkisinin incelenmesi. Bingöl Üniversitesi Sosyal Bilimler Enstitüsü Dergisi (BUSBED), 8(16), 495-508. https://doi.org/10.29029/busbed.453792
63. Usta, G. H., & Çıkrıkçı Demirtaşlı, N. R. (2014). PISA 2006 sınavı sonuçlarına göre Türkiye’deki öğrencilerin fen bilimleri okuryazarlığını etkileyen duyuşsal faktörler. Eğitim Bilimleri Araştırmaları Dergisi, 4(2), 93-107. https://doi.org/10.12973/jesr.2014.42.6
64. Uzun, G., & Çokluk Bökeoğlu, Ö. (2019). Akademik başarının okul, aile ve öğrenci özellikleri ile ilişkisinin çok düzeyli yapısal eşitlik modellemesi ile incelenmesi. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 52(3), 655-685. https://doi.org/10.30964/auebfd.525770
65. Uzun, N. B., Gelbal, S., & Öğretmen, T. (2010). TIMSS-R fen başarısı ve duyuşsal özellikler arasındaki ilişkinin modellenmesi ve modelin cinsiyetler bakımından karşılaştırılması. Kastamonu Eğitim Dergisi, 18(2), 531-544.
66. Woods-McConney, A., Oliver, M. C., McConney, A., Schibeci, R., & Maor, D. (2013). Science engagement and literacy: A retrospective analysis for indigenous and non-indigenous students in Aotearoa New Zealand and Australia. Research in Science Education, 43(1), 233–252. https://doi.org/10.1007/s11165-011-9265-y
67. Yetişir, M. İ., Batı, K., Kahyaoğlu, M., & Birel, F. K. (2018). Dezavantajlı öğrencilerin fen okuryazarlık performanslarının duyuşsal özellikleriyle ilişkisinin incelenmesi. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 51(1), 143-158. https://doi.org/10.30964/auebfd.405014
68. Yore, L., Hand, B., Goldman, S., Hildebrand, G., Osborne, J., Treagust, D., & Wallace, C.S. (2004). New directions in language and science education research. Reading Research Quarterly, 39(3), 347-352. https://doi.org/10.1598/RRQ.39.3.8
69. Yu, C. H. (2012). Examining the relationships among academic self-concept, instrumental motivation, and TIMSS 2007 science scores: A cross-cultural comparison of five East Asian countries/regions and the United States. Educational Research and Evaluation, 18(8), 713-731. https://doi.org/10.1080/13803611.2012.718511
70. Yuan, K. H., & Bentler, P. M. (2007). 3. Multilevel covariance structure analysis by fitting multiple single-level models. Sociological methodology, 37(1), 53-82. https://doi.org/10.1111%2Fj.1467-9531.2007.00182.x