The effect of feedback and self-assessment on students’ reading comprehension success

Öz

Reading comprehension is one of the basic skills that affect students' success in their personal lives as well as their academic lives. It is emphasized that this skill should be supported starting from the early stages. In the study, it was assumed that the involvement of both the student and the teacher in the formative assessment in the classroom would increase the student's reading comprehension skills. Therefore, the effect of a formative assessment process that emphasizes self-assessment and feedback on students' reading comprehension skills was examined. The two different experimental groups were selected for 4th, 5th, and 6th grades. The study group consisted of 258 students. In the experimental process in one of the experimental groups, both self-assessment and feedback practices were emphasized, while only teachers’ feedback practices were included in the other experimental group. In the control groups, no special treatment was applied, and the usual course was continued. Data were collected using reading comprehension achievement tests and holistic rubrics developed to assess achievement on these tests. Descriptive statistics and two-factor mixed measures ANOVA were used to examine the difference between the pre-test and post-test. According to the results, the post-tests of all experimental groups that received teacher feedback on student responses were higher and significant than the pre-tests. It was observed that the applied procedure was more effective at lower grade levels. It was also determined that teachers in lower grades conducted self-assessment and feedback sessions more effectively than teachers in higher grades. When the control groups were analyzed, it was observed that the performance of some of the students decreased over time. According to the results obtained, it is recommended that teachers should monitor students' reading comprehension skills through descriptive feedback and self-assessment activities and create environments that will enable students to monitor their own performance.

Anahtar Kelimeler

• reading comprehension
• self-assessment
• feedback
• assessment
• formative assessment

Geribildirim ve öz-değerlendirmenin öğrencilerin okuduğunu anlama başarısına etkisi

Öz

Okuduğunu anlama, öğrencilerin akademik yaşamlarının yanı sıra kişisel yaşamlarındaki başarılarını da etkileyen temel becerilerden biridir. Bu becerinin bireyin erken dönemlerinden itibaren desteklenmesi gerektiği vurgulanmaktadır. Araştırmada hem öğrencinin hem de öğretmenin sınıfta sürece dayalı değerlendirmeye dahil olmasının öğrencinin okuduğunu anlama becerisini artıracağı hipotezinden yola çıkılmıştır. Bu nedenle öz-değerlendirme ve geri bildirime önem veren biçimlendirici bir durum belirleme sürecinin öğrencilerin okuduğunu anlama becerileri üzerindeki etkisi incelenmiştir. 4., 5. ve 6. sınıflar için iki farklı deney grubu seçilmiştir. Çalışma grubu 258 öğrenciden oluşmaktadır. Deney gruplarından birindeki deneysel süreçte hem öz değerlendirme hem de geri bildirim uygulamalarına ağırlık verirken, diğer deney grubunda sadece geri bildirim uygulamalarına yer verilmiştir. Kontrol gruplarında özel bir işlem uygulanmamış olağan ders işlenişine devam edilmiştir. Veriler, okuduğunu anlama başarı testleri ve bu testlerdeki başarıyı değerlendirmek için geliştirilen bütüncül dereceli puanlama anahtarları kullanılarak toplanmıştır. Ön test ve son test arasındaki farkı incelemek için betimleyici istatistikler ve karışık ölçümler için iki faktörlü ANOVA kullanılmıştır. Elde edilen sonuçlara göre öğrenci yanıtlarına öğretmen geri bildirimi alan tüm deney gruplarının son test puanları, ön test puanlarına göre daha yüksek ve anlamlıdır. Uygulanan işlemin dördüncü sınıf düzeyi deney gruplarında daha etkili olduğu gözlenmiştir. Bu durum öğretmenlerin öz-değerlendirme ve geri bildirimleri üst sınıflardaki öğretmenlere göre daha etkili bir şekilde gerçekleştirmelerinden kaynaklı olabilir. Kontrol grupları incelendiğinde bazı grup performanslarının zaman içerisinde düştüğü gözlenmiştir. Elde edilen sonuçlara göre öğretmenlerin tanımlayıcı geri bildirim ve öz değerlendirme etkinlikleriyle öğrencinin okuduğunu anlama becerisini izlemesi ve öğrencinin kendi performansını izlemesini sağlayacak ortamlar yaratması önerilmektedir.

Anahtar Kelimeler

• okuduğunu anlama
• öz-değerlendirme
• geribildirim
• durum belirleme
• biçimlendirici değerlendirme

Destekleyen Kurum

Pamukkale Üniversitesi, Denizli İl Milli Eğitim Müdürlüğü

Teşekkür

Bu araştırma Okuduğunu Anlama Becerilerinin Sürece Dayalı İzlenmesi ve Geliştirilmesi projesi altında Pamukkale Üniversitesi ve Denizli İl Milli Eğitim Müdürlüğü Ölçme ve Değerlendirme Şubesiyle ortak olarak yürütülmüştür. P Her iki kuruma da desteklerinden dolayı teşekkür ederiz.

Kaynakça

1. Akay, A. (2004). İlköğretim 2. sınıf öğrencilerinin okuduğunu anlama becerilerinin matematik problemlerini çözme başarısına etkisi. Yayımlanmamış yüksek lisans tezi, Marmara Üniversitesi.
2. Anıl, D., Özkan, Ö. Y. & Demir, E. (2015). PISA 2012 araştırması ulusal nihai rapor. Millî Eğitim Bakanlığı, Ölçme Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğü.
3. Andrade, H. (2000). Using rubrics to promote thinking and learning. Educational Leadership, 57(5), 13–18
4. Andrade, H. (2010). Students as the definitive source of formative assessment: Academic self-assessment and the self-regulation of learning. In H. Andrade & G. Cizek (Eds.), Handbook of formative assessment (pp. 90–105). New York, NY: Routledge.
5. Arter, J. A. & McTighe, J. (2000). Scoring rubrics in the classroom: Using performance criteria for assessing and ımproving student performance (Experts in Assessment Series). California: Corwin Press.
6. Ateş, M. (2017). Ortaokul öğrencilerinin okuduğunu anlama düzeyleri ile akademik başarıları arasındaki ilişkinin incelenmesi. Uluslararası Eğitim Bilimleri Dergisi, 4(12), 306-317.
7. Baniabdelrahman, A. A. (2010). The effect of the use of self-assessment on EFL students’ performance in reading comprehension in English. TESL-EJ, 14 (2), 1-22
8. Bardach, L., Klassen, R. M., Durksen, T. L., Rushby, J. V., Bostwick, K. C., & Sheridan, L. (2021). The power of feedback and reflection: Testing an online scenario-based learning intervention for student teachers. Computers & Education, 169, 104194. https://doi.org/10.1016/j.compedu.2021.104194

9. Barrett, T.C. (1976). Taxonomy of reading comprehension. R. Smith & T.C. Barrett (Eds.). In Teaching Reading in the Middle Class. Reading. MA: Addison- Wesley
10. Baştuğ, M. (2014). The structural relationship of reading attitude, reading comprehension and academic achievement. International Journal of Social Sciences and Education, 6(4), 931-946.
11. Bingham, G, Holbrook, T., & Meyers, L. (2010). Using self-assessments in elementary classrooms. Phi Delta Kappan, 91(5), 59-61 https://doi.org/10.1177/0031721710091005
12. Bitter, C., O'Day, J., Gubbins, P. & Socias, M. (2009) What works to improve student literacy achievement? An examination of instructional practices in a balanced literacy approach, Journal of Education for Students Placed at Risk (JESPAR), 14:1, 17-44, https://doi.org/10.1080/10824660802715403
13. Block, C. C. (2003). Teaching comprehension: The comprehension process approach. Allyn &Bacon.
14. Brookhart, S. (2015). How to assess higher order thinking skills in your classroom. ASCD.
15. Brown, G. T. L., & Harris, L. R. (2013). Student self-sssessment. In J. H. McMillan (Ed.), The SAGE handbook of research on classroom assessment (pp.367-393). Thousand Oaks. https://doi.org/10.4135/9781452218649.n21
16. Cleary, T.J., & Zimmerman, B.J. (2012). A cyclical, self-regulatory account of student engagement: Theoretical foundations and applications. S. Christensen, A. Reschly, & C. Wylie (Eds.), In Handbook of research on student engagement (pp. 237–257). New York, NY: Springer. doi:10.1007/978-1-4614-2018-7_11
17. Cimmiyotti, C. B. (2013). Impact of reading ability on academic performance at the primary level (Master thesis). Dominican University of California.
18. Cook, J. D. M. (2006). The relationship between reading comprehension skill assessment methods and academic success for first semester students in a selected bachelor of science in nursing program in Texas. (Doctoral dissertation). A&M University.
19. Demir, S. B., & Yıldırım, Ö. (2019). Yazılı anlatım becerilerinin değerlendirilmesi için dereceli puanlama anahtarı geliştirme çalışması. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 47, 457-473. https://doi.org/10.9779/pauefd.588565
20. Estacio, M. J. M. (2013). Bilingual readers’ metacognitive strategies as predictors of reading comprehension. Philippine ESL Journal, 10, 179-199. https://animorepository.dlsu.edu.ph/faculty_research/4974
21. Freeman, C. L., & Tashner, J. (2015). Technologies for formative assessment: Can web-based applications transform the allied health science classroom and improve summative assessment outcomes. Appalachian State University, USA, 2, 2020.
22. Foster, G. C., Lane, D., Scott, D., Hebl, M., Guerra, R., Osherson, D., & Zimmer, H. (2018). An introduction to psychological statistics. Open Educational Resources Collection, University of Missouri-St.Louis
23. Jacobs, J. E., & Paris, S. G. (1987). Children's metacognition about reading: Issues in definition, measurement, and instruction. Educational Psychologist, 22(3-4), 255–278. https://doi.org/10.1207/s15326985ep2203&4_4
24. Hattie, J., & Timperley, H. (2007). The power of feedback. Rev. Educ. Res. 77, 81–112. https://doi.org/10.3102/003465430298487
25. Hattie, J., & Zierer, K. (2019). Visible learning ınsights. London: Routledge, https://doi.org/ 10.4324/9781351002226
26. Harris AD, McGregor JC, Perencevich EN, Furuno JP, Zhu J, Peterson DE & Finkelstein J. The use and interpretation of quasi-experimental studies in medical informatics (2006). J Am Med Inform Assoc., 13(1):16-23. https://doi.org/10.1197/jamia.M1749.
27. Hughes, J. N. (2011). Longitudinal effects of teacher and student perceptions of teacherstudent relationship qualities on academic adjustment. Elementary School Journal, 112(1), 38-60
28. Göktaş, E., & Metin, K. A. Y. A. (2022). The effects of teacher relationships on student academic achievement: a second order meta-analysis. Participatory Educational Research, 10(1), 275-289. https://doi.org/10.17275/per.23.15.10.1
29. Kızgın, A. & Baştuğ M. (2020). Okuma motivasyonu ve okuduğunu anlama becerisinin akademik başarıyı yordama düzeyi. Journal of Language Education and Research, 6(2), 601-612. https://doi.org/10.31464/jlere.767022
30. Kirk, R. E. (1996). Practical significance: A concept whose time has come. Educational and Psychological Measurement, 56, 746-759.
31. Kline, R. B. (2011). Principles and practice of structural equation modeling. The Guilford Press.
32. Kutlu, Ö., Yalçın, S., & Pehlivan, E. B. (2010). A study on writing and scoring open-ended questions based on the primary school curriculum objectives. Elementary Education Online, 9(3), 1201-1215.
33. Kutlu, Ö., Yıldırım, Ö., Bilican, S., & Kumandaş, H. (2011). İlköğretim 5. sınıf öğrencilerinin okuduğunu anlamada başarılı olup-olmama durumlarının kestirilmesinde etkili olan değişkenlerin incelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme, 2(1), 132-139.
34. Leslie, L. & Caldwell, J. (2009). Formal and informal measures of reading comprehension. S.E. Israel & G. G. Duffy (Eds.), Handbook of research on reading comprehension. (pp. 403-428). Taylor & Francis.
35. Massey, D. D. (2009). Self-regulated comprehension. S. E. Israel & G. G. Duffy (Eds). Handbook of research on reading comprehension (pp 389-401). Taylor & Francis.
36. McMillan, J. H., Myron, S., & Workman, D. (2002). Elementary teachers’ classroom assessment and grading practices. Journal of Educational Research, 95, 203–213
37. Mickelson, M. M. (2016). The relationship between student performance on a reading progress monitoring measure and the Washington State standardized test (Doctoral dissertation). Seattle Pacific University.
38. Millî Eğitim Bakanlığı (2003). PIRLS 2001 Uluslararası okuma becerilerinde gelişim projesi. Millî Eğitim Bakanlığı, Eğitim, Araştırma ve Geliştirme Dairesi Başkanlığı.
39. Millî Eğitim Bakanlığı. (2005). PISA 2003 projesi: Ulusal nihai rapor. Millî Eğitim Bakanlığı, Eğitim, Araştırma ve Geliştirme Dairesi Başkanlığı.
40. Millî Eğitim Bakanlığı (2007). PISA 2006 uluslararası öğrenci değerlendirme programı: Ulusal ön rapor. Millî Eğitim Bakanlığı, Eğitim, Araştırma ve Geliştirme Dairesi Başkanlığı.
41. Millî Eğitim Bakanlığı (2010). PISA 2009 projesi: Ulusal ön rapor. Millî Eğitim Bakanlığı, Eğitim, Araştırma ve Geliştirme Dairesi Başkanlığı.
42. Millî Eğitim Bakanlığı (2019a). Akademik becerilerin izlenmesi ve değerlendirilmesi: 4. sınıflar raporu, ABİDE 2018. Millî Eğitim Bakanlığı Ölçme, Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğü.
43. Millî Eğitim Bakanlığı (2019b). Akademik becerilerin izlenmesi ve değerlendirilmesi: 8. sınıflar raporu, ABİDE 2018. Millî Eğitim Bakanlığı Ölçme, Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğü.
44. Mokhtari, K. & Reichard, C. A. (2002). Assessing students’ metacognitive awareness of reading strategies. Journal of Educational Psychology, 94, 249-259.
45. Moskal, B. M. & Leydens, J. A. (2000). Scoring rubric development: Validity and reliability. Practical Assessment, Research & Evaluation, 7(10).
46. Mullis, I. V. S., & Martin, M. O. (2015). PIRLS 2016 assessment framework. TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College & International Association for the Evaluation of Educational Achievement (IEA).
47. Mullis, I. V. S., Martin, M. O., Kennedy, A. M., Trong, K. L., & Sainsbury, M. (2009). PIRLS 2011 assessment framework. TIMSS & PIRLS International Study Center, Lynch School of Education.
48. National Center for Educational Statistics. (2005). 2009 NAEP reading framework.
49. Nergis, A. (2013). Exploring the factors that affect reading comprehension of EAP learners. Journal of English for Academic Purposes, 12, 1-9. https://doi.org/10.1016/j.jeap.2012.09.001
50. Özyeter, N. T., & Kutlu, Ö. (2018). Identifying the relationships between response behaviors for reading comprehension items and student characteristics. Journal of Education and Training Studies, 6(10), 148-157. https://doi.org/10.11114/jets.v6i10.3392
51. Paris, S. G. & Hamilton, E. E. (2009). The development of children’s reading comprehension. S. E. Israel & G. G. Duffy (Eds.), Handbook of research on reading comprehension. (pp. 32-54). Taylor & Francis.
52. Paris, S. G., & Paris, A. H. (2001). Classroom applications of research on self-regulated learning. Educational Psychologist, 36(2), 89–101. https://doi.org/10.1207/S15326985EP3602_4
53. Panadero, E., Alonso-Tapia, J., & Huertas, J. A. (2012). Rubrics and self-assessment scripts effects on self-regulation, learning and self-efficacy in secondary education. Learning and Individual Differences, 22(6), 806–813. http://dx.doi.org/10.1016/j.lindif.2012.04.007.
54. Pearson, P. D., & Hamm, D. N. (2005). The assessment of reading comprehension: A review of practices-past, present, and future. In S. Paris & S. Stahl (Eds.), Children’s reading comprehension and assesment (pp. 13–69). L. Erlbaum Associates.
55. Perez Cavana, M. L. (2012). Fostering strategic, self-regulated learning: the case for a ‘soft’ ELP. B. Kuhn & M. Perez Cavana (Eds.), In Perspectives from the European Language Portfolio: Learner autonomy and self-assessment (pp. 143-160). Oxon: Routledge
56. Pianta, R. C., & Stuhlman, M.W. (2004). Teacher-child relationships and children’s success in the first years of school. School Psychology Review, 33(3), 444–458. https://doi.org/10.1080/02796015.2004.12086261
57. Pressley, M. (2002). Metacognition and self-regulated comprehension. A. E. Farstrup & S.J. Samuels (Eds.), In what research has to say about reading instruction (pp. 291–309). International Reading Association.
58. Pressley, M., & Block, C. C. (2002). Summing up: What comprehension instruction could be. C. C. Block & M. Pressley (Eds.), In comprehension instruction: Research-based best practices (pp. 383-392). Guilford Press.
59. RAND Reading Study Group. (2001). Reading for understanding: Towards an R&D program in reading comprehension. Report prepared for OERI.
60. Reeves, C. (2012). Developing a framework for assessing and comparing the cognitive challenge of home language examinations. Council for Quality Assurance in General and Further Education and Training.
61. Ross, J. A., Rolheiser, C., & Hogaboam-Gray, A. (1999). Effect of self-evaluation on narrative writing. Assessing Writing, 6(1), 107-132
62. Samuels, S. J., & Wu, Y. (2003). The effects of immediate feedback on reading achievement. Unpublished manuscript, University of Minnesota, Minneapolis. http://www. tc. umn. edu/~ samue001/webpdf/immediate_feedback. pdf.
63. Shell, D., Colvin, C., & Bruning, R. (1995). Self-efficacy, attri-bution and outcome expectancy mechanisms in reading and writing achievement: Grade-level and achievement-level differences. Journal of Educational Psychology, 87, 386–398. http://dx.doi.org/10.1037/0022-0663.87.3.386
64. Sertsöz. T. (2003). İlköğretim okullarının 6. sınıflarında okuduğunu anlama davranışlarının kazandırılmasının matematik başarısına etkisi. Yayımlanmamış yüksek lisans tezi, Marmara Üniversitesi.
65. Shahrakipour, H. (2014). On the impact of self-assessment on EFL learners’ receptive skills performance. AJTLHE, 6 (1), 1-13
66. Shanahan, T., Callison, K., Carriere, C., Duke, N. K., Pearson, P. D., Schatschneider, C., & Torgersen, J. (2010). Improving reading comprehension in kindergarten through 3rd grade. National Center for Education Evaluation and Regional Assistance, Institute of Education Sciences, U.S. Department of Education.
67. Schunk, D.H., & Zimmerman, B.J. (2007). Influencing children's self-efficacy and self-regulation of reading and writing through modeling. Reading & Writing Quarterly, 23(1), 7–25. http://dx.doi.org/10.1080/10573560600837578
68. Taş, U. E., Arıcı, Ö., Özarkan, H. B., & Özgürlük, B. (2016). PISA 2015 ulusal raporu. Millî Eğitim Bakanlığı.
69. Vilenius-Tuohimaa, P. M., Aunola, K., & Nurmi, J. E. (2008). The association between mathematical word problems and reading comprehension. Educational Psychology, 28(4), 409-426.
70. Vasu, K. A., Mei Fung, Y., Nimehchisalem, V., & Md Rashid, S. (2022). Self-regulated learning development in undergraduate ESL writing classrooms: Teacher feedback versus self-assessment. RELC Journal, 1-15. https://doi.org/10.1177/0033688220957782
71. Wharton-McDonald, R. & Swiger, S. (2009). Developing higher order comprehension in the middle grades. S. E. Israel & G. G. Duffy (Eds). Handbook of research on reading comprehension (pp 510-531). Taylor & Francis.
72. Youde, J. J. (2019). A meta-analysis of the effects of reflective self-assessment on academic achievement in primary and secondary populations. Unpublished doctoral dissertation, Seattle Pacific University, USA.
73. Zimmerman, B. J. (2008). Investigating self-regulation and motivation: Historical background, methodological developments, and future prospects. American Educational Research Journal, 45(1), 166–183. https://doi.org/10.3102/0002831207312909