The Effect of Portfolio Assessment on Students' Metacognitive Awareness, Motivation and Achievement in Listening

Abstract

The importance of the formative assessment for the development of listening skills is increasing day by day and process-oriented educational activities have begun to be used more. The participation of students in formative assessment allows them to monitor and evaluate their own development. In the current study, the effect of using a portfolio to develop sixth grade students’ listening skills on the students’ metacognitive awareness, motivation and achievement in listening was examined. The quasi-experimental pretest-posttest control group design was used in the study. The study consisted of two classes of sixth graders in a lower secondary school in Burdur province in the spring semester of the 2021-2022 academic year. An eight-week "Portfolio-Based Evaluation Process" was applied in the research. Data were collected by using the “Metacognitive Listening Awareness Scale”, the “Listening Motivation Scale for Lower Secondary School Students” and the “Listening Comprehension Achievement Test”. The effectiveness of the experimental process was tested with Two-Way Mixed ANOVA. The findings showed that the use of the portfolio to improve listening skills increased students’ listening comprehension achievement over time, while no change was observed in their motivation and metacognitive awareness in listening.

Keywords

• Listening skill
• portfolio-based assessment
• achievement in listening comprehension
• metacognitive awareness in listening
• listening motivation

Portfolyoya Dayalı Durum Belirlemenin Öğrencilerin Dinlemeye Yönelik Üstbilişsel Farkındalık, Motivasyon ve Başarısına Etkisi

Abstract

Dinleme becerisinin gelişimine yönelik durumun saptanmasında sürece yönelik durum değerlendirmelerin önemi her geçen gün artmaktadır ve süreç odaklı eğitsel etkinlikler daha çok kullanılmaya başlamıştır. Süreç odaklı değerlendirmede öğrencilerin değerlendirmeye katılması kendi gelişimlerini izleyip değerlendirmelerine olanak sağlamaktadır. Araştırmada altıncı sınıf öğrencilerinin dinleme becerilerine yönelik durum belirleme sürecinde portfolyo kullanılmasının öğrencilerin dinlemeye yönelik üstbilişsel farkındalığına, motivasyonuna ve başarısına etkisi incelenmiştir. Ön-test son-test kontrol gruplu yarı deneysel desen kullanılmıştır. Çalışmayı 2021-2022 eğitim öğretim yılı bahar döneminde Burdur ilindeki bir ilköğretim okulundaki iki şube altıncı sınıf öğrencisi oluşturmuştur. Araştırmada sekiz haftalık “Portfolyo Temelli Değerlendirme Süreci” uygulanmıştır. Veriler “Üstbilişsel Dinleme Farkındalığı Ölçeği”, “Ortaokul Öğrencileri İçin Dinleme Motivasyonu Ölçeği” ve “Dinlediğini Anlama Başarı Testi” aracılığıyla toplanmıştır. Deneysel sürecin etkililiği iki yönlü karışık ölçümler için ANOVA istatistiği ile test edilmiştir. Araştırma sonuçlarına göre dinleme becerisinin geliştirilmesine yönelik portfolyo kullanımı öğrencinin dinlediğini anlama başarısını zaman içerisinde artıran bir etkenken dinlemeye yönelik motivasyon ve üstbilişsel farkındalık düzeyinde bir değişiklik gözlenmemiştir.

Keywords

• Dinleme becerisi
• portfolyoya dayalı durum belirleme
• dinlediğini anlama başarısı
• dinlemede üstbilişsel farkındalık
• dinleme motivasyonu

References

1. Ahmadi, S. M. (2016). The importance of listening comprehension in language learning. International Journal of Research in English Education, 1(1), 7-10.
2. Atai, M. R., & Ghotbeldin, S. (2012). The effect of portfolio approach and genre-based pedagogy on listening comprehension of Iranian EFL learners. Teaching English Language, 5(1), 1-19. Doi: 10.22132/TEL.[phone]
3. Axton, K. (2012). The role of portfolios in student motivation. VISIO, 42, 23-42.
4. Baas, D., Castelijns, J., Vermulen, M., Martens, R., & Segers, M. (2014). The relation between assessment for learning and students’ cognitive and metacognitive strategy use. British Journal of Educational Psychology, 85(1), 33-46. Doi: 10.1111/bjep.12058
5. Barr, L., Dittmar, M., Roberts, E., & Sheraden, M. (2002). Enhancing Student Achievement through the Improvement of Listening Skills. (Unpublished master theses). Saint Xavier University & Sky Light Chicago, Illinois.
6. Bayat, N. (2021). Dinleme modelleri. N. Bayat (Ed.), Dinleme ve eğitimi içinde (s. 65-84). Ankara: Anı Yayıncılık.
7. Bozorgian, H., Sabokpa, M., & Muhammadpour, M. (2022). Dialogic interaction and dynamic systems theory in listening comprehension: A case study of metacognitive interventions. Ampersand, 9, 100088. Doi: 10.1016/j.amper.2022.100088
8. Brown, A. L. (1978). Knowing when, where, and how to remember: A problem of metacognition. Advances in Instructional Psychology, 1, 77-165.

9. Brown, J. D., & Hudson, T. (1998). The alternatives in language assessment. TESOL Quarterly, 32(4), 653-675. Doi: 10.2307/3587999
10. Brown, H. D. (2004). Language assessment: Principles and classroom practices. White Plains, New York: Longman.
11. Burke, K., Fogarty, R., & Belgrad, S. (1994). The mindful school: The Portfolio. Arlington Heights, IL: SkyLight Training and Publishing.
12. Cao, Z., & Lin, Y. (2020). A Study on metacognitive strategy use in listening comprehension by vocational college students. English Language Teaching, 13(4), 127-139. Doi: 10.5539/elt.v13n4p127
13. Charvade, M. R., Jahandar, S., & Khodabandehlou, M. (2012). The impact of portfolio assessment on EFL learners’ reading comprehension ability. English Language Teaching, 5(7), 129-139. Doi: 10.5539/elt.v5n7p129
14. Chen, A. (2013). EFL listeners’ strategy development and listening problems: A process-based study. Journal of Asia TEFL, 10(3), 81-101.
15. Chou, M. H. (2016). A task-based language teaching approach to developing metacognitive strategies for listening comprehension. International Journal of Listening, 31(1), 51-70. Doi: 10.1080/10904018.2015.1098542
16. Çetinkaya, G. ve Şentürk, R. (2021). Dinleme eğitiminde ölçme ve değerlendirme. N. Bayat (Ed.), Dinleme ve eğitimi içinde (s. 313-363). Ankara: Anı Yayıncılık.
17. Deci, E. L., & Ryan, R. M. (1985). The general causality orientations scale: Self-determination in personality. Journal of Research In Personality, 19(2), 109-134.
18. Delett, J. S., Barnhardt, S., & Kevorkian, J. A. (2001). A framework for portfolio assessment in the foreign language classroom. Foreign Language Annals, 34(6), 559-568. Doi: 10.1111/j.1944-9720.2001.tb02103.x
19. Doğan, C. D. (2011). Öğretmen adaylarının başarıları belirlenirken tercih ettikleri durum belirleme yöntemlerini etkileyen faktörler ve bu yöntemlere ilişkin görüşleri. (Yayınlanmamış doktora tezi). Ankara Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.
20. Doğan, C. D. ve Kutlu, Ö. (2011). Öğretmen adaylarının yeni durum belirleme yöntemlerini tercihlerinde etkili olan öğrenmeye ilişkin özellikler. Kastamonu Eğitim Dergisi, 19(2), 459-474.
21. Dölek, O. ve Yıldırım, İ. (2021). Ortaokul öğrencileri için dinleme motivasyonu ölçeği: Geçerlik ve güvenirlik çalışması. International Journal of Language Academy, 9(2), 1-16. Doi: 10.29228/ijla.49839
22. Efendi, Z. (2017). Improving students’ ability in writing English teaching by using portfolio assessment (An experimental study at SMKN 1 Blangpidie). Getsempena English Education Journal, 4(2), 152-163.
23. Ertürk, N., Keleş, S. ve Külünk, D. (2021). 6. sınıf Türkçe ders kitabı. Ankara: MEB Yayınları.
24. Evans, D. J., Zeun, P., & Stanier, R. A. (2014). Motivating student learning using a formative assessment journey. Journal of Anatomy, 224(3), 296-303. Doi: 10.1111/joa.12117
25. Evin Gencel, İ. (2017). The effect of portfolio assessments on metacognitive skills and on attitudes toward a course. Educational Sciences: Theory & Practice, 17(1), 293-319. Doi: 10.12738/estp.2017.2.0378
26. Fang, I. E. (1966). The Easy listening formula. Journal of Broadcasting, 11(1), 63-68. Doi: 10.1080/08838156609363529
27. Farahian, M., & Avarzamani, F. (2018). The impact of portfolio on EFL learners’ metacognition and writing performance. Cogent Education, 5(1), 1-21. Doi: 10.1080/2331186X.2018.1450918
28. Flavell, J. H. (1976) Metacognitive aspects of problem solving. In L. B. Resnick (Ed.), The nature of intelligence (pp.231-236). Hillsdale, NJ: Erlbaum
29. Flowerdew, J. (Ed.). (1994). Akademic listening: Research perspectives. New York: Cambridge University Press.
30. Goh, C. (2008). Exploring listening comprehension tactics and their interaction patterns. System, 30(2), 185-206. Doi: 10.1016/S0346-251X(02)0000
31. Goh, C. C., & Hu, G. (2014). Exploring the relationship between metacognitive awareness and listening performance with questionnaire data. Language Awareness, 23(3), 255-274. Doi: 10.1080/09658416.2013.769558
32. Göçer, A. (2020). Dinleme becerisinin gelişim durumunun ve kullanım yeterliklerinin ölçülüp değerlendirilmesi. Çukurova Araştırmaları, 6(1), 109-125. Doi: 0.29228/cukar.43295
33. Graham, S. (2003). Learner strategies and advanced level listening comprehension. Language Learning Journal, 28(1), 64-69. Doi: 10.1080/09571730385200221
34. Hassaskhah, J., & Sharifi, A. (2011). The role of portfolio assessment and reflection on process writing. Asian EFL Journal, 13(1), 193-231.
35. Hamzadayı, E. (2021). Dinleme becerisinin temel kavramları. N. Bayat (Ed.), Dinleme ve eğitimi içinde (s. 65-84). Ankara: Anı Yayıncılık.
36. Herbert, E. A. (2001). The power of portfolios: What children can teach us about learning and assessment. San Francisco: Jossey-Bass Publishers.
37. Hoa, L. B. (2020). Listening portfolio: A combination of extensive and intensive listening. The Center for ELF Journal, 6, 95-106. Doi: 10.15045/ELF_0060109
38. Jamrus, M. H. M., & Razali, A. B. (2019). Using self-assessment as a tool for English language learning. English Language Teaching, 12(11), 64-73. Doi: 10.5539/elt.v12n11p64
39. Kaptan, F. (2005, Kasım). Fen ve teknoloji dersi öğretim programıyla ilgili değerlendirme. Eğitimde Yansımalar: VIII, Yeni İlköğretim Programlarını Değerlendirme Sempozyumu Bildirileri Kitabı., 283-298. Erciyes Üniversitesi, Kayseri.
40. Kim, H. Y. (2013). Statistical notes for clinical researchers: Assessing normal distribution for using skewness and kurtosis. Restorative Dentistry & Endodontics, 38(1), 52-54.
41. Kirk, R. E. (1996). Practical significance: A concept whose time has come. Educational and Psychological Measurement, 56, 746-759.
42. Klenowski, V. (2002). Developing portfolios for learning and assessment: Processes and principles. London: Routledge.
43. Kutlu, Ö., Doğan, C. D. ve Karakaya, İ. (2009). Öğrenci başarısının belirlenmesi performansa ve portfolyoya dayalı durum belirleme. Ankara: Pegem Akademi.
44. Leeck, P. (2015). Portfolio-work and its effects on listening comprehension of very young learners. Journal of Language and Cultural Education, 3(1), 43-56. Doi: 10.1515/jolace-2015-0004
45. Linnakyla, P. (2001). Portfolio: Integrating writing, learning and assessment. Tynjala, T., Mason, L., & Lonka, K. (Ed.), In writing as a learning tool: Integrating theory and practice (pp. 145-160). Dordrecht: Springer Netherlands.
46. Mahdavi, N., & Miri, M. (2017). Co-shaping metacognitive awareness and developing listening comprehension through process-based instruction. International Journal of Listening, 33(1), 53-70. Doi: 10.1080/10904018.2016.1260454
47. Mahdavinia, M., & Ahmadi, L. N. (2011). Portfolio assessment: A tool for self-directed learning at post-secondary level. Gardner D. (Ed). In fostering autonomy in language learning, (pp 76-89). Gaziantep, Zirve Universty.
48. McLeod, J. K., & Vasinda, S. (2009). Electronic portfolios: Perspectives of students, teachers and parents. Education and Information Technologies, 14(1), 29-38.
49. McMillan, J., & Schumacher, S. (2001). Research in education. A Conceptual Introduction Boston: Longman.
50. MEB (2019). Türkçe dersi öğretim programı ve kılavuzu. Ankara: Talim ve Terbiye Kurulu Başkanlığı.
51. MEB (2023). Millî Eğitim Bakanlığı ölçme ve değerlendirme yönetmeliği. T.C. Resmi Gazete, 32304, 09 Eylül 2023. Erişim Adresi: https://www.resmigazete.gov.tr/eskiler/2023/09/20230909-2.htm
52. Melanlıoğlu, D. (2011). Üstbiliş stratejileri eğitiminin ilköğretim ikinci kademe öğrencilerinin dinleme becerilerine etkisi (Yayınlanmamış doktora tezi). Gazi Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.
53. Melanlıoğlu, D. (2012). Dinleme becerisine yönelik ölçme değerlendirme çalışmalarında üstbiliş stratejilerinin kullanımı. Turkish Studies, 7(1), 1583-1595.
54. Meyer, E., Abrami, P. C., Wade, C. A., Aslan, O., & Deault, L. (2010). Improving literacy and metacognition with electronic portfolios: Teaching and learning with ePEARL. Computers and Education, 55(1), 84-91. Doi: 10.1016/j.compedu.2009.12.005
55. Miles, M. B., & Huberman, A. M. (1994). Qualitative data analysis: An expanded sourcebook. London: Sage.
56. Moya, S. S., & O’malley, J. M. (1994). A portfolio assessment model for ESL. The Journal of Educational Issues of Language Minority Students, 13(1), 13-36.
57. Mullis, I. V. S., Martin, M. O., Kennedy, A. M., Trong, K. L., & Sainsbury, M. (2009). PIRLS 2011 assessment frameworks. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College.
58. Nassirdoost, P., & Mall-Amiri, B. (2015). The Impact of portfolio assessment on EFL learners’ vocabulary achievement and motivation. Journal for the Study of English Linguistics, 3(1), 38-50. Doi: 10.5296/jsel.v3i1.7750
59. Osada, N. (2004). Listening comprehension research: A brief review of the past thirty years. Dialogue, 3(1), 53-66.
60. Owca, S., Pawlak, E., & Pronobis, M. (2003). Improving student academic success through the promotion of listening kills. (Unpublished master theses), Saint Xavier University and Pearson Skylight Field-Based Master's Program, Illinois.
61. Özsoy, G. (2008). Üstbiliş. Türk Eğitim Bilimleri Dergisi, 6(4), 713-740.
62. Paulson, F. L., Paulson, P. R, & Meyer, C. A. (1991). What makes a portfolio?, Educational Leadership, 48(5), 60-63.
63. Renukadevi, D. (2014). The role of listening in language acquisition; The challenges & strategies in teaching listening. International Journal of Education and Information Studies, 4(1), 59-63.
64. Roohani, A., & Taheri, F. (2015). The effect of portfolio assessment on EFL learners’ expository writing ability. International Journal of Language Testing, 5(1), 46-59.
65. Russel, M. K., & Airasian, P. W. (2012). Classroom assesment. McGraw-Hill, Columbus, OH.
66. Ryan, R. M., & Deci, E. L. (2000). Intrinsic and extrinsic motivations: Classic definitions and new directions. Contemporary Educational Psychology, 25(1), 54–67. Doi: 10.1006/ceps.1999.1020
67. Safari, M., & Koosha, M. (2016). Instructional efficacy of portfolio for assessing Iranian EFL learners’ speaking ability. English Language Teaching, 9(3), 102-116. Doi: 10.5539/elt.v9n3p102
68. Saraswaty, D. R. (2018). Learners’difficulties & strategies in listening comprehension. English Community Journal, 2(1), 139-152.
69. Sarıboyacı, M. O. (2021). 6. sınıf Türkçe ders kitabı. Ankara: ATA Yayıncılık.
70. Srikaew, D., Tangdhanakanond, K., & Kanjanawasee, S. (2015). Development of an English speaking skill assessment model for grade 6 students by using portfolio. Procedia-Social and Behavioral Sciences, 191, 764-768. Doi: 10.1016/j.sbspro.2015.04.715
71. Sulistyo, T., Eltris, K. P. N., Mafulah, S., Budianto, S., Saiful, S., & Heriyawati, D. F. (2020). Portfolio assessment: Learning outcomes and students’ attitudes. Studies in English Language and Education, 7(1), 141-153. Doi: 10.24815/siele.v7i1.15169
72. Tabak, G. ve Göçer, A. (2014). Dinleme becerisine yönelik alternatif ölçme ve değerlendirme araçları. Bartın University Journal of Faculty of Education, 3(2), 250-272. Doi: 10.14686/BUEFAD.201428181
73. Taki, S., & Heidari, M. (2011). The effect of using portfolio-based writing assessment on language learning: The case of young Iranian EFL learners. English Language Teaching, 4(3), 192-199.
74. Tiwari, A., & Tang, C. (2003). From process to outcome: The effect of portfolio assessment on student learning. Nurse Education Today, 23(4), 269-277.
75. Vandergrift, L. (2004). Listening to learn or learning to listen. IRAL, 24(1), 3-25.
76. Vandergrift, L. (2005). Relationships among motivation orientations, metacognitive awareness and proficiency in L2 listening. Applied Linguistics, 26(1), 70-89. Doi: 10.1093/applin/amh039
77. Vandergrift, L., Goh, C. C., Mareschal, C. J., & Tafaghodtari, M. H. (2006). The metacognitive awareness listening questionnaire: Development and validation. Language Learning, 56(3), 431-462.
78. Yazıcı, Z. (2021). Dinlemenin gelişimi. N. Bayat (Ed.), Dinleme ve eğitimi içinde (s. 65-84). Ankara: Anı Yayıncılık.
79. Yıldız, D. (2021). Dinlemenin edimsel ve duyuşsal boyutu. N. Bayat (Ed.), Dinleme ve eğitimi içinde (s. 27-44). Ankara: Anı Yayıncılık.
80. Yurdabakan, I., & Erdoğan, T. (2009). The effects of portfolio assessment on reading, listening and writing skills of secondary school prep class students. Journal of International Social Research, 2(9), 526-538.
81. Zhu, Y., & Leung, F. K. (2011). Motivation and achievement: Is there an East Asian model?. International Journal of Science and Mathematics Education, 9, 1189-1212.