Çevrimiçi Öz Ve Akran Geribildirimlerin Biçimlendirici Niteliğini Belirlemeye Yönelik Analitik Rubrik Geliştirme Çalışması

Yıl 2021, Cilt: 7 Sayı: 1, 22 - 50, 16.04.2021

Fethiye Teke , Osman Nafiz Kaya , Zehra Kaya

https://doi.org/10.29065/usakead.852967

Öz

Bu çalışmada, çevrimiçi ortamda sunulan öz ve akran geribildirimlerin ne düzeyde biçimlendirici olduğunu belirlemek için “Biçimlendirici Geribildirim Değerlendirme Rubriği’’ geliştirmek amaçlanmıştır. “Biçimlendirici geribildirim” kavramıyla ilgili alanyazındaki araştırmalardan ve uzman görüşlerinden yararlanılarak geliştirilen analitik rubrik, üç ana boyut (bilişsel, duyuşsal, yapı-şekil) ve dokuz alt boyuttan (odak, içerik, amaç, değer, öz saygı, tavır, organizasyon, anlaşılırlık, biçim) oluşturulmuştur. Güvenilirlik çalışması kapsamında, değerlendirmeciler arası uyum rs =0,80-0.84 ve dört ay arayla yapılan değerlendirmeler arası tekrar uyumu rs =0,87 olarak bulunmuştur. Geliştirilen rubriğin, çevrimiçi ortamlarda sağlanan yazılı geribildirimlerin biçimlendirici olma düzeylerini belirlemede, etkin şekilde kullanılabileceği sonucuna varılmıştır. Ayrıca rubrik, farklı çevrimiçi sistem ve ortamlara uygun olarak düzenlenerek, içinde bulunduğumuz COVID-19 pandemi sürecinde, çevrimiçi ortamlarda sunulan geribildirimin niteliğini belirlemede ve geliştirmede bir araç olarak kullanılabilir.

Anahtar Kelimeler

Ölçme ve değerlendirme, çevrimiçi değerlendirme, biçimlendirici geribildirim, analitik rubrik

Destekleyen Kurum

Uşak Üniversitesi

Kaynakça

• Akkaş Baysal, E.& Ocak,G.(2018). İngilizce Derslerinde Hazırlanan Portfolyoları Değerlendirme: Bir Dereceli Puanlama Anahtarı (Rubrik) Geliştirme Çalışması. Kalem Eğitim ve İnsan Bilimleri Dergisi, 9(2), 547-572.doi: 10.23863/kalem.2019.139
• Aktaş,M.&Alıcı,D.(2018). Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması. Mersin Üniversitesi Eğitim Fakültesi Dergisi,14(2),597-610. DOI: 10.17860/mersinefd.424198
• Allen, D., & Tanner,K.(2006). Rubrics: Tools for Making Learning Goals and Evaluation Criteria Explicit for Both Teachers and Learners. Approaches to Biology Teaching and Learning,5,197-203.DOI: 10.1187/cbe.06 – 06 – 0168
• Amanvermez İncirkuş, F. ve Beyreli, L. (2019). Öyküleyici metinler aracılığıyla eleştirel düşünme becerilerini değerlendirmeye yönelik bir rubrik. Ana Dili Eğitimi Dergisi, 7(3), 597-629.
• Anglin, K., Anglin, L., Kaliski, J., & Schumann, P. (2008). Improving the Efficiency and Effectiveness of Grading Through the Use of Computer-Assisted Grading Rubrics. Decision Sciences Journal of Innovative Education, 6(1),51-73.
• Aydemir, S. (2012). Harmanlanmış Öğrenme Ortamının Fen Bilgisi Öğretmen Adaylarının Bilimin Doğası ve Bilimsel Araştırmayı Anlamaları Üzerine Etkisi. Yayınlanmamış Yüksek Lisans Tezi. Fırat Üniversitesi, Eğitim Bilimleri Enstitüsü, Elazığ.
• Aydın,F.,& Karaçam,S. (2015). Gruplar İçin Teknolojik Tasarım Uygulamalarını Değerlendirmeye Yönelik Bir Analitik Rubrik Çalışması. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 11(1), 132-147.
• Aytaş,G.& Köktürk,Ş.(2017). Sözlü Çeviride Bir Değerlendirme Aracı Olarak Rubrik. Tarih Okulu Dergisi (TOD),10(31),361-375. DOIhttp://dx.doi.org/10.14225/Joh1111
• Bağçeçi, B., Başaran, M., Şahin, A. & Doğan, E. (2020). Öğretme-öğrenme sürecinde yapılandırmacı öğretmen performansı değerlendirme ölçeği: bir rubrik çalışması. Uluslararası Dil, Eğitim ve Sosyal Bilimlerde Güncel Yaklaşımlar Dergisi (CALESS), 2(1), 232-256.
• Beyreli,L.&Konuk,S.(2016). İkna Edici Metinleri Değerlendirmek İçin Bir Rubrik Önerisi ve Rubriğin Kullanılabilirliği. International Journal of Language Academy,4(4),183-204.
• Boztunç Öztürk, N., Şahin, M.G., & İlhan, M. (2019). An analysis of scoring via analytic rubric and general impression in peer assessment. Turkish Journal of Education, 8(4), 258−275. DOI: 10.19128/turje.609073
• Büyüköztürk,Ş., Kılıç Çakmak,E., Akgün,Ö.E., Karadeniz,Ş. & Demirel,F.(2017).Bilimsel Araştırma Yöntemleri.Ankara:Pegem Akademi.
• Çabakçor,B.Ö., Akşan,E.,Öztürk,T.,& Odabaşı Çimer,S.(2011). İlköğretim Matematik Öğretmeni Adaylarının Matematik Derslerinden Aldığı ve Tercih Ettikleri Geribildirim Türleri. Turkish Journal of Computer and Mathematics Education,2(1),46-68.
• Çelik, T., Demirgüneş, S. & Baştuğ, M. (2014). Metin Oluşturma ve Değerlendirme Çalışmalarına Yönelik “Okur Dostu” Metin Değerlendirme Rubriği Geliştirme Çalışması.Uluslararası Avrasya Sosyal Bilimler Dergisi, 5(14), 65-82.
• Çıralı Sarıca,H.,& Koçak Usluel,Y.(2016). Eğitsel Bağlamda Dijital Hikâye Anlatımı: Bir Rubrik Geliştirme Çalışması. EĞİTİM TEKNOLOJİSİ Kuram ve Uygulama,6(2),65-84.
• Dıab,R., & Balaa,L. (2011). Developing Detailed Rubrics for Assessing Critique Writing: Impact on EFL University Students’ Performance and Attitudes. TESOL Journal,2(1),52-72. doi: 10.5054/tj.2011.244132
• Elson, M., Axelson, R. (2012). Formative feedback on a patient-based assessment: comparing student perceptions of two feedback methods. Proceedings in Obstetrics and Gynecology, 1-6.
• Ergün,H., Gürel,Z. & Çorlu,M.A.(2011). Problem tasarlama performansının değerlendirilmesinde kullanılabilecek bir rubriğin geliştirilmesine ilişkin bir araştırma. Milli Eğitim Dergisi,191,39-55.
• Gikandi, J., Morrow, D., & Davis, N. (2011). Online formative assessment in higher education: A review of the literatüre. Computers & Education,57,2333-2351. doi:10.1016/j.compedu.2011.06.004
• Goodrich Andrade,H.(2000).Using Rubrics to Promote Thinking and Learning. Association for Supervision and Curriculum Development,13-18.
• Göçer, A. (2019). Use of Feedback an Important Application Technique that Contributes to the Functionality of Measurement and Evaluation in Turkish Education. Kırıkkale University Journal of Social Sciences (KUJSS),9(1),111-126.
• Green,R.,& Bowser,M.(2006). Observations from the Field: Sharing a Literature Review Rubric. Co-published simultaneously in Journal of Library Administration,45(1),185-202. doi:10.1300/J111v45n01_10
• Heritage, M. (2007). Formative Assessment: What Do Teachers Need to Know and Do? Phi Delta Kappa International.
• İlhan Agan,Ş., & Deniz, S. (2019). A Rubric Study for Assessing Paragraph Level Written Texts. Journal of Education and Training Studies,8(1), 43-50. doi.org/10.11114/jets.v8i1.4610
• Jonsson,A.,& Svingby,G.(2007). The use of scoring rubrics: Reliability, validity and educational consequences .Educational Research Review,2,130-144. doi:10.1016/j.edurev.2007.05.002
• Kaya, O.N. (2013). Fen ve Teknoloji Öğretmen Adaylarının Pedagojik Teknolojik Alan Bilgisinin ve Sınıf İçi Uygulamalarının Araştırılması ve Geliştirilmesi. TÜBİTAK-Sosyal ve Beşeri Bilimler Araştırma Destek Grubu Projesi-1001, (Proje No: 109K541), Yürütücü.
• Kaya, O.N. (2017). Öğretmen Eğitiminde Yeni Bir Yaklaşım: Etkili Harmanlanmış Öğrenme. TÜBİTAK-Sosyal ve Beşeri Bilimler Araştırma Destek Grubu Projesi-1001, (Proje No: 113K704), Yürütücü.
• Keleş,P.U.,& Çepni,S.(2019). Evaluating Drama Activities on Fifth Grade Science Subjects with the Developed Analytical Rubric. Universal Journal of Educational Research,7(2),328-336.
• Kinne,L.J., Hasenbank, H.J., & Coffey,D.(2014). Are We There Yet? Using Rubrics to Support Progress Toward Proficiency and Model Formative Assessment. AILACTE Journal,XI,109-128.
• Lipnevich,A.A., McCallen,L.N., Miles,K.P.,& Smith,J.K.(2013). Mind the gap! Students’ use of exemplars and detailed rubrics as formative assessment. Springer Science+Business Media Dordrecht,1-21. DOI 10.1007/s11251-013-9299-9
• Luft,J.(1998). Rubrics: Design and Use in Science Teacher Education. Paper presented at the Annual Meeting of the Association for the Education of Teachers,2-13.
• Moskal,B.M., & Leydens,J.A.(2000). Scoring Rubric Development: Validity and Reliability.Practical Assesment Research & Evaluation,7(10),1-6.
• Moskal, B.M. (2003). Recommendations for Developing Classroom Performance Assessments and Scoring Rubrics.Practical Assessment, Research, and Evaluation,8(14),1-5.DOI: https://doi.org/10.7275/jz85-rj16
• MEB. (2018). İlköğretim fen bilimleri dersi (3, 4, 5, 6, 7 ve 8.sınıflar) öğretim programı. Ankara: Devlet Kitapları Müdürlüğü Basımevi.
• Nelson, M., Schunn, C.(2009). The nature of feedback: how different types of peer. Springer Science+Business Media, 375-401.
• Nordrum,L., Evans,K.,& Gustafsson,M.(2015). Comparing student learning experiences of in-text commentary and rubric-articulated feedback: strategies for formative assessment. Assessment & Evaluation in Higher Education,38(8),919-940. DOI: 10.1080/02602938.2012.758229
• Olpak,Y.Z. & Kılıç Çakmak,E.(2014). Çevrimiçi Öğrenme Ortamlarında Farklı Geribildirim Stratejilerinin Öğrencilerin Sosyal Bilişsel ve Öğretimsel Bulunuşluk Algıları ile Akademik Başarılarına Etkisi. Ahi Evran Üniversitesi Kırşehir Eğitim Fakültesi Dergisi (KEFAD),15(2), 243-261.
• Panadero, E.,& Jonsson,A.(2013). The use of scoring rubrics for formative assessment purposes revisited: A review. Educational Research Review ,9,129-144. doi.org/10.1016/j.edurev.2013.01.002
• Rakedzon,T.& Baram Tsabari,A.(2017). To make a long story short: A rubric for assessing graduate students’ academic and popular science writing skills. Assessing Writing,32,28-42. http://dx.doi.org/10.1016/j.asw.2016.12.004 1075-2935
• Rezaei,A.R. & Lovorn,M.(2010). Reliability and validity of rubrics for assessment through writing. Assessing Writing,15,18-39. doi:10.1016/j.asw.2010.01.003
• Saliu-Abdulahi, Drita, Glenn Ole Hellekjær, and Frøydis Hertzberg. (2017). “Teachers’ (Formative) Feedback Practices in EFL Writing Classes in Norway.” Journal of Response to Writing, 3(1): 31–55.
• Sezer,S.(2005). Öğrencinin Akademik Başarısının Belirlenmesinde Tamamlayıcı Değerlendirme Aracı Olarak Rubrik Kullanımı Üzerine Bir Araştırma. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi,18(18),61-69.
• Shute, V.J. (2008). Focus on Formative Feedback. Review of Educational Research,1(78),153-189.
• Shute, V.J. & Kim, Y. J. (2012). E-assessment. In N. Balacheff , J. Bourdeau, P. Kirschner, R. Sutherland, and J. Zeiliger (Eds.), TEL Th esaurus. Stellar Initiative.
• Spence, L.K.(2010). Discerning Writing Assessment: Insights into an Analytical Rubric.Language Arts,5(87),337-352.
• Şen, E. & Karagül, S. (2020). Kurmaca metinleri değerlendirmeye yönelik rubrik geliştirilmesi: geçerlik ve güvenirlik çalışması, Turkish Studies - Education, 15(3), 1951-1961. https://dx.doi.org/10.29228
• Taras, M. (2005). Assessment (Summative and Formetive) Some Theoretical Reflections. British Journal of Educational Studies,53, 466-478.
• Topping, K., Smith, E., Swanson, I., & Elliot, A. (2000). Formative Peer Assessment of Academic Writing Between Postgraduate Students. Assessment & Evaluation in Higher Education, 149-169.
• Vaezi,M.& Rezaei,S. (2018). Development of a rubric for evaluating creative writing: a multi-phase research. New Writing, 1-14. DOI: 10.1080/14790726.2018.1520894
• Wolf, K.,& Stevens, E.(2007). The Role of Rubrics in Advancing and Assessing Student Learning. The Journal of Effective Teaching,7(1),3-14.
• Yıldırım, A., & Şimşek, H. (2016). Sosyal Bilimlerde Nitel Araştırma Yöntemleri. Ankara: Seçkin Yayıncılık.
• Yurdugül, H., & Bayrak, F. (2014). İlkokul Öğrencilerinin Web Tabanlı Biçimlendirmeye Dönük Değerlendirme Sistemini Kabulleri. Eğitim Bilimleri ve Uygulama Dergisi,13, 167-186.