Investigation of the Reliability of Teachers, Self and Peer Assessments at Primary School Level with Generalizability Theory

Abstract

This study aims at determining the reliability coefficients of teacher, self and peer assessments carried out at primary school level. In line with this aim, an interdisciplinary approach is adopted, and the notion of helpfulness included within the scope of values education is addressed in connection with the practices followed in Turkish, social studies and music lessons. The study group consists of 30 students of the third graders from a public school in the city of Ankara. In the light of the aim of the study, the Generalizability Theory is used for the data analysis. It is found out at the end of the study that the variance component estimated for the main effect of the student is the largest component of the total variance in all three lessons. When G and Ф coefficients are examined, reliability coefficients are found to be over .80 in music, and over .90 in Turkish and social studies. According to G-Facet analysis results, when teacher and peer assessments are excluded from the analysis, respectively, G and Ф coefficients have a decreasing tendency whereas these coefficients increase when self-assessment is excluded from the analysis. Especially in the music lesson, the reliability coefficients obtained by excluding teacher and peer assessments from the analysis are found to be around .60, which is a remarkable result.

Keywords

• Teacher assessment,self-assessment,peer-assessment,generalizability theory

References

1. Ballantyne, R., Huges, K. And Mylonas, A. (2002). Developing procedures for implementing peer assessment in large classes using an action research process. Assessment and Evaluation in Higher Education, 27(5), 427-441.
2. Brennan, R. L. (2001). Generalizability Theory. Springer-Verlag New York, Inc.
3. Boud, D. (1986). Implementing student self-assessment. Sydney: Higher Education Research and Development Society of Australasia.
4. Cihanoğlu, M.O. (2008). Alternatif değerlendirme yaklaşımlarından öz ve akran değerlendirmenin işbirlikli öğrenme ortamlarında akademik başarı, tutum ve kalıcılığa etkileri. (Yayımlanmamış Doktora Tezi). Dokuz Eylül Üniversitesi, Eğitim Bilimleri Enstitüsü, İzmir.
5. Cram, B. (1995). Self-assessment: From theory to practice. Developing a workshop guide for teachers. G. Brindley (Ed.), Language assessment in action (pp. 271-350). Sydney: National Centre for English Language Teaching and Research, Macquerie University.
6. Çeçen, M.A. (2011). Türkçe öğretmenlerinin seviye belirleme sınavı ve Türkçe sorularına ilişkin görüşleri. Mustafa Kemal Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 8 (15), 201-211.
7. Falchikov, N. (2001). Learning together; peer tutoring in higher education. London: Routledge-Falmer.
8. Göğüş, Gülay (1999). Müzik Yeteneğinin Tanımı, Ölçümü ve Deneme Yetenek Testi. Uludağ Üniversitesi Eğitim Fakültesi Dergisi, 12 (1), 147-154.

9. İşman, A. ve Eskicumalı, A. (2003). Eğitimde planlama ve değerlendirme. (4.baskı). İstanbul: Değişim Yayınları.
10. Kurudayıoğlu, M., Şahin Ç. ve Çelik, G. (2008). Türkiye’de uygulanan Türk edebiyatı programındaki ölçme ve değerlendirme boyutu uygulamasının değerlendirilmesi: Bir durum çalışması. Ahi Evran Üniversitesi Kırşehir Eğitim Fakültesi Dergisi, 9 (2), 91-101.
11. MEB, (2013). İlköğretim Türkçe 3 öğretmen kılavuz kitabı. Ankara: Milli Eğitim Bakanlığı.
12. MEB, (2017). İlkokul hayat bilgisi öğretmen kılavuz kitabı 3. sınıf. Ankara: Milli Eğitim Bakanlığı.
13. MEB, (2017). İlköğretim müzik 4 öğretmen kılavuz kitabı. Ankara: Milli Eğitim Bakanlığı.
14. Race, P. (2001). A briefing on self, peer and group assessment, [Çevrim-içi: https://blogs.shu.ac.uk/teaching/files/2016/09/id9_briefing_on_self_peers_and_group_assessment_snas_901.pdf ], Erişim tarihi: 11.04.2017.
15. Salmaner, R. (2015). Yazma becerilerinin değerlendirilmesinde öz akran ve öğretmen puanlarının çok yüzeyli rasch ölçme modeliyle incelenmesi. (Yayımlanmamış Yüksek Lisans Tezi). Gazi Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
16. Shavelson, R. J. ve Webb, N. M. (1991). Generalizability Theory: A Primer. Sage Publications, USA
17. Sünbül, A. M. (2007). Öğretim ilke ve yöntemleri. Konya: Çizgi Kitabevi.
18. Topping, K.J., Smith, E.F., Swanson, I. and Elliot, A. (2000). Formative peer assessment of academic writing between postgraduate students. Assessment and Evaluation in Higher Education, 25(2), 149-169.
19. Turgut, M.F. ve Baykul, Y. (2015). Eğitimde ölçme ve değerlendirme. (7.baskı). Ankara: Pegem Akademi.
20. Wilson, J., Jan, W. L. (1993). Thinking for Themselves: Developing Strategies for Reflective Learning. Australia: Eleanor Curtain Publishing.
21. Yaşar, M. (2017). Ölçme ve değerlendirmenin önemi. S. Tekindal (Ed.), Eğitimde ölçme ve değerlendirme (s.2-8). (5.baskı). Ankara: Pegem Akademi.