Analytical Rubric Development for Story Writing: Validity and Reliability Study

Abstract

The objective of this study is to develop an analytical rubric to evaluate fifth-grade children's story writing skills and to provide evidence of validity and reliability of the developed rubrics. The data of the study was obtained from the completed assessments of 45 classroom teachers who volunteered to participate in the research. The criteria to be considered in evaluating the story written during the development of the rubric (behavior indicators) were determined by expert opinion and literature review and behavior indicators were written for three categories (0-1-2) for each listed criterion for story writing. For the validated analyticalrubric to have evidence of validity, the fit between the 9 teachers' evaluations for each criterion/subcriterion was examined with a simple fit coefficient. Exploratory Factor Analysis was conducted in order to provide proof of validity for the rubric which is finalized with expert opinions. The Cronbach Alpha coefficients for the main criteria and for the whole scale were calculated to provide evidence for the reliability of the analytical rubric on story writing. The Cronbach's alpha coefficients obtained on the whole scale vary between .919 and .961, indicating that the scale has a very high internal consistency. In order to provide evidence of inter-scorer reliability, Weighted Kappa is calculated on the scales of two classroom teachers. The weighted Kappa coefficient obtained after the calculations made is 0.933. It is concluded that the analytical rubric developed in the light of the analyses made is a valid and reliable tool that can be used when evaluating story writing skills.

Keywords

• Analytical rubric

Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması

Abstract

Bu çalışmanın amacı, beşinci sınıf düzeyindeki çocukların hikâye yazma becerilerini değerlendirmeye yönelik analitik bir rubrik geliştirilmesi ve geliştirilen rubriğin geçerlik ve güvenirlik kanıtlarının sağlanmasına yönelik çalışmalar yapılmasıdır. Araştırmanın verileri, gönüllü 45 sınıf öğretmeninin yaptığı değerlendirmeler sonucu elde edilmiştir. Rubriğin geliştirilmesi aşamasında yazılan hikâyeyi değerlendirmede göz önüne alınması gereken ölçütler (davranış göstergelerinin) uzman görüşleri ve literatür taraması yapılarak belirlenmiş ve yazılan hikâyeyi değerlendirmeye yönelik listelenen her bir ölçüte yönelik üçer kategori (0-1-2) için davranış göstergeleri yazılmıştır. Geliştirilen analitik rubriğin geçerlik kanıtı olması için 9 öğretmenin her ölçüt/alt ölçüt için yaptığı değerlendirmeler arasındaki uyum, basit uyum katsayısı ile incelenmiştir. Uzman görüşleri ile son hâli verilen rubrik için yine geçerlik kanıtı sağlayabilmek amacıyla Açımlayıcı Faktör Analizi yapılmıştır. Hikâye yazmaya ilişkin analitik rubriğin güvenirliği için kanıt sağlamak amacıyla ana ölçütler ve tüm ölçek için Cronbach Alfa katsayıları hesaplanmıştır. Tüm ölçek bazında elde edilen Cronbach Alfa katsayıları .919 ile .961 arasında değiştiği dolayısıyla ölçeğin oldukça yüksek derecede iç tutarlığa sahip olduğu görülmektedir. Puanlayıcılar arası güvenirliğe kanıt sağlamak amacıyla ise iki sınıf öğretmeninin yaptığı puanlamalar üzerinden Ağırlıklandırılmış Kappa hesaplanmıştır. Yapılan hesaplamalar sonucu elde edilen Ağırlıklandırılmış Kappa katsayısı 0.933’tür. Yapılan analizler ışığında geliştirilen analitik rubriğin, hikâye yazma becerisi değerlendirilirken kullanılabilecek geçerli ve güvenilir bir araç olduğu sonucuna ulaşılmıştır.

Keywords

• Analitik rubrik,rubrik geliştirme

References

1. Akaydın, Ş. Çeçen, M. A. (2016). Ortaokul öğrencileri için kelime bilgi düzeyi bütüncül dereceli puanlama anahtarı geliştirme çalışması. Milli Eğitim. 210, 337-349.
2. Alpar, R. (2014). Uygulamalı istatistik ve geçerlik-güvenirlik. Ankara: Detay Yayıncılık.
3. Arter, J. (2002). Rubrics, Scoring Guides, and Performance Criteria. Understanding Scoring Rubrics a Guide for Teachers (ed. Carol Boston). Washington: Office of Educational Research and Improvement.
4. Ateş, S., Çetinkaya, Ç., Yıldırım, K. (2012). How to choose a readable book. Elementary Education Online, 11(2), 319-331.
5. Aydın, F., Karaçam, S. (2015). Gruplar İçin Teknolojik Tasarım Uygulamalarını Değerlendirmeye Yönelik Bir Analitik Rubrik Çalışması. Mersin Üniversitesi Eğitim Fakültesi Dergisi. 11(1), 132-147.
6. Birel, A. S., Albuz, A. (2014). Viyolonsel öğretiminde performansı değerlendirmeye yönelik hazırlanan dereceli puanlama anahtarının (rubrik) sınanması ve değerlendirilmesi. Atatürk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi. 18 (3), 281-207.
7. Brookhart, S. M. (1999). The art and science of classroom assessment: The missing part of pedagogy. ASHE-ERIC Higher Education Report, 27(1). Washington, DC: The George Washington University, Graduate School of Education and Human Development.
8. Cardinet, J., Johnson, S., & Pini, G. (2010). Applying generalizability theory using EduG. New York, NY: Taylor and Francis.

9. Congdon, P., & McQueen, J. (2000). The stability of rater severity in large-scale assessment programs. Journal of Educational Measurement, 37(2), 163-178.
10. Coşkun, E., Tiryaki, E. N. (2013). Üniversite öğrencilerinin tartışmacı metin yazma becerileri. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi. 28(2), 102-115.
11. Çelik, T., Demirgüneş, S. ve Baştuğ, M. (2014). Metin oluşturma ve değerlendirme çalışmalarına yönelik “okur dostu” metin değerlendirme rubriği geliştirme çalışması. Uluslararası Avrasya Sosyal Bilimler Dergisi. 5(14),65-82.
12. Çıralı Sarıca, H., Koçak Usluel, Y. (2016). Eğitsel bağlamda dijital hikâye anlatımı: bir rubrik geliştirme çalışması. Eğitim Teknolojisi: Kuram ve Uygulama. 6(2), 65-84.
13. Deliceoğlu, G. (2009). Futbol yetilerine ilişkin dereceleme ölçeğinin genellenebilirlik ve klasik test kuramına dayalı güvenirliklerinin karşılaştırılması. Yayımlanmış Doktora Tezi. Ankara Üniversitesi Eğitim Bilimleri Enstitüsü Eğitimde Psikolojik Hizmetler Anabilim Dalı Ölçme ve Değerlendirme Bilim Dalı.
14. Dunbar, N.E., Brooks, C.F., & Miller, T.K. (2006). Oral communication skills in higher education: Using a performance-based evaluation rubric to assess communication skills. Innovative Higher Education, 31(2), 2006, 115-128.
15. Goodrich Andrade, H. (2001). The Effects of Instructional Rubrics on Learning to Write. Current Issues in Education. 4(4), 1-21.
16. Hall, E.K., & Salmon, S.J. (2003). Chocolate chip cookies and rubrics helping students understand rubrics in inclusive settings. Teaching Exceptional Children, 35(4), 8-11.
17. Huang, J. (2009). Factors affecting the assessment of ESL students' writing. International. Journal of Applied Educational Studies, 5(1), 1-17.
18. Lord, F. M. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: Lawrence Erlbaum.
19. Melanlıoğlu, D. (2016). Yabancı öğreniciler için dinleme becerisine yönelik üstbilişsel dereceli puanlama anahtarı. Erzincan Üniversitesi Eğitim Fakültesi Dergisi. 18(2), 1206-1229.
20. Mertler, C. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, 7(25). 28 Şubat 2018 tarihinde http://pareonline.net/getvn.asp?v=7&n=25 adresinden alınmıştır.
21. Moskal, B.M. & Leydens, J.A. (2000). Scoring rubric development: validity and reliability. Practical Assessment, Research & Evaluation, 7(10). 28 Şubat 2018 tarihinde http://pareonline.net/getvn.asp?v=7&n=10 adresinden alınmıştır.
22. Myford, C.M., & Wolfe, E.W. (2009). Monitoring rater performance over time: A framework for detecting differential accuracy and differential scale category use. Journal of Educational Measurement, 46(4), 371-389.
23. Oaklef, M. (2009). Using rubrics to assess information literacy: An examination of methodology and ınterrater reliability. Journal of the American Society for Information Science and Technology, 60(5), 969-983.
24. Ocak, G., Kutlu Kalender, M. D. (2017). Ortaokul 5. ve 6. sınıf fen bilimleri öğretim programının kazanım ve içerik ilişkisinin değerlendirilmesi. Bayburt Eğitim Fakültesi Dergisi. 12(23), 209-225.
25. Ömür, S., Erkuş, A. (2013). Dereceli puanlama anahtarıyla, genel izlenimle ve ikili karşılaştırmalar yöntemiyle yapılan değerlendirmelerin karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi. 28(2), 308-320.
26. Öztürk, E. (2007). İlköğretim beşinci sınıf öğrencilerinin yaratıcı yazma becerilerinin değerlendirilmesi. Yayınlanmamış doktora tezi. Gazi Üniversitesi Eğitim Bilimleri Enstitüsü. Ankara.
27. Öztürk, D., Bahar, G. Viyolonsel performans değerlendirmesine yönelik dereceli puanlama anahtarının (rubrik) geliştirilmesi. 06 Mart 2018 tarihinde http://amader.aku.edu.tr/sayi3/makaleler/devrim%20%C3%B6zt%C3%BCrk.pdf adersinde erişim sağlanmıştır.
28. Parlak, B., Doğan, N. (2014). Dereceli Puanlama Anahtarı ve Puanlama Anahtarından Elde Edilen Puanların Uyum Düzeyleri. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi. 29(2), 189-197.
29. Popham, W.J. (1997). What’s wrong-and what’s right-with rubrics. Educational Leadership, 55(2), 72-75.
30. Schaefer, E. (2008). Rater bias patterns in an EFL writing assessment. Language Testing, 25(4), 465-493.
31. Tekindal, S (Editör). (2008). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi.
32. Tekin, H. (2009). Eğitimde ölçme ve değerlendirme. Ankara: Yargı Yayınevi.
33. Viera, A. J., Garrett, J. M. (2005). Understanding interobserver agreement: the kappa statistic. Family Medicine. 37(5):360-63.
34. Wolf, K., ve Stevens, E. (2007). The role of rubrics in advancing and assessing student learning. The Journal of Effective Teaching, 7(1), 3-14.
35. Yue, X. (2011). Detecting rater centrality effect using simulation methods and Rasch measurement analysis. Unpublished Doctoral Thesis, Virginia State University, Petersburg.
36. Zhu, X. (2009). Assessing fit of item response models for performance assessments using bayesian analysis. Unpublished Doctoral Thesis, University of Pittsburgh, Pittsburgh, ABD.