meujfe

Mersin Üniversitesi Eğitim Fakültesi Dergisi

1306-7850

Mersin University

10.17860/mersinefd.424198

Studies on Education

Eğitim Üzerine Çalışmalar

Analytical Rubric Development for Story Writing: Validity and Reliability Study

Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması

https://orcid.org/0000-0002-3192-7445

Aktaş

Mehtap

MERSİN ÜNİVERSİTESİ, EĞİTİM FAKÜLTESİ

https://orcid.org/0000-0001-5542-0609

Alıcı

Devrim

MERSİN ÜNİVERSİTESİ, EĞİTİM FAKÜLTESİ

08 31 2018

14 2 597 610 05 16 2018 08 03 2018

2005

Mersin University Journal of the Faculty of Education

The objective of this study is to develop an analytical rubric toevaluate fifth-grade children's story writing skills and to provide evidence ofvalidity and reliability of the developed rubrics. The data of the study wasobtained from the completed assessments of 45 classroom teachers whovolunteered to participate in the research. The criteria to be considered inevaluating the story written during the development of the rubric (behaviorindicators) were determined by expert opinion and literature review and behaviorindicators were written for three categories (0-1-2) for each listed criterionfor story writing. For the validated analyticalrubric to have evidence ofvalidity, the fit between the 9 teachers' evaluations for eachcriterion/subcriterion was examined with a simple fit coefficient. ExploratoryFactor Analysis was conducted in order to provide proof of validity for therubric which is finalized with expert opinions. The Cronbach Alpha coefficientsfor the main criteria and for the whole scale were calculated to provideevidence for the reliability of the analytical rubric on story writing. TheCronbach's alpha coefficients obtained on the whole scale vary between .919 and.961, indicating that the scale has a very high internal consistency. In orderto provide evidence of inter-scorer reliability, Weighted Kappa is calculatedon the scales of two classroom teachers. The weighted Kappa coefficientobtained after the calculations made is 0.933. It is concluded that theanalytical rubric developed in the light of the analyses made is a valid andreliable tool that can be used when evaluating story writing skills.

Buçalışmanın amacı, beşinci sınıf düzeyindeki çocukların hikâye yazmabecerilerini değerlendirmeye yönelik analitik bir rubrik geliştirilmesi vegeliştirilen rubriğin geçerlik ve güvenirlik kanıtlarının sağlanmasına yönelikçalışmalar yapılmasıdır. Araştırmanın verileri, gönüllü 45 sınıf öğretmeninin yaptığıdeğerlendirmeler sonucu elde edilmiştir. Rubriğin geliştirilmesi aşamasındayazılan hikâyeyi değerlendirmede göz önüne alınması gereken ölçütler (davranışgöstergelerinin) uzman görüşleri ve literatür taraması yapılarak belirlenmiş veyazılan hikâyeyi değerlendirmeye yönelik listelenen her bir ölçüte yönelik üçerkategori (0-1-2) için davranış göstergeleri yazılmıştır. Geliştirilen analitikrubriğin geçerlik kanıtı olması için 9 öğretmenin her ölçüt/alt ölçüt içinyaptığı değerlendirmeler arasındaki uyum, basit uyum katsayısı ileincelenmiştir. Uzman görüşleri ile son hâli verilen rubrik için yine geçerlikkanıtı sağlayabilmek amacıyla Açımlayıcı Faktör Analizi yapılmıştır. Hikâyeyazmaya ilişkin analitik rubriğin güvenirliği için kanıt sağlamak amacıyla anaölçütler ve tüm ölçek için Cronbach Alfa katsayıları hesaplanmıştır. Tüm ölçekbazında elde edilen Cronbach Alfa katsayıları .919 ile .961 arasında değiştiğidolayısıyla ölçeğin oldukça yüksek derecede iç tutarlığa sahip olduğu görülmektedir.Puanlayıcılar arası güvenirliğe kanıt sağlamak amacıyla ise iki sınıföğretmeninin yaptığı puanlamalar üzerinden Ağırlıklandırılmış Kappahesaplanmıştır. Yapılan hesaplamalar sonucu elde edilen AğırlıklandırılmışKappa katsayısı 0.933’tür. Yapılan analizler ışığında geliştirilen analitikrubriğin, hikâye yazma becerisi değerlendirilirken kullanılabilecek geçerli vegüvenilir bir araç olduğu sonucuna ulaşılmıştır.

Analitik rubrik rubrik geliştirme

Analytical rubric

Akaydın, Ş. Çeçen, M. A. (2016). Ortaokul öğrencileri için kelime bilgi düzeyi bütüncül dereceli puanlama anahtarı geliştirme çalışması. Milli Eğitim. 210, 337-349.

Alpar, R. (2014). Uygulamalı istatistik ve geçerlik-güvenirlik. Ankara: Detay Yayıncılık.

Arter, J. (2002). Rubrics, Scoring Guides, and Performance Criteria. Understanding Scoring Rubrics a Guide for Teachers (ed. Carol Boston). Washington: Office of Educational Research and Improvement.

Ateş, S., Çetinkaya, Ç., Yıldırım, K. (2012). How to choose a readable book. Elementary Education Online, 11(2), 319-331.

Aydın, F., Karaçam, S. (2015). Gruplar İçin Teknolojik Tasarım Uygulamalarını Değerlendirmeye Yönelik Bir Analitik Rubrik Çalışması. Mersin Üniversitesi Eğitim Fakültesi Dergisi. 11(1), 132-147.

Birel, A. S., Albuz, A. (2014). Viyolonsel öğretiminde performansı değerlendirmeye yönelik hazırlanan dereceli puanlama anahtarının (rubrik) sınanması ve değerlendirilmesi. Atatürk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi. 18 (3), 281-207.

Brookhart, S. M. (1999). The art and science of classroom assessment: The missing part of pedagogy. ASHE-ERIC Higher Education Report, 27(1). Washington, DC: The George Washington University, Graduate School of Education and Human Development.

Cardinet, J., Johnson, S., & Pini, G. (2010). Applying generalizability theory using EduG. New York, NY: Taylor and Francis.

Congdon, P., & McQueen, J. (2000). The stability of rater severity in large-scale assessment programs. Journal of Educational Measurement, 37(2), 163-178.

Coşkun, E., Tiryaki, E. N. (2013). Üniversite öğrencilerinin tartışmacı metin yazma becerileri. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi. 28(2), 102-115.

Çelik, T., Demirgüneş, S. ve Baştuğ, M. (2014). Metin oluşturma ve değerlendirme çalışmalarına yönelik “okur dostu” metin değerlendirme rubriği geliştirme çalışması. Uluslararası Avrasya Sosyal Bilimler Dergisi. 5(14),65-82.

Çıralı Sarıca, H., Koçak Usluel, Y. (2016). Eğitsel bağlamda dijital hikâye anlatımı: bir rubrik geliştirme çalışması. Eğitim Teknolojisi: Kuram ve Uygulama. 6(2), 65-84.

Deliceoğlu, G. (2009). Futbol yetilerine ilişkin dereceleme ölçeğinin genellenebilirlik ve klasik test kuramına dayalı güvenirliklerinin karşılaştırılması. Yayımlanmış Doktora Tezi. Ankara Üniversitesi Eğitim Bilimleri Enstitüsü Eğitimde Psikolojik Hizmetler Anabilim Dalı Ölçme ve Değerlendirme Bilim Dalı.

Dunbar, N.E., Brooks, C.F., & Miller, T.K. (2006). Oral communication skills in higher education: Using a performance-based evaluation rubric to assess communication skills. Innovative Higher Education, 31(2), 2006, 115-128.

Goodrich Andrade, H. (2001). The Effects of Instructional Rubrics on Learning to Write. Current Issues in Education. 4(4), 1-21.

Hall, E.K., & Salmon, S.J. (2003). Chocolate chip cookies and rubrics helping students understand rubrics in inclusive settings. Teaching Exceptional Children, 35(4), 8-11.

Huang, J. (2009). Factors affecting the assessment of ESL students' writing. International. Journal of Applied Educational Studies, 5(1), 1-17.

Lord, F. M. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: Lawrence Erlbaum.

Melanlıoğlu, D. (2016). Yabancı öğreniciler için dinleme becerisine yönelik üstbilişsel dereceli puanlama anahtarı. Erzincan Üniversitesi Eğitim Fakültesi Dergisi. 18(2), 1206-1229.

Mertler, C. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, 7(25). 28 Şubat 2018 tarihinde http://pareonline.net/getvn.asp?v=7&n=25 adresinden alınmıştır.

Moskal, B.M. & Leydens, J.A. (2000). Scoring rubric development: validity and reliability. Practical Assessment, Research & Evaluation, 7(10). 28 Şubat 2018 tarihinde http://pareonline.net/getvn.asp?v=7&n=10 adresinden alınmıştır.

Myford, C.M., & Wolfe, E.W. (2009). Monitoring rater performance over time: A framework for detecting differential accuracy and differential scale category use. Journal of Educational Measurement, 46(4), 371-389.

Oaklef, M. (2009). Using rubrics to assess information literacy: An examination of methodology and ınterrater reliability. Journal of the American Society for Information Science and Technology, 60(5), 969-983.

Ocak, G., Kutlu Kalender, M. D. (2017). Ortaokul 5. ve 6. sınıf fen bilimleri öğretim programının kazanım ve içerik ilişkisinin değerlendirilmesi. Bayburt Eğitim Fakültesi Dergisi. 12(23), 209-225.

Ömür, S., Erkuş, A. (2013). Dereceli puanlama anahtarıyla, genel izlenimle ve ikili karşılaştırmalar yöntemiyle yapılan değerlendirmelerin karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi. 28(2), 308-320.

Öztürk, E. (2007). İlköğretim beşinci sınıf öğrencilerinin yaratıcı yazma becerilerinin değerlendirilmesi. Yayınlanmamış doktora tezi. Gazi Üniversitesi Eğitim Bilimleri Enstitüsü. Ankara.

Öztürk, D., Bahar, G. Viyolonsel performans değerlendirmesine yönelik dereceli puanlama anahtarının (rubrik) geliştirilmesi. 06 Mart 2018 tarihinde http://amader.aku.edu.tr/sayi3/makaleler/devrim%20%C3%B6zt%C3%BCrk.pdf adersinde erişim sağlanmıştır.

Parlak, B., Doğan, N. (2014). Dereceli Puanlama Anahtarı ve Puanlama Anahtarından Elde Edilen Puanların Uyum Düzeyleri. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi. 29(2), 189-197.

Popham, W.J. (1997). What’s wrong-and what’s right-with rubrics. Educational Leadership, 55(2), 72-75.

Schaefer, E. (2008). Rater bias patterns in an EFL writing assessment. Language Testing, 25(4), 465-493.

Tekindal, S (Editör). (2008). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi.

Tekin, H. (2009). Eğitimde ölçme ve değerlendirme. Ankara: Yargı Yayınevi.

Viera, A. J., Garrett, J. M. (2005). Understanding interobserver agreement: the kappa statistic. Family Medicine. 37(5):360-63.

Wolf, K., ve Stevens, E. (2007). The role of rubrics in advancing and assessing student learning. The Journal of Effective Teaching, 7(1), 3-14.

Yue, X. (2011). Detecting rater centrality effect using simulation methods and Rasch measurement analysis. Unpublished Doctoral Thesis, Virginia State University, Petersburg.

Zhu, X. (2009). Assessing fit of item response models for performance assessments using bayesian analysis. Unpublished Doctoral Thesis, University of Pittsburgh, Pittsburgh, ABD.