Developing an Analytic Rubric for Evaluating Poems Written by Primary School Students

Öz

The aim of this study is to develop a valid and reliable rubric to evaluate poems written by primary school students. Poetry is considered to be an important tool for children's emotional, linguistic and creative development, and therefore the assessment of students' poetry writing skills is of great importance. In this study, an analytical rubric for poetry assessment was designed and its validity and reliability were analyzed. The rubric is based on eight criteria: poem title, poem structure, language and expression, emotion transfer and originality, appropriateness to theme, appropriateness to rules, grammar and punctuation, and spelling. For each criterion, four performance levels (Very Good, Good, Developing, Inadequate) were determined and these levels were defined in detail. To ensure the validity of the rubric, the opinions of 10 experts were consulted and the content validity rate was calculated with the Lawshe technique. Cronbach's Alpha and Cohen's Kappa coefficients were used for reliability analysis. The results show that the rubric is highly valid and reliable. Cronbach's Alpha coefficient was calculated as .991 and inter-rater agreement (Cohen's Kappa) coefficients ranged between 0.879 and 1.000. These findings suggest that the rubric can be used consistently by different raters and can be an effective tool for assessing primary school students' poetry writing skills.

Anahtar Kelimeler

• Primary School
• Analytical Rubric
• Poetry Writing
• Poetry Evaluation

İlkokul Öğrencilerinin Yazdıkları Şiirleri Değerlendirmeye Yönelik Analitik Rubrik Geliştirme Çalışması

Öz

Bu çalışmada, ilkokul öğrencilerinin yazdıkları şiirleri değerlendirmek amacıyla geçerli ve güvenilir bir rubrik geliştirmek amaçlanmaktadır. Şiir, çocukların duygusal, dilsel ve yaratıcı gelişimleri için önemli bir araç olarak kabul edilmekte ve bu nedenle öğrencilerin şiir yazma becerilerinin değerlendirilmesi büyük önem taşımaktadır. Çalışmada, şiir değerlendirmesine yönelik bir analitik rubrik tasarlanmış ve bu rubriğin geçerlik ve güvenirlik analizleri yapılmıştır. Rubrik, şiir başlığı, şiir yapısı, dil ve ifade, duygu aktarımı ve özgünlük, temaya uygunluk, kurallara uygunluk, dil bilgisi ve noktalama ile yazım olmak üzere sekiz kriter üzerine inşa edilmiştir. Her kriter için dört performans düzeyi (Çok İyi, İyi, Gelişmekte, Yetersiz) belirlenmiş ve bu düzeyler detaylı bir şekilde tanımlanmıştır. Rubriğin geçerliğini sağlamak için 10 uzmanın görüşüne başvurulmuş ve Lawshe tekniği ile kapsam geçerlik oranı hesaplanmıştır. Güvenirlik analizleri için ise Cronbach's Alpha ve Cohen's Kappa katsayıları kullanılmıştır. Sonuçlar, rubriğin yüksek düzeyde geçerli ve güvenilir olduğunu göstermektedir. Cronbach's Alpha katsayısı .991 olarak hesaplanmış ve puanlayıcılar arası uyum (Cohen's Kappa) katsayıları 0.879 ile 1.000 arasında değişmiştir. Bu bulgular, rubriğin farklı değerlendiriciler tarafından tutarlı bir şekilde kullanılabileceğini ve ilkokul öğrencilerinin şiir yazma becerilerini değerlendirmede etkili bir araç olabileceğini ortaya koymaktadır.

Anahtar Kelimeler

• İlkokul
• Analitik Rubrik
• Şiir Yazma
• Şiir Değerlendirme

Kaynakça

1. Açık Önkaş, N. (2009). Çocuk edebiyatı kitaplarında şiirin yeri. Muğla Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, (23), 1-12.
2. Akaydın, Ş., & Çeçen, M. A. (2016). Ortaokul öğrencileri için kelime bilgi düzeyi bütüncül dereceli puanlama anahtarı geliştirme çalışması. Milli Eğitim Dergisi, 45(210), 337-349.
3. Aktaş, M., & Alıcı, D. (2018). Yazılan hikâyeyi değerlendirmeye yönelik analitik rubrik geliştirme: Geçerlik ve güvenirlik çalışması. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 14(2), 597-610. https://doi.org/10.17860/mersinefd.424198
4. Akyol, H. (2000). Yazı öğretimi. Millî Eğitim Dergisi, 146, 37-48.
5. Andrade, H. G. (1997). Understanding rubrics. Educational Leadership, 54(4), 14-17.
6. Armağan, Y. (2007). Türk şiirinde modernizm (Yayımlanmamış Doktora Tezi). Bilkent Üniversitesi, Ankara. Yükseköğretim Kurulu Ulusal Tez Merkezi.
7. Artuç, S. (2012). Türkçenin yabancı dil olarak öğretiminde şiir metinlerinden yararlanma. (Yayımlanmamış Yüksek Lisans Tezi). Gazi Üniversitesi, Ankara. Yükseköğretim Kurulu Ulusal Tez Merkezi.
8. Ateş, S., Çetinkaya, Ç. & Yıldırım, K. (2012). How to choose a readable book. Elementary Education Online, 11(2), 319-331.

9. Ayre, C., & Scally, A. J. (2014). Critical values for Lawshe’s content validity ratio: Revisiting the original methods of calculation. Measurement and Evaluation in Counseling and Development, 47(1), 79-86.
10. Aytaş, G. (2001). Çocuk ve şiir. Hece, 6(12).
11. Aytas, G. (2006). Edebi türlerden yararlanma. Milli Eğitim Dergisi, 34(169).
12. Bağcı Ayrancı, B. (2021). Yazılı anlatımı ölçme ve değerlendirme. Ü. Şen (Ed.), Türk dili 1. Nobel Akademik Yayıncılık.
13. Baykul, Y. (2010). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Ankara: ÖSYM Yayınları.
14. Belet, D. (2008). Türkçe öğretimi. Eskişehir: Anadolu Üniversitesi Yayınları.
15. Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20, 37-46.
16. Crocker, L., & Algina, J. (2006). Introduction to classical and modern test theory. Harcourt Brace Jovanovich College Publishers.
17. Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297-334.
18. Çeltik, H. (2022). Yabancı dil öğretiminde dört temel dil becerisi üzerine bir inceleme çalışması. 21. Yüzyılda Eğitim ve Toplum Dergisi, 11(31), 107-131.
19. Demir, T. (2013). İlköğretim öğrencilerinin yaratıcı yazma becerileri ile yazma özyeterlik algısı ilişkisi üzerine bir çalışma. Uluslararası Türkçe Edebiyat Kültür Eğitim (TEKE) Dergisi, 2(1), 84-114.
20. Doğan, D., Karakaya ve Kutlu, Ö. (2010). Öğrenci başarısının belirlenmesi: Performans ve portfolyaya dayalı durum belirleme. Ölçme ve değerlendirme uygulamaları (3. baskı). Pegem Yayıncılık.
21. Gordis, L. (2014). Epidemiology (pp. 107-110). Elsevier Saunders.
22. Gümüşhan, H. (2018). Yazının tarihsel gelişimi (6. baskı). İstanbul: Eğitim Yayınevi.
23. Hidi, S., & Boscolo, P. (2006). Handbook of writing research. The Guilford Press.
24. İncirkuş, F. A., & Beyreli, L. (2019). Öyküleyici metinler aracılığıyla eleştirel düşünme becerilerini değerlendirmeye yönelik bir rubrik. Ana Dili Eğitimi Dergisi, 7(3), 597-629.
25. Kan, A. (2007). Performans değerlendirme sürecine katkıları açısından yeni program anlayışı içerisinde kullanılabilecek bir değerlendirme yaklaşımı: Dereceli puanlama anahtarı puanlama yönergeleri. Kuram ve Uygulamada Eğitim Bilimleri, 7(1), 129-152.
26. Kılıç, S. (2015). Kappa test. Psychiatry and Behavioral Sciences, 5(3), 142.
27. Köse, İ. A. (2012). Geçerlik ve Güvenirlik. N. Çıkrıkçı Demirtaşlı (Ed.), Eğitimde ölçme ve değerlendirme (s. 15-34). Ankara: Elhan Yayınları.
28. Küpçük, S. (2014). Şiirlerinde çocukluğunu gezdiren şair Gökhan Akçiçek. Çocuk ve İlk Gençlik Edebiyatı Özel Sayısı Türk Dili, CVII(756), 837-844. Ankara.
29. Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174.
30. Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28, 563-575.
31. Mertler, C. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, 7(25).
32. Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons' responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741-749.
33. Moskal, B. M. (2000). Scoring rubrics: What, when and how? Practical Assessment, Research & Evaluation, 7(3).
34. Moskal, B. M. (2003). Recommendations for developing classroom performance assessments and scoring rubrics. Practical Assessment, Research & Evaluation, 8(14).
35. Oakleaf, M. (2009). Using rubrics to assess information literacy: An examination of methodology and interrater reliability. Journal of the American Society for Information Science and Technology, 60(5), 969-983. https://doi.org/10.1002/asi.21007
36. Onay, T., & Seren İntepeler, Ş. (2023). Rubrik ile ödev ve performans değerlendirme: Sürekli iyileştirme örneği. Sağlık Bilimleri Üniversitesi Hemşirelik Dergisi, 5(1), 55–60. https://doi.org/10.48071/sbuhemsirelik.1148282
37. Özmen Hızarcıoğlu, B. (2013). Problem çözme sürecinde dereceli puanlama anahtarı (rubrik) kullanımında puanlayıcı uyumunun incelenmesi (Yayımlanmamış Yüksek Lisans Tezi). Abant İzzet Baysal Üniversitesi, Bolu. Yükseköğretim Kurulu Ulusal Tez Merkezi.
38. Polat, İ., & Dedeoğlu, H. (2021). Sınıf öğretmenlerinin yazılı anlatımı değerlendirme ölçütleri. OPUS International Journal of Society Researches, 18(Eğitim Bilimleri Özel Sayısı), 4642–4670. https://doi.org/10.26466/opus.890147
39. Sarıca, H. Ç., & Usluel, Y. K. (2016). Eğitsel bağlamda dijital hikâye anlatımı: Bir rubrik geliştirme çalışması. Eğitim Teknolojisi Kuram ve Uygulama, 6(2), 65-84.
40. Schiller, A. (1954). The use of creative writing in the teaching of literature. College English, 16(2), 123-128. https://doi.org/10.2307/373486
41. Şahin, M. G., & Boztunç Öztürk, N. (2018). Eğitim alanında ölçek geliştirme süreci: Bir içerik analizi çalışması [Scale development process in educational field: A content analysis research]. Kastamonu Education Journal, 26(1), 191–199.
42. Şen, E., & Karagül, S. (2020). Kurmaca metinleri değerlendirmeye yönelik rubrik geliştirilmesi: Geçerlik ve güvenirlik çalışması. Turkish Studies, 15(3), 1951-1961.
43. Tekin, T. (1986). İslamiyet öncesi Türk şiiri. Ankara: Türk Dil Kurumu Yayınları.
44. Türk Dil Kurumu. (2019). Divanu Lugati’t-Türk. Erişim tarihi: 19 Aralık 2024, https://tdk.gov.tr/
45. Türk Dil Kurumu. (2024). Nazım. Erişim tarihi: 10 Aralık 2024, https://sozluk.gov.tr/?ara=nazım Yang, Y., & Green, S. B. (2011). Coefficient alpha: A reliability coefficient for the 21st century? Journal of Psychoeducational Assessment, 29(4), 377-392.
46. Yıldız, F. İ., & Karadağ, Ö. (2023). İlkokul düzeyinde yapılandırmacılık temelli öykü değerlendirmeye yönelik rubrik geliştirme çalışması. Ana Dili Eğitimi Dergisi, 11(4), 936-950.
47. Yıldız, S. (2017). Sosyal bilimlerde örnekleme sorunu: Nicel ve nitel paradigmalardan örnekleme kuramına bütüncül bir bakış. Kesit Akademi Dergisi, 3(11), 421–442.