Critical Reading Based Literary Criticism Rubric Development

Abstract

In this study, an analytical literary criticism rubric based on Bloom's taxonomy, literary theories and critical thinking standards was developed. The aim of the analytical rubric is to score sentence and paragraph-level answers regarding the chapters/extracts of novels or novellas. This rubric was prepared in a 4-point Likert scale type, and has five items: comprehension, reception, analysis, synthesis, and evaluation. The comprehension item is about understanding the surface structure of the story, the reception item is about establishing interaction between the story and the reader, the analysis and synthesis items are about understanding the deep structure of the story, and the evaluation item is about judging the story. The content validity rate for the items of the rubric and the content validity index for the entire rubric were calculated as 1.00. The inter-rater correlation coefficient for the items and the entire rubric was calculated as r>.79 (lowest value), and the single-rater correlation coefficient was calculated as r>.88 (lowest value). The rubric is valid and reliable on the grounds that the content validity ratio and content validity index are above the minimum value, and the intra class correlation coefficient indicates perfect agreement.

Keywords

• Analytical rubric
• Bloom’s taxonomy
• critical reading
• literary criticism
• literary theories

Eleştirel Okuma Temelli Edebiyat Eleştirisi Rubriği Geliştirme

Öz

Bu çalışmada Bloom taksonomisini, edebiyat kuramlarını ve eleştirel düşünme standartlarını temel alan analitik edebiyat eleştirisi rubriği geliştirilmiştir. Analitik rubrik ile roman veya uzun hikâye türündeki eserlerin bölümlerine/kesitlerine ilişkin cümle ve paragraf boyutundaki yanıtların puanlanması amaçlanmaktadır. 4'lü likert ölçeği tipinde hazırlanan rubriğin kavrama, alımlama, analiz, sentez ve değerlendirme olmak üzere beş maddesi bulunmaktadır. Kavrama maddesi hikâyenin yüzey yapısını anlama, alımlama maddesi hikâye ve okur arasında etkileşim kurma, analiz ve sentez maddesi hikâyenin derin yapısını anlama ve değerlendirme maddesi hikâyenin yargılanması hakkındadır. Rubriğin maddelerine ilişkin kapsam geçerlik oranları ve rubriğin geneline ilişkin kapsam geçerlik indeksi 1,00 olarak hesaplanmıştır. Rubriğin maddelerine ve geneline ilişkin puanlayıcılar arası korelasyon katsayıları r>,79 (en düşük değer), tek puanlayıcı korelasyon katsayıları r>,88 (en düşük değer) olarak hesaplanmıştır. Kapsam geçerlik oranlarının ve kapsam geçerlik indeksinin minimum değerin üstünde olması ve sınıf içi korelasyon katsayılarının mükemmel uyuma işaret etmesi rubriğin geçerli ve güvenilir olduğunu göstermektedir.

Anahtar Kelimeler

• Analitik rubrik
• Bloom taksonomisi
• edebiyat eleştirisi
• edebiyat kuramları
• eleştirel okuma

References

1. Aktaş, M., & Alıcı, D. (2018). Yazılan hikâyeyi değerlendirmeye yönelik analitik rubrik geliştirme: geçerlik ve güvenirlik çalışması. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 14(2), 597-610. https://doi.org/10.17860/mersinefd.424198
2. Akyol, H. (2016). Programa uygun Türkçe öğretim yöntemleri (8. Baskı). Pegem Akademi. Akyol, H., Yıldırım, K., Ateş, S., Çetinkaya, Ç., & Rasinski, T. V. (2014). Okumayı değerlendirme-öğretmenler için kolay ve pratik bir yol (1. Baskı). Pegem Akademi.
3. Amanvermez İncirkuş, F., & Beyreli, L. (2019). Öyküleyici metinler aracılığıyla eleştirel düşünme becerilerini değerlendirmeye yönelik bir rubrik. Ana Dili Eğitimi Dergisi, 7(3), 597-629. https://doi.org/10.16916/aded.553569
4. Anderson, L. W., Krathwohl, D. R., Airasian, P. W., Cruikshank, K. A., Mayer, R. E., Pintrich, P. R., Raths, J., & Wittrock, M. C. (2001). Taxonomy for learning, teaching, and assessing: a revision of Bloom’s taxonomy of educational objectives (1st Edition). Longman.
5. Andrade, H. L., Wang, X., Du, Y., & Akawi, R. L. (2009). Rubric-referenced self-assessment and self-efficacy for writing. The Journal of Educational Research, 102(4), 287-302. https://doi.org/10.3200/JOER.102.4.287-302
6. Applebee, A. N., Langer, J. A., Nystrand, M., & Gamoran, A. (2003). Discussion-based approaches to developing understanding: Classroom instruction and student performance in middle and high school English. American Educational Research Journal, 40(3), 685-730. https://doi.org/10.3102/00028312040003685
7. Applegate, M. D., Quinn, K. B., & Applegate, A. J. (2002). Levels of thinking required by comprehension questions in informal reading inventories. The Reading Teacher, 56, 174-180.
8. Appleman, D. (2015). Critical encounters in secondary English: Teaching literary theory to adolescents (3rd Edition). Teachers College Press.

9. Apriliadi, F., & Suryaman, M. (2020). Development of scoring rubric of writing literacy criticism based on critical thinking skills for senior high school student in Indonesia. International Journal of Research and Review, 7(4), 99-107.
10. Aslan, C., & Bayraktar, A. (2017). Türk dili ve edebiyatı öğretmen adaylarının derecelendirilmiş puanlama anahtarlarının (rubrik) kullanımına ilişkin bilgi ve farkındalık durumları. Kastamonu Eğitim Dergisi, 25(6), 2327-2344.
11. Aytaç, G. (2009). Genel edebiyat bilimi (2. Baskı). Say Yayınları. Baş, B. (2010). Söz varlığının oluşumu ve gelişiminde çocuk edebiyatının rolü. Türklük Bilimi Araştırmaları, 27, 137-159.
12. Beach, R. (2014). Assessing responses to literature. In A. J. Kunnan (Ed). The companion to language assessment (1st Edition, pp. 85-101). John Wiley & Sons.
13. Beach, R., Appleman, D., Hynds, S., & Wilhelm, J. (2011). Teaching literature to adolescents (2nd Edition). Routledge.
14. Beyreli L, & Arı, G. (2009). Yazma performansını değerlendirmede çözümleyici puanlama yönergesi kullanımı: değerlendirmeciler arası uyum araştırması. Kuram ve Uygulamada Eğitim Bilimleri, 9(1), 85-125.
15. Bloom, B., Englehart, M. Furst, E., Hill, W., & Krathwohl, D. (1956). Taxonomy of educational objectives: The classification of educational goals; Handbook I: Cognitive domain (1st Edition). Longmans.
16. Creswell, J. W. (2013). Nitel araştırma yöntemleri beş yaklaşma göre nitel araştırma ve araştırma deseni (3. Baskıdan çeviri, Çev. Ed. M. Bütün, S. B. Demir). Ankara: Siyasal Kitabevi.
17. Day, R. R., & Park, J. (2005). Developing reading comprehension questions. Reading in a Foreign Language, 17, 60-73.
18. Deal, A., & Rareshide, M. (2013). Critical reading manual. Winston Salem State University. Demir, S. B., & Yıldırım, Ö. (2019). Yazılı anlatım becerilerinin değerlendirilmesi için dereceli puanlama anahtarı geliştirme çalışması. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 47, 457-473. https://doi.org/10.9779/pauefd.588565
19. Demiral, H. (2011). Ortaöğretim Türk dili ve edebiyatı öğretiminin uluslararası ölçütlere göre değerlendirilmesi -Eskişehir ili örneği (Tez No. 290620) [Doktora tezi, Gazi Üniversitesi-Ankara]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi.
20. Demirbüken, B. (2019). The impact of critical thinking training through literary texts on pre-service teachers' critical thinking skills (Thesis No. 571063) [Master's thesis, Marmara University-İstanbul]. Council of Higher Education Thesis Center.
21. Dobie, A. B. (2011). Theory into practice: An introduction to literary criticism (3rd Edition). Wadsworth Cengage Learning.
22. Fraga, L. (2022). Testing the reliability of two rubrics used in official English certificates for the assessment of writing. Alicante Journal of English Studies, 36, 85-109. https://doi.org/10.14198/raei.2022.36.05
23. Gaston, P. L. (1991). Measuring the marigolds: Literary studies and the opportunity of outcomes assessment. The Journal of the Midwest Modern Language Association, 24(2), 11-20.
24. Gillespie, T. (2010). Doing literary criticism: Helping students engage with challenging texts (1st Edition). Stenhouse Publishers.
25. Gliner, J. A., Morgan, G. A., & Leech, N. (2015). Uygulamada araştırma yöntemleri (2. Baskıdan çeviri, Çev. Ed. S. Turan). Nobel Yayınevi.
26. Goodrich Andrade, H. (1997). Understanding rubrics. Educational Leadership, 54(4), 14-17. Goodrich Andrade, H. (2001). The effects of ınstructional rubrics on learning to write. Current Issues in Education, 4(4), 1-21.
27. Göçer, A. (2014). Türkçe öğretmenlerinin pekiştirme ve değerlendirme amacıyla yürüttükleri performans görevi çalışmalarının incelenmesi. Kuramsal Eğitimbilim Dergisi, 7(2), 148-171. http://dx.doi.org/10.5578/keg.6695
28. Gökalp Alpaslan, G. (2000). Derslikten günlük yaşama edebiyat eğitimi. Türkbilig, 1(1), 185-202.
29. Graham, S., Hebert, M., & Harris, K. R. (2011). Throw ’em out or make ’em better? State and district high-stakes writing assessments. Focus on Exceptional Children, 44(1), 1-12. https://doi.org/10.17161/foec.v44i1.6913
30. Güler, N. (2019). Eğitimde ölçme ve değerlendirme (14. Baskı). Pegem Akademi.
31. Günay, V. D. (2006). Liselerde yazın eğitimine yeni bir yaklaşım. Milli Eğitim Dergisi, 169, 8-17.
32. Güzel, A. (2006). Edebiyat eğitiminde amaçlar ve bu amaçlara yönelik yöntem teknik ve örnek uygulamalar. Milli Eğitim Dergisi, 169, 85-106.
33. Han, T., & Huang, J. (2017). Examining the impact of scoring methods on the institutional efl writing assessment: A Turkish perspective. PASAA: Journal of Language Teaching and Learning in Thailand, 53, 112-147.
34. Henning, M. D. (2020). Rubrics to the Rescue: What are rubrics? Retrieved October 1, 2023, from www.teachersfirst.com/lessons/rubrics/what-are-rubrics.cfm
35. Hering, F. (2012). Levels of understanding: The Catcher in the Rye. Prestwick House.
36. Hillocks, G. (1980). Toward a hierarchy of skills in the comprehension of literature. English Journal, 69(7), 54-59.
37. Howell, C. D. (2010). Statistical methods for psychology (7th Edition). Wadsworth.
38. Igra, D. (2009). Ways of reading, ways of teaching: Literary theory as a reading strategy (Order No. 3382747) [Doctoral dissertation, Stanford University-Stanford]. ProQuest Dissertations & Theses Global.
39. Işıksalan, S. N. (2011). 2005 Türk edebiyatı dersi öğretim programının değerlendirilmesi: Eskişehir örneği. Ahi Evran Üniversitesi Eğitim Fakültesi Dergisi, 12(1), 15-40
40. İnan Yıldız, F., & Karadağ, Ö. (2023). İlkokul düzeyinde yapılandırmacılık temelli öykü değerlendirmeye yönelik rubrik geliştirme çalışması. Ana Dili Eğitimi Dergisi, 11(4), 936-950.
41. Jeong, H. (2015). Rubrics in the classroom: Do teachers really follow them? Language Testing in Asia, 5(6), 1-14. https://doi.org/10.1186/s40468-015-0013-5
42. Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2, 130-144. https://doi.org/10.1016/j.edurev.2007.05.002
43. Karabay, A. (2013). Eleştirel okuma öz yeterlik algı ölçeğinin geliştirilmesi. Turkish Studies, 8(13), 1107-1122. http://dx.doi.org/10.7827/TurkishStudies.5389
44. Karadeniz, A. (2014). Eleştirel okuma özyeterlilik algısı ölçeğinin geçerlilik ve güvenirlik çalışması. Bartın Üniversitesi Eğitim Fakültesi Dergisi, 3(1), 113-140. http://doi.org/10.14686/BUEFAD.201416210
45. Karadeniz, A., & Gürsoy, Ü. (2014). Modern metin çözümleme yöntemlerinin eleştirel düşünme, yaratıcı düşünme ve problem çözme becerilerine etkisi. Ahi Evran Üniversitesi Kırşehir Eğitim Fakültesi Dergisi, 15(2), 99-117.
46. Karasar, N. (2014). Bilimsel araştırma yöntemleri (26. Baskı). Nobel Yayıncılık.
47. Kasap, D. (2019). Yaratıcı okuma yaratıcı yazma çalışmalarının yaratıcı okuma, okuduğunu anlama, yazma ve yaratıcı yazma erişişine etkisi (Tez No. 535098) [Doktora tezi, Pamukkale Üniversitesi-Pamukkale]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi.
48. King, S. (2007). Yazma Sanatı (1. Baskı). İstanbul: Altın Kitaplar.
49. Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155-163. https://doi.org/10.1016/j.jcm.2016.02.012
50. Krathwohl, D. R. (2002). A revision of Bloom's taxonomy: An overview. Theory into practice, 41(4), 212-218.
51. Krippendorff, K. (2018). Content analysis: An introduction to its methodology (4th Edition). Sage Publications.
52. Kurland, D. J. (2000). How the language really works: The fundamentals of critical reading and effective writing. Retrieved October 5, 2023, from http://www.criticalreading.com/index.html.
53. Kutlu, Ö., Doğan, C. D., & Karakaya, İ. (2017). Ölçme ve değerlendirme: performansa ve portfolyoya dayalı durum belirleme (5. Baskı). Pegem Akademi.
54. Latrobe, K. H., & Drury, J. (2009). Critical approaches to young adult literature (1st Edition). ALA Neal-Schuman.
55. Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28, 563-575.
56. Leist, C. W., Woolwine, M. A., & Bays, C. L. (2012). The effects of using a critical thinking scoring rubric to assess undergraduate students' reading skills. Journal of College Reading and Learning, 43(1), 31-58. https://doi.org/10.1080/10790195.2012.10850361
57. Mertler, C. A. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research, and Evaluation, 7(25), 1-10. https://doi.org/10.7275/gcy8-0w24
58. Millî Eğitim Bakanlığı. (2005). İlköğretim fen ve teknoloji dersi (4-5. sınıflar) öğretim programı. Devlet Kitapları Müdürlüğü Basım Evi.
59. Moskal, B. M. (2000). Scoring rubrics: what, when and how?. Practical Assessment, Research & Evaluation, 7(3), 1-6. https://doi.org/10.7275/a5vq-7q66
60. Moskal, B. M., & Leydens, J. A. (2000). Scoring rubric development: Validity and reliability. Practical Assessment, Research, and Evaluation, 7(1), 10. https://doi.org/10.7275/q7rm-gg74
61. Nosich, G. M. (2018). Eleştirel düşünme rehberi. (4. Baskı, Çev. Birsel Aybek). Anı Yayıncılık.
62. Okur, T. (2019). Okuma çemberlerinin ilkokul öğrencilerinin eleştirel okuma becerilerine etkisi (Tez No. 569837) [Yüksek lisans tezi, Pamukkale Üniversitesi-Pamukkale]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi.
63. Önal, M. (1996). Tahkiyeli eserleri tahlil planı hakkında bir deneme. Bilig, 1, 39-45.
64. Özcan, S., Kukul, V., & Karataş, S. (2016). Dijital hikayeler için dereceli değerlendirme ölçeği. In 10th International Computer and Instructional Technologies Symposium. Rize.
65. Öztürk, E. (2007). İlköğretim beşinci sınıf öğrencilerinin yaratıcı yazma becerilerinin değerlendirilmesi (Tez No. 207018) [Doktora tezi, Gazi Üniversitesi-Ankara]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi.
66. Panadero, E., & Jonsson, A. (2013). The use of scoring rubrics for formative assessment purposes revisited: A review. Educational research review, 9, 129-144. https://doi.org/10.1016/j.edurev.2013.01.002
67. Paul, R., & Elder, L. (2010). The miniature guide to critical thinking concepts and tools. Foundation for Critical Thinking Press.
68. Pearson, P. D., & Johnson, D. D. (1978). Teaching reading comprehension. Holt, Rinehart and Winston. Popham, W. J. (1997). What's wrong--and what's right--with rubrics. Educational leadership, 55(2), 72-75.
69. Prinsen, K. (2017). The accessibility of bloom's taxonomy: Teaching English canonical literature to havo 4 (Order No. 4000889) [Master's thesis, Utrecht University-Utrecht]. Utrecht University Student Theses Repository.
70. Purves, C. A. (1986). ERIC/CRC Report: Testing in literature. Language Arts, 63(3), 320-323.
71. Rcampus. (t.y.). IRubric. Retrieved October 1, 2023, from https://help.rcampus.com/index.php/IRubric Reynolds, C. R., Livingston, R. B., & Willson, V. (2010). Measurement and assessment in education (2nd Edition). Pearson.
72. Rezaei, A. R., & Lovorn, M. (2010). Reliability and validity of rubrics for assessment through writing. Assessing writing, 15(1), 18-39. https://doi.org/10.1016/j.asw.2010.01.003
73. Robinson, H. M. (Ed.) (1968). Innovation and change in reading instruction: The sixty-seventh yearbook of the national society for the study of education. The National Society for the Study of Education.
74. Rubio, D. M., Berg Weger, M., Tebb, S. S., Lee, E. S., & Rauch, S. (2003). Objectifying content validity: Conducting a content validity study in social work research. Social Work Research, 27(2), 94-104. https://doi.org/10.1093/swr/27.2.94
75. Salinger, J. D. (2006). Çavdar tarlasında çocuklar (1. Baskı, Çev. C. Yerli). Yapı Kredi Yayınları.
76. Sayın, Ş. (1995). Edebiyat metni yorumunda nesnellik sorunu. Alman Dili ve Edebiyatı Dergisi, 9, 183-190.
77. Seçmen, G. A. (2019). Promoting critical thinking skills through mytology-based critical thinking activities in ELT department at Akdeniz University (Thesis No. 572346) [Master's thesis, Akdeniz University-Antalya). Council of Higher Education Thesis Center.
78. Showalter, E. (2002). Teaching literature (1st Edition). Wiley Blackwell.
79. Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420-428. https://doi.org/10.1037/0033-2909.86.2.420
80. Silahsızoğlu E. (2007). Metin tahlil yöntemleri ve bir uygulama örneği. Z. Dilek, M. Akbulut, Z. C. Arda, Z. B. Özer, R. Gürses ve B. K. Taşkın (Ed.) ICANAS 38 Uluslararası Asya ve Kuzey Afrika Çalışmaları Kongresi içinde (ss.1415-1431). Atatürk Kültür, Dil ve Tarih Yüksek Kurumu
81. Skerrett, A., & Warrington, A. (2018). Language arts instruction in middle and high school classrooms. In D. Lapp & D. Fisher (Eds.), Handbook of research on teaching the English language arts (4th Edition, pp. 410-435). Routledge.
82. Soter, A. O. (1999). Young adult literature and the new literary theories: Developing critical readers in middle school (1st Edition). Teachers College Press.
83. Susar Kırmızı, F. (2009). The Assessment of writing materials acquired from creative writing approach based on creative drama method in turkish courses. I. Uluslararası Eğitim Araştırmaları Kongresi. Bildiri Özetleri Kitabı. Çanakkale Onsekiz Mart Üniversitesi Yayını.
84. Şencan, H. (2005). Sosyal ve davranışsal ölçümlerde güvenilirlik ve geçerlilik (1. Baskı). Seçkin Yayınevi. Taşdelen, V. (2006). Edebiyat eğitimi: Hermeneutik bir yaklaşım. Millî Eğitim, 169, 42-55.
85. Tuncer, M., & Yılmaz, Ö. (2012). Kıdem değişkeni açısından ölçme ve değerlendirme yaklaşımlarının kullanımı üzerine bir araştırma. Eğitim ve Öğretim Araştırmaları Dergisi, 1(4), 41-48.
86. Tyson, L. (2006). Critical theory today: A user-friendly guide (2nd Edition). Taylor & Francis.
87. Tyson, L. (2011). Using critical theory: How to read and write about literature (2nd Edition). Routledge.
88. Ungan, E. (2007). A case study on critical thinking: Analysis of students‟ written responses to Short Stories via Bloom‟s Taxonomy (Thesis No. 218102) [Master's thesis, Ankara University-Ankara]. Council of Higher Education Thesis Center.
89. Wolf, K., & Stevens, E. (2007). The role of rubrics in advancing and assessing student learning. Journal of Effective Teaching, 7(1), 3-14.
90. Yıldız, N. (2007). An experimental study on enhancing critical thinking through a literature-based critical thinking programme in the department of english language and literature at Karadeniz Technical University (Thesis No. 210764) [Master's thesis, Karadeniz Technical University-Trabzon]. Council of Higher Education Thesis Center.
91. Yılmaz A. (2019). İlkokul 4. sınıf öğrencilerinin hikâye yazma becerilerinin değerlendirilmesi (Tez No. 552553) [Yüksek lisans tezi, Uşak Üniversitesi-Uşak]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi.
92. Yurdugül, H. (2005, 28-30 Eylül). Ölçek geliştirme çalışmalarında kapsam geçerliği için kapsam geçerlik indekslerinin kullanılması [Sözlü bildiri]. XIV. Ulusal Eğitim Bilimleri Kongresi, Denizli, Türkiye.
93. Yüksek Öğretim Kurumu. (2018). Yeni Öğretmen Yetiştirme Lisans Programları. https://www.yok.gov.tr/kurumsal/idari-birimler/egitim-ogretim-dairesi/yeni-ogretmen-yetistirme-lisans-programlari adresinden 05 Ekim 2023 tarihinde alındı.
94. Zimanske, C. D. (2017). How reading through literary lenses ımpacts the quality of high school students’ arguments (Order No. 4300) [Master's thesis, Hamline University-Minnesota]. School of Education and Leadership Student Capstone Theses and Dissertations.
95. Zorbaz, K. Z. (2013). Yazılı anlatımın puanlanması. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 13(1), 178-192.