Development of Rubric for the Evaluation of Concept Cartoons in Mathematics

Öz

The aim of this study is to develop a valid and reliable rubric in order to evaluate the concept cartoons prepared for mathematics lesson. Research data were obtained by evaluating 36 concept cartoons created by mathematics teachers working in Sivas city center. Two mathematics educators who had a master's degree in mathematics education carried out the evaluation process. In the validity studies, experts' opinions about rubric were examined one by one in the context of content, structure and criteria. It has been observed that the percentages of agreement between the opinions of the experts about their suitability and competence with rubric are at an acceptable level and varied between 82% and 95%. Within the scope of the validity study, the content validity index was also calculated and the content validity indexes for each sub-dimension were found between 0.80 and 1. Considering both the concordance percentages and the content validity indexes, it has been seen that the developed rubric is a valid measurement tool for evaluating the concept characteristics. In reliability studies, within the scope of classical test theory, the harmony between two raters was determined by "Spearman Correlation Coefficient" for the total scores, while the fit in each sub-criterion was determined by "Cohen’s Kappa". While it was observed that there was a positive, significant and high (Rho = 0.856, p <0.01) relationship between the total scores given by the two evaluators to rubric, Cohen's Kappa results were found between 0.706 and 0.797 for the sub-criteria. In the reliability studies, reliability calculations were made for rater, scored (concept cartoons) and item surfaces, taking into account the Multi-Facial Rasch Measurement Model within the scope of item response theory. The reliability indices of these surfaces were found to be 0.87, 0.80 and 0.89, respectively. When rubric's Spearman correlation calculated for total score and Cohen's Kappa values calculated for sub-criterion scores were evaluated together with the reliable indexes of rater, scored (concept cartoons) and item surfaces, it was seen that the rubric created was a reliable scoring key. The findings of the study were discussed considering the relevant literature and various suggestions were made.

Anahtar Kelimeler

• concept cartoon
• mathematics education
• performance evaluation
• rubric

Matematikte Kavram Karikatürlerinin Değerlendirilmesine Yönelik Puanlama Anahtarının Geliştirilmesi

Öz

Bu araştırmanın amacı matematik dersi için hazırlanan kavram karikatürlerini değerlendirebilmek için geçerli ve güvenilir bir dereceli puanlama anahtarı (DPA) geliştirmektir. Araştırma verileri Sivas il merkezinde görev yapan matematik öğretmenlerinin oluşturduğu 36 kavram karikatürünün değerlendirilmesiyle elde edilmiştir. Değerlendirme işlemini matematik eğitimi alanında yüksek lisans yapmış iki matematik eğitimcisi gerçekleştirmiştir. Geçerlik çalışmalarında öncelikle uzmanların DPA hakkındaki görüşleri içerik, yapı ve ölçüt bağlamında tek tek incelenmiştir. Bunların DPA’ya uygunluğu ve yeterliği konusunda uzmanların görüşleri arasındaki uyum yüzdelerinin kabul edilebilir düzeyde ve %82 ile %95 arasında değiştiği görülmüştür. Geçerlik çalışması kapsamında ayrıca kapsam geçerlik indeksi de hesaplanış ve her bir alt boyuta ilişkin kapsam geçerlik indeksleri 0.80 ile 1 arasında bulunmuştur. Hem uyum yüzdeleri hem de kapsam geçerlik indeksleri dikkate alındığında geliştirilen DPA’nın kavram karikatürlerini değerlendirmek için geçerli bir ölçme aracı olduğu görülmüştür. Güvenirlik çalışmalarında klasik test kuramı kapsamında iki puanlayıcı arasındaki uyum toplam puanlar için “Spearman Korelasyon Katsayısı” ile belirlenirken her bir alt ölçütteki uyum “Cohen’s Kappa” ile belirlenmiştir. DPA’ya iki değerlendiricinin verdiği toplam puanlar arasında pozitif, anlamlı ve yüksek (Rho=0.856, p<0.01) bir ilişkinin olduğu görülürken, alt ölçütlere ilişkin de Cohen’s Kappa sonuçları 0.706 ve 0.797 arasında yer aldığı görülmüştür. Güvenirlik çalışmalarında ayrıca madde tepki kuramı kapsamında Çok Yüzeyli Rasch Ölçme Modeli dikkate alınarak puanlayıcı, puanlanan (kavram karikatürü) ve madde yüzeyleri için güvenirlik hesaplamaları yapılmıştır. Bu yüzeylere ait güvenirlik indeksleri de sırasıyla 0.87, 0.80 ve 0.89 bulunmuştur. DPA’nın toplam puan için hesaplanan Spearman korelasyonu ve alt ölçüt puanları için hesaplanan Cohen’s Kappa değerleri ile puanlayıcı, puanlanan(kavram karikatürü) ve madde yüzeylerine ait güvenilir indeksleri bir arada değerlendirildiğinde oluşturulan DPA’nın güvenilir bir puanlama anahtarı olduğu görülmüştür. Araştırmanın bulguları ilgili literatür dikkate alınarak tartışılmış ve çeşitli önerilerde bulunulmuştur.

Anahtar Kelimeler

• dereceli puanlama anahtarı
• kavram karikatürü
• matematik eğitimi
• performans değerlendirme

Kaynakça

1. Arter, J. A. & McTighe, J. (2000). Scoring rubrics in the classroom: Using performance criteria for assessing and ımproving student performance (Experts in Assessment Series). California: Corwin Press.
2. Biemer, L. (1993). Authentic assessment. Educational Leadership, 50 (8), 81-82.
3. Bilgen, B.Ö. & Doğan, N. (2017). Puanlayıcılar arası güvenirlik belirleme tekniklerinin karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 8(1), 63-78. DOI: 10.21031/epod.294847.
4. Boston, C. (2002). Understanding scoring rubrics: A guide for teachers. United States of America.
5. Brookhart, S. M. (1999). The art and science of classroom assessment: The missing part of pedagogy. ASHE-ERIC.
6. Büyükkıdık, S. & Anıl, D. (2015). Performansa dayalı durum belirlemede güvenirliğin genellenebilirlik kuramında farklı desenlerde incelenmesi. Eğitim ve Bilim, 40 (177), 285-296. DOI: 10.15390/EB.2015.2454.
7. Büyüköztürk, Ş. (2007). Sosyal bilimler için veri analizi el kitabı. Ankara: PegemA Yayıncılık.
8. Cronbach, L.I. (1990). Essentials of psychological testing. New York: Harper and Row.

9. Dabell, J. (2008). Using concept cartoons. Mathematics Teaching Incorporating Micromath, 209, 34-37.
10. Duban, N. Y. (2013). Sınıf öğretmenlerinin kavram karikatürlerini hazırlamaya ve kullanmaya yönelik görüşleri. Akademik Araştırmalar Dergisi, 56, 35-54.
11. Duban, N.Y., Aydoğdu, B. & Evrekli, E. (2015). Sınıf öğretmeni adaylarının fen ve teknoloji öğretimi-I dersinde hazırladıkları kavram karikatürlerinin değerlendirilmesi. Dicle Üniversitesi Ziya Gökalp Eğitim Fakültesi Dergisi, 26, 100-120.
12. Dunbar, N.E., Brooks, C. F & Miller, K. T.( 2006). Oral communication skills in higher education: Using a performance-based evaluation rubric to assess communication skills. Innovative Higher Education, 31(2), 115–28. DOI: /10.1007/s10755-006-9012-x
13. Durmaz, B. (2007). Yapılandırıcı fen öğretiminde kavram karikatürlerinin öğrencilerin başarısı ve duyuşsal özelliklerine etkisi (Muğla ili merkez ilçe örneği). Yayınlanmamış Yüksek Lisans Tezi, Muğla Üniversitesi Fen Bilimleri Enstitüsü, Muğla.
14. Goodrich, A. H. (2000). Using rubrics to promote thinking and learning. Educational Leadership, 57(5), 27-31.
15. Göksu, F.C. (2014). Doğrular, açılar ve çokgenler konularının kavram karikatür destekli yapılandırmacı öğrenme yaklaşımına göre işlenmesi. Yüksek Lisans Tezi, Pamukkale Üniversitesi Eğitim Bilimleri Enstitüsü, Denizli.
16. Güler, N. & Gelbal, S. (2010). Klasik test kuramı ve çok değişkenlik kaynaklı Rasch modeli üzerine bir çalışma. Egitim Araştırmaları-Eurasian Journal of Educational Research, 38, 108-125.
17. Haladyna, T. M. (1997). Writing test item to evaluate higher order thinking. USA: Allyn & Bacon.
18. İlhan, M. (2015). Standart ve SOLO taksonomisine dayalı rubrikler ile puanlanan açık uçlu matematik sorularında puanlayıcı etkilerinin çok yüzeyli rasch modeli ile incelenmesi. Doktora Tezi, Gaziantep Üniversitesi Eğitim Bilimleri Enstitüsü, Gazinatep.
19. Kabapınar, F. (2005). Yapılandırmacı öğrenme sürecine katkıları açısından fen derslerinde kullanılabilecek bir öğretim yöntemi olarak kavram karikatürleri. Kuram ve Uygulamada Eğitim Bilimleri Dergisi,5(1),101-146.
20. Keogh, B., Naylor, S. & Wilson, C. (1998). Concept cartoons: A newperspective on physics education. Physics Education, 33(4), 219-224.
21. Keogh, B. & Naylor, S. (1999). Concept cartoons, teaching and learning inscience: An evaluation. International Journal of Science Education, 21(4),431-446.
22. Kılınç, A. (2008). Öğretimde mizahi kavramaya dayalı bir materyal geliştirme çalışması: Bilim karikatürleri. Doktora Tezi, Gazi Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
23. Knoch, U. (2009). Diagnostic assessment of writing: A comparison of two rating scales. Language Testing, 26(20), 275-304. DOI: 10.1177/0265532208101008
24. Mertler, C. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, 7(25).
25. Miles, M. B. & Huberman, A. M. (1994). Qualitative data analysis. (2. baskı). Thousand.
26. Moskal, B. M. (2000). Scoring rubric: What when and how? Pratical Assesment, Research & Evaluation.
27. Moskal, B. M. & Leydens, J. A. (2000). Scoring rubric development: Validity and reliability. Practical Assessment, Research & Evaluation, 7(10).
28. Plano-Clark, V.L. & Creswell, J. W. (2015). Understanding research: A consumer’s guide. Upper Saddle River, NJ: Pearson Education.
29. Popham, W. J. (1997). What’s wrong-and what’s right-with rubrics. Educational Leadership, 55(2), 72-75.
30. Stiggins, R. J. (1994). Student-Centered classroom assessment. New York: Macmillan Publishing Company.
31. Şaşmaz-Ören, F. (2009). Öğretmen adaylarının kavram karikatürü oluşturma becerilerinin dereceli puanlama anahtarıyla değerlendirilmesi. E-Journal of New World Sciences Academy, 4(3), 994-1016.
32. Şencan, H. (2005). Sosyal ve davranışsal ölçümlerde güvenirlilik ve geçerlilik. Ankara: Seçkin Yayıncılık.
33. Tavşancıl, E. & Aslan E. (2001). İçerik analizi ve uygulama örnekleri. İstanbul: Epsilon Yayınları.
34. Tekin, H. (2009). Eğitimde ölçme ve değerlendirme. Ankara: Yargı Yayınevi.
35. Yıldırım, A. & Şimşek, H. (2013). Sosyal bilimlerde nitel araştırma yöntemleri. Ankara: Seçkin Yayıncılık.