The Comparison of Analytic and Holistic Rubrics on Preschool Student’s Communication Skill

Year 2016, Volume: 24 Issue: 5, 2625 - 2632, 31.12.2016

Sema Sulak Bilge Akyüz Şule Ballı

Abstract

In this study, the effectiveness of analytic and holistic rubrics were investigated in order to
discover the communication skills of preschool students. In order to accomplish this task two
different rubrics, analytic and holistic, were developed by the researchers. These instruments
were given to preschool teachers working in Bartin to evaluate their students, and it was
administered in two weeks intervals. To test the differences between analytic and holistic rubrics,
Wilcoxon test was used, and it was found that there was no differences between mean scores.
Additionally, Fisher’s z was utilized to test the significance of correlation coefficients. The study results revealed that analytic rubrics yielded more reliable results than holistic rubrics. 

Keywords

Analytic, holistic, rubric

Okul Öncesi Dönemdeki Çocukların İletişim Becerilerinin Ölçülmesinde Analitik ve Bütüncül Dereceli Puanlama Anahtarlarının Karşılaştırılması

Abstract

Eldeki araştırmada, okul öncesi dönemdeki çocukların iletişim becerilerinin ortaya
çıkarılmasında analitik ve bütüncül dereceli puanlama anahtarlarının etkililiği incelenmiştir.
Bu amaçla, araştırmacı tarafından iletişim becerisini ortaya koyan ölçütler ve puanlama
sistemi oluşturularak; analitik ve bütüncül olmak üzere iki farklı dereceli puanlama anahtarı
geliştirilmiştir. Hazırlanan ölçme araçları, Bartın ili merkezde yer alan bir anaokulunda
görev yapan üç okul öncesi öğretmeni tarafından kendi öğrencilerini değerlendirmek üzere
uygulanmıştır. Analitik ve bütüncül dereceleme puanlarının farklılığını test etmek için Wilcoxon
testine başvurulmuştur ve puan ortalamaları arasında anlamlı farklılık olmadığı görülmüştür.
Analitik ve bütüncül dereceli puanlama anahtarlarının test-tekrar teste dayalı güvenirlikleri
hesaplanmıştır. Bu amaçla hazırlanan ölçme araçları iki hafta arayla aynı öğretmenler
üzerinde uygulanmıştır. Hesaplanana korelasyon katsayılarının anlamlılığını test etmek için
Fisher’in z testi kullanılmıştır. Analiz sonucunda analitik bütüncül puanlama anahtarının
bütüncül dereceli puanlama anahtarından daha güvenilir olduğu bulunmuştur. 

Keywords

Analitik, bütüncül, dereceli puanlama anahtarı

References

• Aslanoglu, E. A. (2002). Dereceli puanlama anahtarı uygulamasına ilişkin bir araştırma. Ankara Universitesi Eğitim Bilimleri Fakultesi Dergisi, 1(2),
• Beyreli, L., & Ari, G. (2009). The Use of Analytic Rubric in the Assessment of Writing Per-formance--Inter-Rater Concordance Study. Educational Sciences: Theory and Practice, 9(1), 105-125.
• Carr, N. T. (2000). A comparison of the effects of analytic and holistic rating scale types in the context of composition tests. Issues in Applied Linguistics, 11(2), 207-241.
• Ghalib, T. K., & Al-Hattami, A. A. (2015). Holistic versus Analytic Evaluation of EFL Writing: A Case Study. English Language Teaching, 8(7), 225-236. doi:10.5539/elt.v8n7p225
• Haladyna, T. M. (1997). Writing Test Item to Evaluate Higher Order Thinking. USA: Allyn & Bacon.
• Kan, A. (2007). Performans değerlendirme sürecine katkıları açısından yeni program anlayışı içerisinde kullanılabilecek bir değerlendirme yaklaşımı: Dereceli puanlama anahtarı puanlama yönergeleri. Kuram ve Uygulamada Egitim Bilimleri, 7(1), 129-152.
• Klein, S. P., Stecher, B. M., Shavelson, R. J., McCaffrey, D., Ormseth, T., Bell, R. M., ... & Othman, A. R. (1998). Analytic versus holistic scoring of science performance tasks. Applied Measurement in Education, 11(2), 121-137.
• Moskal, B. M. (2003). Recommendations for developing classroom performance assessments and scoring rubrics. Practical Assessment, Research & Evaluation, 8(14), 1-8.
• Moskal, B. M. (2000). "Scoring rubrics: What, when and how?" Practical Assessment, Re-search & Evaluation, 7 (3) Available Online: http://ericae.net/pare/getvn.asp?v=7&n=3
• Popham, W. J. (1997). What's Wrong--and What's Right--with Rubrics. Educational Leader-ship, 55(2), 72-75.
• Rezaei, A. R., & Lovorn, M. (2010). Reliability and validity of rubrics for assessment through writing. Assessing Writing, 15(1), 18-39.
• Sadler, D. R. (2009). Indeterminacy in the use of preset criteria for assessment and grading. Assessment & Evaluation in Higher Education, 34(2), 159-179.
• Şanlı, E., (2010). Bilimsel süreç becerilerinin ölçülmesinde bütünsel ve analitik puanlama anah-tarlarinin güvenirliklerinin karsilastirilmasi. Yayinlanmamis Yuksek Lisans Tezi, Ankara: An-kara üniversitesi
• Wiseman, C. S. (2012). A comparison of the performance of analytic vs. holistic scoring rubrics to assess L2 writing. Iranian Journal of Language Testing, 2(1), 59-92.