-

Abstract

This study investigates comparison of three different evaluation types based on the data of the compositions which have been going to be rated and evaluated in three different types (overall impression, rubric and Thurstone’s method of paired comparison). Firstly, “The Rubric For Writing Composition” was constructed which was going to be used as a tool for evaluating writing skill. It is observed that, one factor explatory solution which is done to group of behavior criteria of rating scale constructed as rubric is accurate for both scale and its three components. Additionally, Cronbach alpha coefficients calculated for major and minor criteria of all composition is observed to be high. The relationship among rates of compositions which are evaluated with the rubric by the same judges found positive and significant. It is observed that there is no change in rank order of compositions for three different evaluation types. For determining rating reliability, G coefficients were calculated for overall impression and rubric evaluation and these coefficients are found as high.

Keywords

• rating scales, rubric, paired comparison method.

Dereceli Puanlama Anahtarıyla, Genel İzlenimle ve İkili Karşılaştırmalar Yöntemiyle Yapılan Değerlendirmelerin Karşılaştırılması

Abstract

Bu çalışmada, üç farklı şekilde (genel izlenimle, dereceli puanlama anahtarıyla ve Thurstone ikili karşılaştırmalar yöntemiyle) puanlanan ve değerlendirilen kompozisyonlardan elde edilen verilere dayanarak, üç farklı değerlendirmenin karşılaştırılması amaçlanmıştır. Bu amaçla “Kompozisyon Yazmaya İlişkin Dereceli Puanlama Anahtarı” geliştirilmiştir. Dereceleme ölçeğinin davranış ölçütlerinin nasıl bir yapı sergilediğini görebilmek için faktör analizi yapılmış ve hem tüm ölçeğin hem de üç ana bileşenin tek faktörlü olduğu ve Cronbach α katsayılarının oldukça yüksek çıktığı gözlenmiştir. Seçilen iki kompozisyon için dereceli puanlama anahtarı ile yapılan değerlendirmelerin güvenirliklerine test tekrar test yöntemi ile bakılmıştır. Yargıcıların kompozisyonları değerlendirmeleri sonucunda, hangi değerlendirme yapılırsa yapılsın kompozisyonların sıralamalarında bir değişikliğin olmadığı gözlenmiştir. Farklı yargıcıların beş ayrı kompozisyonu, genel izlenimle ve dereceli puanlama anahtarı ile puanlanmasında puanlayıcı güvenirliğinin belirlenmesinde G katsayıları hesaplanmış ve bu katsayılar yüksek bulunmuştur.

Keywords

• derecelendirme ölçekleri, dereceli puanlama anahtarı, ikili karşılaştırmalar yöntemi.

References

1. Airasian, P. W. (2000). Assesment in the clasroom: A concise approach. Boston: McGraw-Hill.
2. Aiken, L. R. (1995). Rating scales and checklists; evaluating behavior, personality, and attitudes. New York: John Wiley & Sons.
3. Atılgan, H., Kan A., ve Doğan N. (2006). Eğitimde ölçme ve değerlendirme, Ankara: Anı Yayıncılık.
4. Çetin, B. ve H. Kelecioğlu (2004). Kompozisyon tipi sınavlarda kompozisyonun biçimsel özelliklerinden kestirilen puanların anahtarla ve genel izlenimle elde edilen puanlarla ilişkisi , Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 26, 19-26.
5. Erkuş, A. (2003). Psikometri üzerine yazılar, Ankara: Türk Psikologlar Derneği Yayınları.
6. Erkuş, A. (2006). Sınıf öğretmenleri için ölçme ve değerlendirme, Ankara: Ekinoks Yayıncılık.
7. Gelbal, S. ve Kelecioğlu H. (2007). Öğretmenlerin ölçme ve değerlendirme yöntemleri hakkındaki yeterlik algıları ve karşılaştıkları sorunlar. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi. 33.
8. Lord, F. M. (1980). Applications of item response theory to practical testing problems. Hillsdale, New Jersey: Lawrence Erlbaum Associates.

9. Hafner, J., & Hafner M. (2003). Quantitative analysis of the rubrics as an assessment tool : An emprical study of student peer- group rating. İnternational Journal of Science Education.
10. Mertler, C. A. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research, and Evaluation, Moskal, B., M. (2000). Scoring rubrics: what, when, how? Pratical Assessment, Research and Evaluation, 8 (14).
11. Popham, W. J. (1997). What’s wrong- and what’s right – with rubrics. Educational Leadership.
12. Tierney, R. & Simon, M. (2004). What’s still wrong with rubrics : Focusing on the contistency of performance criteria across scale levels. Pratical Assessment, Research and Evaluation, 9 (2).
13. Turgut, F ve Baykul, Y. (1992). Ölçekleme teknikleri. Ankara: ÖSYM Yayınları