Using Rank-order Judgments Scaling to Determine Students’ Evaluation Preferences

Year 2019, Volume: 19 Issue: 82, 63 - 80, 31.07.2019

Durmus Ozbası

Abstract

Purpose: This study sought to determine university
students’ evaluation preferences and then scaled them based on their rank-order
judgments.

Research
Methods: The survey model was used
in this study. This study was conducted with a total of 376 university students
of varying grade levels enrolled in different departments of the faculty of
education of two separate state universities in Turkey during the 2017-2018
academic year. Data were collected using a 13-item survey designed specifically
for this study that solicited answers regarding students’ evaluation preferences
in measuring their academic performance. Students first ranked to evaluation types
from most to least preferred and then assigned a single number for each
stimulus. The data attained from the study were then scaled based on rank-order
judgments.

Findings: The
study findings revealed that students most preferred to be assessed using oral
exams and least preferred tests composed of multiple-choice questions.

Implications for Research and Practice:
This study was restricted to university students enrolled in the faculty of
education of two state universities in Turkey. By conducting a similar study
with students enrolled in other faculties in the same or different higher
education institutions results and potential differences between faculties may
be compared.

Keywords

Rank-order judgments scaling, Evaluation preferences, Assessment preferences

Öğrencilerin Değerlendirme Tercihlerinin Sıralama Yargılarına Dayalı Ölçeklenmesi

Abstract

Problem Durumu:
Eğitim sürecinin önemli ögelerinden biri değerlendirmedir. Eğitim sisteminin,
işleyişi ve sürecin etkili bir şekilde ilerleyip ilerlemediğinin kontrolü ancak
değerlendirme ile belirlenebilmektedir. Ölçme sonuçlarının belirlenen ölçüt
veya ölçütler takımıyla karşılaştırılarak bir karara varma süreci olan
değerlendirme, öğrencilerin mesleki veya beceri açıdan eğilimlerinin
belirlenmesine yardımcı olmasının yanısıra öğretimin niteliği hakkında ilgili
paydaşlara önemli bilgiler sağlar (Turgut & Baykul, 2010). Değerlendirme,
sadece öğrenme sürecinin sonunda gerçekleştirilen ve öğretimden bağımsız bir
durum olarak ele alınamaz. Aynı zamanda öğrenci başarısı, hedef ve kazanımlara
ulaşma düzeyleri hakkında da bilgi sağlar. Ayrıca, öğrencilerin sınavlara nasıl
hazırlandıklarını, öğrenme sürecinde karşılaştıkları zorlukları, derslerine
nasıl çalıştıkları gibi farklı değişkenler hakkında da bilgi elde edilmesine
yardımcı olur (Birenbaum, 1997; Struyven, Dochy & Janssens, 2005). Biggs
(2003)’e göre, değerlendirme öğrenmenin gelişmesine önemli katkı sunmaktadır.
Bu nedenle de, nitelikli bir değerlendirme yöntemi, öğrencilerin öğrenme
süreçlerinin bir parçası olmalı ve öğrencilere öğrenme sürecinde nasıl öğrenmeleri
gerektiği konusunda da rehberlik etmelidir (Gulbahar & Büyüköztürk, 2008).

Öğrencilerin
öğretimsel tercihleri ve değerlendirme yöntemlerine ilişkin tercihlerinin,
akademik başarı, öğrenmeye ilişkin algıları ve öğrencilerin öğrenme sürecini
nasıl gerçekleştirdiklerini ve de tüm bunların değerlendirme tercihine nasıl
bir etkiye sahip olduğuna ilişkin alan yazında (Biggs, 2003; Brenbaum, 2003;
Struyven & Digerleri, 2005; Ekinci, 2009) yapılmış araştırmalar
bulunmaktadır. Yapılan araştırmalarda (Mayya, Rao ve Ramnarayan, 2004; McManus,
Richards & Winder 1999; Sambell, McDowell & Brown, 1997; Scouller,
2000) öğrenme yaklaşımlarının öğrencilerin akademik başarıları ile
değerlendirme tercihlerine anlamlı düzeyde farklılık oluşturduğu tespit
edilmiştir. Ancak alan yazın incelendiğinde, yapılan araştırmaların
çoğunluğunun, öğrencilerin değerlendirme tercihlerine ilişkin daha çok
istatistiksel anlamlılık ve ilişki üzerine olduğu tespit edilmiş (Gelbal &
Kelecioglu, 2007; Birgin & Gurbuz, 2008; Struyven, Dochy & Janssens,
2005; Gijbels & Dochy, 2006); öğrencilerin ne tür değerlendirme türlerini
tercih ettiklerini ortaya çıkaran az sayıda (Altun ve Gelbal, 2014; Isnac,
2018; Sahin, Ozturk Boztunc & Teker Tasdelen, 2015) araştırma
bulunmaktadır. Bu araştırmalardan sadece Isnac (2018) ve Sahin, Ozturk Boztunc
& Teker Tasdelen (2015)  tarafından
yapılan araştırmalarda, öğrencilerin değerlendirme tercihleri ölçekleme
yöntemleriyle belirlenmiştir. Alan yazın incelendiğinde, üniversite
öğrencilerinin değerlendirme tercihlerinin sıralama yargılarına dayalı
ölçekleme yoluyla incelendiği sadece bir çalışmaya (Sahin, Ozturk Boztunc &
Teker Tasdelen, 2015) rastlanmıştır. Öğrencilerin başarılarının
değerlendirilmesinde tercih ettikleri değerlendirme türlerinin
belirlenmesi,  öğrencilerin çalışma
alışkanlıkları ve sınavlara nasıl hazırlandıkları hakkında önemli bilgiler
ortaya koyacağı düşünülmektedir. Bu bağlamda araştırmanın problemi, üniversite
öğrencilerinin değerlendirme tercihlerine ilişkin ölçek değerlerinin
belirlenmesidir.   

Araştırmanın Amacı: Araştırmanın amacı,
üniversite öğrencilerinin değerlendirme tercihlerinin belirlenmesi ve
değerlendirme tercihlerinin sıralama yargılarına göre ölçeklenmesidir.

Araştırmanın Yöntemi:
Araştırma tarama modeli ile tasarlanmıştır. Araştırma Canakkale Onsekiz Mart ve
Trakya Üniversitesi eğitim fakültelerinde öğrenim görmekte olan toplam 376 üniversite
öğrencisi ile gerçekleştirilmiştir. Araştırmada veri toplama aracı araştırmacı
tarafından geliştirilmiştir. Veri toplama aracının geliştirme aşamasında, alan
yazın taranmış ve öğrencilerin akademik başarılarını değerlendirmede
kullanılabilecek ölçme araçları belirlenmiştir. Ayrıca araştırma kapsamında
öğrencilere değerlendirme tercihlerinin sorulduğu yarı yapılandırılmış bir
görüşme formu kullanılmıştır. Bu görüşme formu, eğitim fakültesinde çeşitli
sınıflarda öğrenim görmekte olan 80 öğrenciye uygulanmış ve değerlendirme
tercihlerini sırasız olarak yazmaları istenmiştir. Öğrencilerin vermiş
oldukları yanıtlar incelenerek ortak olanlar (toplam 16 madde) bir araya getirilmiştir.
Daha sonra bu maddeler uzmanların (üç ölçme ve değerlendirme uzmanı) görüşüne
sunulmuş ve uzman görüşleri doğrultusunda 13 madde ölçme aracının maddelerini
oluşturmuştur.

Araştırmanın Bulguları: Bulgularda öncelikle toplam 13 uyarıcı için 376 yargıcının her bir
uyarıcı için vermiş oldukları sıra numaralarına ilişkin frekans tablosu
oluşturulmuştur. Satır ve sütunların toplam gözlem sayısı 376 ‘dır. Bu işlemden
sonra ikili olarak tüm uyarıcılar arasındaki n(s_jk>s_ki)
tabloları hazırlanmış ve tüm uyarıcılar arasında ikili sıra frekanslar matrisi
elde edilmiştir. Daha sonra oranlar matrisi hesaplanmıştır. Oranlar matrisinde
en önemli nokta köşegenleri toplamının 1’i vermesidir. Buna göre, oranlar
matrisindeki köşegenler toplamının 1’e eşit olup olmadığı incelenmiş ve
köşegenler toplamının 1’e eşit olduğu tespit edilmiştir. Bu kontrolün ardından,
V. Hal denklemi kullanılarak, ikili karşılaştırma yöntemi ile analize devam
edilmiştir. Daha sonra birim normal sapmalar matris değerleri hesaplanmıştır. 

Sonuç ve Öneriler: Araştırmadan elde
edilen bulgulara göre, öğrenciler en çok sözlü sınavı tercih etmişlerdir. Sözlü
sınav her ne kadar, öğrenciyi heyecandan ve sınav ile ilgili gereksiz
korkulardan kurtarsa da, puanlanmasındaki öznellik, sınav yapan ile yapılan
arasındaki etkileşim ve sınav sorularının her birey için önceden hazırlama
gerekliliği gibi sebeplerden dolayı kalabalık gruplarda gerçekleştirilmesi
oldukça zor olabilmektedir. (Turgut & Baykul, 2010).

Öğrencilerin değerlendirme türü olarak en çok tercih
ettiği ikinci uyarıcı ise “sınırlı süre içerisinde, kitap ve defter açık bir
şekilde açık uçlu sorularla değerlendirme” yapılmasıdır. Açık uçlu sorular
ölçtüğü özellik açısından üst düzey bilişsel beceriler ölçmek için uygun olsa
da, soruların değerlendirilmesi ve puanlanmasındaki bazı sorunlar (puanlamanın
objektif olmaması, kapsam geçerliğinin düşük olması gibi) taşımaktadır
(Atılgan, Kan & Dogan, 2009). Scouller (1998) tarafından yapılan araştırma
sonuçlarına göre, derin öğrenme yaklaşımına sahip öğrencilerin çoğunlukla
yazılı (açık uçlu) yoklama soru türündeki sınavlarda daha başarılı oldukları
belirtilmiştir.

Araştırma sonuçlarına göre, öğrencilerinin tercih
ettiği üçüncü değerlendirme türü ise “Bireysel makale ödevi verilerek” yapılan
değerlendirmedir. Bireysel
öğrenme ve verilen ödevi istekli olarak yerine getirme davranışı, çoğunlukla
derin öğrenme yaklaşımını benimseyen öğrencilerin genel özelliklerinden biridir
(Minbashian, Huon & Bird, 2004; Prosser & Trigwell, 1999; Ramsden, 1991). Bu bağlamda, araştırma grubunda yer alan ve derin öğrenme özelliğine
sahip öğrenciler, bireysel makale ödevini değerlendirme türü olarak tercih
etmiş olabilirler.

Öğrencilerin en az tercih etttikleri değerlendirme
türü çoktan seçmeli madde türüdür. Öğrencilerin ilkokul seviyesinden üniversite
düzeyine kadar girmiş olduğu geniş ölçekli sınavların neredeyse tümünün çoktan
seçmeli sınav olmasına rağmen, değerlendirme türü olarak en az tercih etmeleri,
araştırmadan elde edilen önemli sonuçlardan biridir. Öğrencilerin en sondan
ikinci olarak tercih ettikleri değerlendirme türü bireysel ev ödevidir.
Öğrencilerin en sondan üçüncü sıraya yerleştirdikleri değerlendirme türü ise
farklı soru türlerinin (çoktan seçmeli, kısa yanıtlı, doğru-yanlış, eşleştirme)
aynı anda kullanılmasıyla gerçekleştirilen değerlendirmedir.

Bu araştırmanın sonuçlarına dayalı olarak
yapılabilecek önerilerden biri, öğrencilerin birçoğunun belirtmiş olduğu gibi
değerlendirme aşamasında tek tür soru formatı kullanılmasıdır. Araştırma
bulgularında öğrencilerin, aynı anda birçok soru formatının kullanılmasını pek
tercih etmedikleri belirlenmiştir. Bu nedenle, 
farklı soru formatları kullanıldığı durumlarda, bu soru formatları ile
ilgili yönerge veya açıklamalara yer verilmesi, bu konudaki korku ve isteksizliği
azaltacağı düşünülmektedir. Bu araştırma sadece eğitim fakültesinde öğrenim
görmekte olan üniversite öğrencileri ile yürütülmüştür. Farklı fakülte veya
yüksekokullarda öğrenim görmekte olan üniversite öğrencileri ile böyle bir
çalışma yapılması alan yazına katkı sağlayabilir.

Keywords

sıralama yargılarına dayalı ölçekleme, Değerlendirme tercihleri

References

• Altun, A. & Gelbal, S. (2014). Öğretmenlerinin kullandıkları ölçme ve değerlendirme yöntem veya araçlarının ikili karşılaştırma yöntemiyle belirlenmesi [Determining teachers’ measurement tools or techniques via pair-wise comparison method]. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(1), 1-11.
• Anil, D. & Guler, N. (2006). İkili karşılaştırma yöntemi ile ölçekleme çalışmasına bir örnek [An example of the scaling study by pair-wise comparison method]. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 30, 30-36.
• Anil, D. & Inal, H. (2017). Psikofizikte ölçekleme uygulamaları. Ankara: PegemAkademi.
• Atilgan, H., Kan, A. & Dogan, N. (2007). Eğitimde ölçme ve değerlendirme. Ankara: Anı Yayıncılık.
• Biggs, J. (2003). Teaching for quality learning at university (2nd edition). United Kingdom: The Society for Research into Higher Education and Open University Pres.
• Birenbaum, M. (1994). Toward adaptive evaluation - the student's angle. Studies in Educational Evaluation, 20, 239-255.
• Birenbaum, M. (1997). Evaluation preferences and their relationship to learning strategies and orientations. Higher Education, 33, 71-84.
• Birenbaum, M. (2003). New insights into learning and teaching and their implications for evaluation. Segers, M., Dochy, F. ve Cascallar, E. (eds.). Optimizing New Methods of Evaluation: In Search of Qualities and Standards (13-36). Dordrecht, The Netherlands: Kluwer.
• Birgin, O., & Gürbüz, R. (2008). Sınıf öğretmeni adaylarının ölçme ve değerlendirme konusundaki bilgi düzeylerinin incelenmesi [Investigation of pre-service primary teachers’ knowledge level about measurement and evaluation]. Selçuk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 20, 163-179.
• Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. Harcourt Brace Jovanovich College Publishers: Philadelphia.
• Cross, K. P. (1981). Adults as learners. San Francisco: Jossey-Bass.
• Ekinci, N. (2008). Üniversite öğrencilerinin öğrenme yaklaşımlarının belirlenmesi ve öğretme öğrenme süreci değişkenleri ile ilişkisi. (Yayımlanmamış Doktora Tezi). Hacettepe Üniversitesi, Ankara.
• Gelbal, S. & Kellecioglu, H. (2007). Öğretmenlerin ölçme ve değerlendirme yöntemleri hakkındaki yeterlik algıları ve karşılaştıkları sorunlar. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 33, 135-145 .
• Gijbels, D. & Dochy, F. (2006). Students’ evaluation preferences and approaches to learning: can formative evaluation make a difference?. Educational Studies, 32(4), 399-409.
• Guilford, J. P. (1954). Psychometrics methods. New York: Mc Graw-Hill Book Co.
• Gulbahar, Y. & Buyukozturk, Ş. (2008). Değerlendirme tercihleri ölçeğinin Türkçeye uyarlaması [Adaptation of evaluation preferences inventory to Turkish]. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 35, 148-161.
• Incecam, B., Demir, E. & Demir, E. (2018). Ortaokul öğretmenlerinin sınıf içi ölçme ve değerlendirmelerde yazılı yoklamalarda kullandıkları açık uçlu maddeleri hazırlama yeterlikleri [Competencies of middle school teachers to prepare open-ended items used in open-ended test for in-classroom evaluation]. Elementary Education Online, 17(4): 1912-1927
• Isnac, F. (2018). Ortaöğretim öğrencilerinin öğrenme yaklaşımlarına göre değerlendirme tercihlerinin ölçeklenmesi [Scaling evaluation preferences of secondary school students according to learning approaches]. Master Thesis, Ankara University, Educational Sciences Institute, Ankara.
• Kan, A. (2008). Psikolojik değişkenleri ölçmek için kullanılan ölçekleme yaklaşımları üzerine bir karşılaştırma [A comparison between scaling procedures for measurıing psychological variables]. Eğitimde Kuram ve Uygulama, 4(1), 2-18.
• Karasar, N. (2014). Bilimsel araştırma yöntemi. Ankara: Nobel Yayın Dağıtım.
• Kutlu, O., Dogan, C. D. & Karakaya, I. (2008). Öğrenci başarısının belirlenmesi performansa ve portfolyoya dayalı durum belirleme. Ankara: Pegem Akademi yayıncılık.
• Mayya, S., Rao, A.K. & Ramnarayan, K. (2004). Learning approaches, learning difficulties and academic performance of undergraduate students ofphysiotherapy. The Internet Journal of Allied Health Sciences and Practice, 2(4), 1-6.
• McManus, I.C., Richards, P. & Winder, B.C. (1999). Intercalated degrees, learning styles, and career preferences: Prospective longitudinal study of UK medical students. British Medical Journal International edition, 319, 542-546.
• Minbashian, A., Huon, G. F. & Bird, K. D. (2004). Approaches to studying and academic performance in short-essay exams. Higher Education, 47,161-176.
• Ozcelik, D. A. (2011). Ölçme ve değerlendirme. Ankara: Pegem Akademi
• Ozkan Ozer, Y. & Guvendir Acar, M. (2013). Öğrencilerin ölçme ve değerlendirme dersinin sunulmasında tercih ettikleri öğretim yöntemleri [Students’ teaching methods preferences for measurement and evaluation course]. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 4(1), 1-14.
• Prosser, M. & Trigwell, K. (1999). Relational perspectives on higher education teaching and learning in the science. Studies in Secience Education, 33(1), 31-60.
• Ramsden, P. (1991). A performance indicator of teaching quality in higher education: The Course Experience Questionnaire, Studies in Higher Education, 16:2, 129-150.
• Sambell, K., McDowell, L. & Brown, S. (1997). ‘But is it fair?’: An exploratory study of student perceptions of the consequential validity of evaluation. Studies in Educational Evaluation, 23(4), 349-371.
• Scouller, K. (2000). The influence of evaluation method on student learning. Australian Association for Research in Education, 35(4), 453-472.
• Scouller, K. (1998). The influence of evaluation method on students’ learningapproaches: Multiple choice question examination versus assignment essay. Higher Education, 35, 453–472.
• Sezer, Y. & Bilgin, H. (2009). Sözlü sınavların yargısal denetimi [Judicial review of oral exams]. TBB Dergisi, 86, 168-187.
• Struyven, K., Dochy, F. & Janssens, S. (2005). Students’ perceptions about evaluation and evaluation in higher education: A review. Evaluation & Evaluation in Higher Education, 30(4), 325-341.
• Sahin, M. G., Ozturk Boztunc N. & Teker Tasdelen, G.(2015). Öğretmen adaylarının başarılarının değerlendirilmesinde tercih ettikleri ölçme araçlarının belirlenmesi [Determining the pre-service teachers’ measurement tool preferences for evaluation of their achievement]. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 6 (1), 95-106.
• Tekin, H. (2004). Eğitimde ölçme ve değerlendirme. Ankara: Yargı yayın evi.
• Tezbasaran A. (2004). Likert tipi ölçeklere madde seçmede geleneksel madde analizi tekniklerinin karşılaştırılması. Türk Psikoloji Dergisi, 19 (54), 77-90.
• Thurstone, L. L. (1927). A law of comparative judgement. Psychological Rewiev, 34, 273-286.
• Torgerson, W. S. (1958). Theory and methods of scaling. New York: John Wiley & Son.
• Turgut, M. F. & Baykul, Y. (2010). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi
• Turgut, F., M., & Baykul, Y. (1992). Ölçekleme teknikleri. Ankara: ÖSYM Yayınları