TY  - JOUR
T1  - Using Rank-order Judgments Scaling to Determine Students’ Evaluation Preferences
TT  - Öğrencilerin Değerlendirme Tercihlerinin Sıralama Yargılarına Dayalı Ölçeklenmesi
AU  - Ozbası, Durmus
PY  - 2019
DA  - July
JF  - Eurasian Journal of Educational Research
PB  - Özer DAŞCAN
WT  - DergiPark
SN  - 1302-597X
SP  - 63
EP  - 80
VL  - 19
IS  - 82
LA  - en
AB  - Purpose: This study sought to determine universitystudents’ evaluation preferences and then scaled them based on their rank-orderjudgments.ResearchMethods: The survey model was usedin this study. This study was conducted with a total of 376 university studentsof varying grade levels enrolled in different departments of the faculty ofeducation of two separate state universities in Turkey during the 2017-2018academic year. Data were collected using a 13-item survey designed specificallyfor this study that solicited answers regarding students’ evaluation preferencesin measuring their academic performance. Students first ranked to evaluation typesfrom most to least preferred and then assigned a single number for eachstimulus. The data attained from the study were then scaled based on rank-orderjudgments.Findings: Thestudy findings revealed that students most preferred to be assessed using oralexams and least preferred tests composed of multiple-choice questions. Implications for Research and Practice:This study was restricted to university students enrolled in the faculty ofeducation of two state universities in Turkey. By conducting a similar studywith students enrolled in other faculties in the same or different highereducation institutions results and potential differences between faculties maybe compared.
KW  - Rank-order judgments scaling
KW  - Evaluation preferences
KW  - Assessment preferences
N2  - Problem Durumu:Eğitim sürecinin önemli ögelerinden biri değerlendirmedir. Eğitim sisteminin,işleyişi ve sürecin etkili bir şekilde ilerleyip ilerlemediğinin kontrolü ancakdeğerlendirme ile belirlenebilmektedir. Ölçme sonuçlarının belirlenen ölçütveya ölçütler takımıyla karşılaştırılarak bir karara varma süreci olandeğerlendirme, öğrencilerin mesleki veya beceri açıdan eğilimlerininbelirlenmesine yardımcı olmasının yanısıra öğretimin niteliği hakkında ilgilipaydaşlara önemli bilgiler sağlar (Turgut & Baykul, 2010). Değerlendirme,sadece öğrenme sürecinin sonunda gerçekleştirilen ve öğretimden bağımsız birdurum olarak ele alınamaz. Aynı zamanda öğrenci başarısı, hedef ve kazanımlaraulaşma düzeyleri hakkında da bilgi sağlar. Ayrıca, öğrencilerin sınavlara nasılhazırlandıklarını, öğrenme sürecinde karşılaştıkları zorlukları, derslerinenasıl çalıştıkları gibi farklı değişkenler hakkında da bilgi elde edilmesineyardımcı olur (Birenbaum, 1997; Struyven, Dochy & Janssens, 2005). Biggs(2003)’e göre, değerlendirme öğrenmenin gelişmesine önemli katkı sunmaktadır.Bu nedenle de, nitelikli bir değerlendirme yöntemi, öğrencilerin öğrenmesüreçlerinin bir parçası olmalı ve öğrencilere öğrenme sürecinde nasıl öğrenmelerigerektiği konusunda da rehberlik etmelidir (Gulbahar & Büyüköztürk, 2008). Öğrencilerinöğretimsel tercihleri ve değerlendirme yöntemlerine ilişkin tercihlerinin,akademik başarı, öğrenmeye ilişkin algıları ve öğrencilerin öğrenme sürecininasıl gerçekleştirdiklerini ve de tüm bunların değerlendirme tercihine nasılbir etkiye sahip olduğuna ilişkin alan yazında (Biggs, 2003; Brenbaum, 2003;Struyven & Digerleri, 2005; Ekinci, 2009) yapılmış araştırmalarbulunmaktadır. Yapılan araştırmalarda (Mayya, Rao ve Ramnarayan, 2004; McManus,Richards & Winder 1999; Sambell, McDowell & Brown, 1997; Scouller,2000) öğrenme yaklaşımlarının öğrencilerin akademik başarıları iledeğerlendirme tercihlerine anlamlı düzeyde farklılık oluşturduğu tespitedilmiştir. Ancak alan yazın incelendiğinde, yapılan araştırmalarınçoğunluğunun, öğrencilerin değerlendirme tercihlerine ilişkin daha çokistatistiksel anlamlılık ve ilişki üzerine olduğu tespit edilmiş (Gelbal &Kelecioglu, 2007; Birgin & Gurbuz, 2008; Struyven, Dochy & Janssens,2005; Gijbels & Dochy, 2006); öğrencilerin ne tür değerlendirme türlerinitercih ettiklerini ortaya çıkaran az sayıda (Altun ve Gelbal, 2014; Isnac,2018; Sahin, Ozturk Boztunc & Teker Tasdelen, 2015) araştırmabulunmaktadır. Bu araştırmalardan sadece Isnac (2018) ve Sahin, Ozturk Boztunc& Teker Tasdelen (2015)  tarafındanyapılan araştırmalarda, öğrencilerin değerlendirme tercihleri ölçeklemeyöntemleriyle belirlenmiştir. Alan yazın incelendiğinde, üniversiteöğrencilerinin değerlendirme tercihlerinin sıralama yargılarına dayalıölçekleme yoluyla incelendiği sadece bir çalışmaya (Sahin, Ozturk Boztunc &Teker Tasdelen, 2015) rastlanmıştır. Öğrencilerin başarılarınındeğerlendirilmesinde tercih ettikleri değerlendirme türlerininbelirlenmesi,  öğrencilerin çalışmaalışkanlıkları ve sınavlara nasıl hazırlandıkları hakkında önemli bilgilerortaya koyacağı düşünülmektedir. Bu bağlamda araştırmanın problemi, üniversiteöğrencilerinin değerlendirme tercihlerine ilişkin ölçek değerlerininbelirlenmesidir.   Araştırmanın Amacı: Araştırmanın amacı,üniversite öğrencilerinin değerlendirme tercihlerinin belirlenmesi vedeğerlendirme tercihlerinin sıralama yargılarına göre ölçeklenmesidir. Araştırmanın Yöntemi:Araştırma tarama modeli ile tasarlanmıştır. Araştırma Canakkale Onsekiz Mart veTrakya Üniversitesi eğitim fakültelerinde öğrenim görmekte olan toplam 376 üniversiteöğrencisi ile gerçekleştirilmiştir. Araştırmada veri toplama aracı araştırmacıtarafından geliştirilmiştir. Veri toplama aracının geliştirme aşamasında, alanyazın taranmış ve öğrencilerin akademik başarılarını değerlendirmedekullanılabilecek ölçme araçları belirlenmiştir. Ayrıca araştırma kapsamındaöğrencilere değerlendirme tercihlerinin sorulduğu yarı yapılandırılmış birgörüşme formu kullanılmıştır. Bu görüşme formu, eğitim fakültesinde çeşitlisınıflarda öğrenim görmekte olan 80 öğrenciye uygulanmış ve değerlendirmetercihlerini sırasız olarak yazmaları istenmiştir. Öğrencilerin vermişoldukları yanıtlar incelenerek ortak olanlar (toplam 16 madde) bir araya getirilmiştir.Daha sonra bu maddeler uzmanların (üç ölçme ve değerlendirme uzmanı) görüşünesunulmuş ve uzman görüşleri doğrultusunda 13 madde ölçme aracının maddelerinioluşturmuştur.Araştırmanın Bulguları: Bulgularda öncelikle toplam 13 uyarıcı için 376 yargıcının her biruyarıcı için vermiş oldukları sıra numaralarına ilişkin frekans tablosuoluşturulmuştur. Satır ve sütunların toplam gözlem sayısı 376 ‘dır. Bu işlemdensonra ikili olarak tüm uyarıcılar arasındaki n(sjk>ski)tabloları hazırlanmış ve tüm uyarıcılar arasında ikili sıra frekanslar matrisielde edilmiştir. Daha sonra oranlar matrisi hesaplanmıştır. Oranlar matrisindeen önemli nokta köşegenleri toplamının 1’i vermesidir. Buna göre, oranlarmatrisindeki köşegenler toplamının 1’e eşit olup olmadığı incelenmiş veköşegenler toplamının 1’e eşit olduğu tespit edilmiştir. Bu kontrolün ardından,V. Hal denklemi kullanılarak, ikili karşılaştırma yöntemi ile analize devamedilmiştir. Daha sonra birim normal sapmalar matris değerleri hesaplanmıştır.  Sonuç ve Öneriler: Araştırmadan eldeedilen bulgulara göre, öğrenciler en çok sözlü sınavı tercih etmişlerdir. Sözlüsınav her ne kadar, öğrenciyi heyecandan ve sınav ile ilgili gereksizkorkulardan kurtarsa da, puanlanmasındaki öznellik, sınav yapan ile yapılanarasındaki etkileşim ve sınav sorularının her birey için önceden hazırlamagerekliliği gibi sebeplerden dolayı kalabalık gruplarda gerçekleştirilmesioldukça zor olabilmektedir. (Turgut & Baykul, 2010).Öğrencilerin değerlendirme türü olarak en çok tercihettiği ikinci uyarıcı ise “sınırlı süre içerisinde, kitap ve defter açık birşekilde açık uçlu sorularla değerlendirme” yapılmasıdır. Açık uçlu sorularölçtüğü özellik açısından üst düzey bilişsel beceriler ölçmek için uygun olsada, soruların değerlendirilmesi ve puanlanmasındaki bazı sorunlar (puanlamanınobjektif olmaması, kapsam geçerliğinin düşük olması gibi) taşımaktadır(Atılgan, Kan & Dogan, 2009). Scouller (1998) tarafından yapılan araştırmasonuçlarına göre, derin öğrenme yaklaşımına sahip öğrencilerin çoğunluklayazılı (açık uçlu) yoklama soru türündeki sınavlarda daha başarılı olduklarıbelirtilmiştir.Araştırma sonuçlarına göre, öğrencilerinin tercihettiği üçüncü değerlendirme türü ise “Bireysel makale ödevi verilerek” yapılandeğerlendirmedir. Bireyselöğrenme ve verilen ödevi istekli olarak yerine getirme davranışı, çoğunlukladerin öğrenme yaklaşımını benimseyen öğrencilerin genel özelliklerinden biridir(Minbashian, Huon & Bird, 2004; Prosser & Trigwell, 1999; Ramsden, 1991). Bu bağlamda, araştırma grubunda yer alan ve derin öğrenme özelliğinesahip öğrenciler, bireysel makale ödevini değerlendirme türü olarak tercihetmiş olabilirler.Öğrencilerin en az tercih etttikleri değerlendirmetürü çoktan seçmeli madde türüdür. Öğrencilerin ilkokul seviyesinden üniversitedüzeyine kadar girmiş olduğu geniş ölçekli sınavların neredeyse tümünün çoktanseçmeli sınav olmasına rağmen, değerlendirme türü olarak en az tercih etmeleri,araştırmadan elde edilen önemli sonuçlardan biridir. Öğrencilerin en sondanikinci olarak tercih ettikleri değerlendirme türü bireysel ev ödevidir.Öğrencilerin en sondan üçüncü sıraya yerleştirdikleri değerlendirme türü isefarklı soru türlerinin (çoktan seçmeli, kısa yanıtlı, doğru-yanlış, eşleştirme)aynı anda kullanılmasıyla gerçekleştirilen değerlendirmedir.Bu araştırmanın sonuçlarına dayalı olarakyapılabilecek önerilerden biri, öğrencilerin birçoğunun belirtmiş olduğu gibideğerlendirme aşamasında tek tür soru formatı kullanılmasıdır. Araştırmabulgularında öğrencilerin, aynı anda birçok soru formatının kullanılmasını pektercih etmedikleri belirlenmiştir. Bu nedenle, farklı soru formatları kullanıldığı durumlarda, bu soru formatları ileilgili yönerge veya açıklamalara yer verilmesi, bu konudaki korku ve isteksizliğiazaltacağı düşünülmektedir. Bu araştırma sadece eğitim fakültesinde öğrenimgörmekte olan üniversite öğrencileri ile yürütülmüştür. Farklı fakülte veyayüksekokullarda öğrenim görmekte olan üniversite öğrencileri ile böyle birçalışma yapılması alan yazına katkı sağlayabilir.
CR  - Altun, A. & Gelbal, S. (2014). Öğretmenlerinin kullandıkları ölçme ve değerlendirme yöntem 	veya araçlarının ikili karşılaştırma yöntemiyle belirlenmesi [Determining teachers’ measurement tools or techniques via pair-wise comparison method]. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(1), 1-11.
CR  - Anil, D. & Guler, N. (2006). İkili karşılaştırma yöntemi ile ölçekleme çalışmasına bir örnek [An example of the scaling study by pair-wise comparison method]. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 30, 30-36.
CR  - Anil, D. & Inal, H. (2017). Psikofizikte ölçekleme uygulamaları. Ankara: PegemAkademi.
CR  - Atilgan, H., Kan, A. &  Dogan, N. (2007). Eğitimde ölçme ve değerlendirme. Ankara: Anı Yayıncılık.
CR  - Biggs, J. (2003). Teaching for quality learning at university (2nd edition). United Kingdom: The Society for Research into Higher Education and Open University Pres.
CR  - Birenbaum, M. (1994). Toward adaptive evaluation - the student's angle. Studies in Educational Evaluation, 20, 	239-255.
CR  - Birenbaum, M. (1997). Evaluation preferences and their relationship to learning strategies and orientations. Higher Education, 33, 71-84.
CR  - Birenbaum, M. (2003). New insights into learning and teaching and their implications for 	evaluation. Segers, M., Dochy, F. ve Cascallar, E. (eds.). Optimizing New Methods of Evaluation: In Search of Qualities and Standards (13-36). Dordrecht, The Netherlands: Kluwer.
CR  - Birgin, O., & Gürbüz, R. (2008). Sınıf öğretmeni adaylarının ölçme ve değerlendirme konusundaki bilgi düzeylerinin incelenmesi [Investigation of pre-service primary 	teachers’ knowledge level about measurement and evaluation]. Selçuk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 20, 163-179.
CR  - Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. Harcourt Brace Jovanovich College Publishers: Philadelphia.
CR  - Cross, K. P. (1981). Adults as learners. San Francisco: Jossey-Bass.
CR  - Ekinci, N. (2008). Üniversite öğrencilerinin öğrenme yaklaşımlarının belirlenmesi ve öğretme öğrenme süreci değişkenleri ile ilişkisi. (Yayımlanmamış Doktora Tezi). Hacettepe Üniversitesi, Ankara.
CR  - Gelbal, S. & Kellecioglu, H. (2007). Öğretmenlerin ölçme ve değerlendirme yöntemleri 	hakkındaki yeterlik algıları ve karşılaştıkları sorunlar. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 33, 135-145 .
CR  - Gijbels, D. & Dochy, F. (2006). Students’ evaluation preferences and approaches to learning: can formative evaluation make a difference?. Educational Studies, 32(4), 399-409.
CR  - Guilford, J. P. (1954). Psychometrics methods. New York: Mc Graw-Hill Book Co.
CR  - Gulbahar, Y. & Buyukozturk, Ş. (2008). Değerlendirme tercihleri ölçeğinin Türkçeye uyarlaması [Adaptation of evaluation preferences inventory to Turkish]. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 35, 148-161.
CR  - Incecam, B., Demir, E. & Demir, E. (2018). Ortaokul öğretmenlerinin sınıf içi ölçme ve değerlendirmelerde yazılı yoklamalarda kullandıkları açık uçlu maddeleri hazırlama yeterlikleri [Competencies of middle school teachers to prepare open-ended items used in open-ended test for in-classroom evaluation]. Elementary Education Online, 17(4): 	1912-1927
CR  - Isnac, F. (2018). Ortaöğretim öğrencilerinin öğrenme yaklaşımlarına göre değerlendirme tercihlerinin ölçeklenmesi [Scaling evaluation preferences of secondary school students according to learning approaches].  Master Thesis, Ankara University, Educational Sciences Institute, Ankara.
CR  - Kan, A. (2008). Psikolojik değişkenleri ölçmek için kullanılan ölçekleme yaklaşımları üzerine 	bir karşılaştırma [A comparison between scaling procedures for measurıing psychological variables]. Eğitimde Kuram ve Uygulama, 4(1), 2-18.
CR  - Karasar, N. (2014). Bilimsel araştırma yöntemi. Ankara: Nobel Yayın Dağıtım.
CR  - Kutlu, O., Dogan, C. D. & Karakaya, I. (2008). Öğrenci başarısının belirlenmesi performansa ve portfolyoya dayalı durum belirleme. Ankara: Pegem Akademi yayıncılık.
CR  - Mayya, S., Rao, A.K. & Ramnarayan, K. (2004). Learning approaches, learning difficulties and academic 	performance of undergraduate students ofphysiotherapy. The Internet Journal of Allied Health Sciences and Practice, 2(4), 1-6.
CR  - McManus, I.C., Richards, P. & Winder, B.C. (1999). Intercalated degrees, learning styles, and career preferences: Prospective longitudinal study of UK medical students. British 	Medical Journal International edition, 319, 542-546.
CR  - Minbashian, A., Huon, G. F. & Bird, K. D. (2004). Approaches to studying and academic performance in short-essay exams. Higher Education, 47,161-176.
CR  - Ozcelik, D. A. (2011). Ölçme ve değerlendirme. Ankara: Pegem Akademi
CR  - Ozkan Ozer, Y. & Guvendir Acar, M. (2013). Öğrencilerin ölçme ve değerlendirme dersinin sunulmasında tercih ettikleri öğretim yöntemleri [Students’ teaching methods preferences for measurement and evaluation course]. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 4(1), 1-14.
CR  - Prosser, M. & Trigwell, K. (1999). Relational perspectives on higher education teaching and learning in the science. Studies in Secience Education, 33(1), 31-60.
CR  - Ramsden, P. (1991). A performance indicator of teaching quality in higher education: The Course Experience Questionnaire, Studies in Higher Education, 16:2, 129-150.
CR  - Sambell, K., McDowell, L. & Brown, S. (1997). ‘But is it fair?’: An exploratory study of student perceptions of the consequential validity of evaluation. Studies in Educational Evaluation, 23(4), 349-371.
CR  - Scouller, K. (2000). The influence of evaluation method on student learning. Australian Association for Research in Education, 35(4), 453-472.
CR  - Scouller, K. (1998). The influence of evaluation method on students’ learningapproaches: Multiple choice question examination versus assignment essay. Higher Education, 35, 	453–472.
CR  - Sezer, Y. & Bilgin, H. (2009). Sözlü sınavların yargısal denetimi [Judicial review of oral exams]. TBB Dergisi, 86, 168-187.
CR  - Struyven, K., Dochy, F. & Janssens, S. (2005). Students’ perceptions about evaluation and evaluation in higher 	education: A review. Evaluation & Evaluation in Higher Education, 30(4), 325-341.
CR  - Sahin, M. G., Ozturk Boztunc N. & Teker Tasdelen, G.(2015). Öğretmen adaylarının başarılarının değerlendirilmesinde tercih ettikleri ölçme araçlarının belirlenmesi [Determining the pre-service teachers’ measurement tool preferences for 	evaluation of 	their achievement]. Eğitimde ve Psikolojide Ölçme 	ve Değerlendirme Dergisi, 6 	(1), 95-106.
CR  - Tekin, H. (2004). Eğitimde ölçme ve değerlendirme. Ankara: Yargı yayın evi.
CR  - Tezbasaran A. (2004). Likert tipi ölçeklere madde seçmede geleneksel madde analizi tekniklerinin karşılaştırılması. Türk Psikoloji Dergisi, 19 (54), 77-90.
CR  - Thurstone, L. L. (1927). A law of comparative judgement. Psychological Rewiev, 34, 273-286.
CR  - Torgerson, W. S. (1958). Theory and methods of scaling. New York: John Wiley & Son.
CR  - Turgut, M. F. & Baykul, Y. (2010). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi
CR  - Turgut, F., M., & Baykul, Y. (1992). Ölçekleme teknikleri. Ankara: ÖSYM Yayınları
UR  - https://dergipark.org.tr/en/pub/ejer/issue//608124
L1  - https://dergipark.org.tr/en/download/article-file/788993
ER  -