Using Rank-order Judgments Scaling to Determine Students’ Evaluation Preferences

Abstract

Purpose: This study sought to determine university students’ evaluation preferences and then scaled them based on their rank-order judgments.

Research Methods: The survey model was used in this study. This study was conducted with a total of 376 university students of varying grade levels enrolled in different departments of the faculty of education of two separate state universities in Turkey during the 2017-2018 academic year. Data were collected using a 13-item survey designed specifically for this study that solicited answers regarding students’ evaluation preferences in measuring their academic performance. Students first ranked to evaluation types from most to least preferred and then assigned a single number for each stimulus. The data attained from the study were then scaled based on rank-order judgments.

Findings: The study findings revealed that students most preferred to be assessed using oral exams and least preferred tests composed of multiple-choice questions.

Implications for Research and Practice: This study was restricted to university students enrolled in the faculty of education of two state universities in Turkey. By conducting a similar study with students enrolled in other faculties in the same or different higher education institutions results and potential differences between faculties may be compared.

Keywords

• Rank-order judgments scaling,Evaluation preferences,Assessment preferences

Öğrencilerin Değerlendirme Tercihlerinin Sıralama Yargılarına Dayalı Ölçeklenmesi

Abstract

Problem Durumu: Eğitim sürecinin önemli ögelerinden biri değerlendirmedir. Eğitim sisteminin, işleyişi ve sürecin etkili bir şekilde ilerleyip ilerlemediğinin kontrolü ancak değerlendirme ile belirlenebilmektedir. Ölçme sonuçlarının belirlenen ölçüt veya ölçütler takımıyla karşılaştırılarak bir karara varma süreci olan değerlendirme, öğrencilerin mesleki veya beceri açıdan eğilimlerinin belirlenmesine yardımcı olmasının yanısıra öğretimin niteliği hakkında ilgili paydaşlara önemli bilgiler sağlar (Turgut & Baykul, 2010). Değerlendirme, sadece öğrenme sürecinin sonunda gerçekleştirilen ve öğretimden bağımsız bir durum olarak ele alınamaz. Aynı zamanda öğrenci başarısı, hedef ve kazanımlara ulaşma düzeyleri hakkında da bilgi sağlar. Ayrıca, öğrencilerin sınavlara nasıl hazırlandıklarını, öğrenme sürecinde karşılaştıkları zorlukları, derslerine nasıl çalıştıkları gibi farklı değişkenler hakkında da bilgi elde edilmesine yardımcı olur (Birenbaum, 1997; Struyven, Dochy & Janssens, 2005). Biggs (2003)’e göre, değerlendirme öğrenmenin gelişmesine önemli katkı sunmaktadır. Bu nedenle de, nitelikli bir değerlendirme yöntemi, öğrencilerin öğrenme süreçlerinin bir parçası olmalı ve öğrencilere öğrenme sürecinde nasıl öğrenmeleri gerektiği konusunda da rehberlik etmelidir (Gulbahar & Büyüköztürk, 2008).

Öğrencilerin öğretimsel tercihleri ve değerlendirme yöntemlerine ilişkin tercihlerinin, akademik başarı, öğrenmeye ilişkin algıları ve öğrencilerin öğrenme sürecini nasıl gerçekleştirdiklerini ve de tüm bunların değerlendirme tercihine nasıl bir etkiye sahip olduğuna ilişkin alan yazında (Biggs, 2003; Brenbaum, 2003; Struyven & Digerleri, 2005; Ekinci, 2009) yapılmış araştırmalar bulunmaktadır. Yapılan araştırmalarda (Mayya, Rao ve Ramnarayan, 2004; McManus, Richards & Winder 1999; Sambell, McDowell & Brown, 1997; Scouller, 2000) öğrenme yaklaşımlarının öğrencilerin akademik başarıları ile değerlendirme tercihlerine anlamlı düzeyde farklılık oluşturduğu tespit edilmiştir. Ancak alan yazın incelendiğinde, yapılan araştırmaların çoğunluğunun, öğrencilerin değerlendirme tercihlerine ilişkin daha çok istatistiksel anlamlılık ve ilişki üzerine olduğu tespit edilmiş (Gelbal & Kelecioglu, 2007; Birgin & Gurbuz, 2008; Struyven, Dochy & Janssens, 2005; Gijbels & Dochy, 2006); öğrencilerin ne tür değerlendirme türlerini tercih ettiklerini ortaya çıkaran az sayıda (Altun ve Gelbal, 2014; Isnac, 2018; Sahin, Ozturk Boztunc & Teker Tasdelen, 2015) araştırma bulunmaktadır. Bu araştırmalardan sadece Isnac (2018) ve Sahin, Ozturk Boztunc & Teker Tasdelen (2015)  tarafından yapılan araştırmalarda, öğrencilerin değerlendirme tercihleri ölçekleme yöntemleriyle belirlenmiştir. Alan yazın incelendiğinde, üniversite öğrencilerinin değerlendirme tercihlerinin sıralama yargılarına dayalı ölçekleme yoluyla incelendiği sadece bir çalışmaya (Sahin, Ozturk Boztunc & Teker Tasdelen, 2015) rastlanmıştır. Öğrencilerin başarılarının değerlendirilmesinde tercih ettikleri değerlendirme türlerinin belirlenmesi,  öğrencilerin çalışma alışkanlıkları ve sınavlara nasıl hazırlandıkları hakkında önemli bilgiler ortaya koyacağı düşünülmektedir. Bu bağlamda araştırmanın problemi, üniversite öğrencilerinin değerlendirme tercihlerine ilişkin ölçek değerlerinin belirlenmesidir.   

Araştırmanın Amacı: Araştırmanın amacı, üniversite öğrencilerinin değerlendirme tercihlerinin belirlenmesi ve değerlendirme tercihlerinin sıralama yargılarına göre ölçeklenmesidir.

Araştırmanın Yöntemi: Araştırma tarama modeli ile tasarlanmıştır. Araştırma Canakkale Onsekiz Mart ve Trakya Üniversitesi eğitim fakültelerinde öğrenim görmekte olan toplam 376 üniversite öğrencisi ile gerçekleştirilmiştir. Araştırmada veri toplama aracı araştırmacı tarafından geliştirilmiştir. Veri toplama aracının geliştirme aşamasında, alan yazın taranmış ve öğrencilerin akademik başarılarını değerlendirmede kullanılabilecek ölçme araçları belirlenmiştir. Ayrıca araştırma kapsamında öğrencilere değerlendirme tercihlerinin sorulduğu yarı yapılandırılmış bir görüşme formu kullanılmıştır. Bu görüşme formu, eğitim fakültesinde çeşitli sınıflarda öğrenim görmekte olan 80 öğrenciye uygulanmış ve değerlendirme tercihlerini sırasız olarak yazmaları istenmiştir. Öğrencilerin vermiş oldukları yanıtlar incelenerek ortak olanlar (toplam 16 madde) bir araya getirilmiştir. Daha sonra bu maddeler uzmanların (üç ölçme ve değerlendirme uzmanı) görüşüne sunulmuş ve uzman görüşleri doğrultusunda 13 madde ölçme aracının maddelerini oluşturmuştur.

Araştırmanın Bulguları: Bulgularda öncelikle toplam 13 uyarıcı için 376 yargıcının her bir uyarıcı için vermiş oldukları sıra numaralarına ilişkin frekans tablosu oluşturulmuştur. Satır ve sütunların toplam gözlem sayısı 376 ‘dır. Bu işlemden sonra ikili olarak tüm uyarıcılar arasındaki n(s_jk>s_ki) tabloları hazırlanmış ve tüm uyarıcılar arasında ikili sıra frekanslar matrisi elde edilmiştir. Daha sonra oranlar matrisi hesaplanmıştır. Oranlar matrisinde en önemli nokta köşegenleri toplamının 1’i vermesidir. Buna göre, oranlar matrisindeki köşegenler toplamının 1’e eşit olup olmadığı incelenmiş ve köşegenler toplamının 1’e eşit olduğu tespit edilmiştir. Bu kontrolün ardından, V. Hal denklemi kullanılarak, ikili karşılaştırma yöntemi ile analize devam edilmiştir. Daha sonra birim normal sapmalar matris değerleri hesaplanmıştır. 

Sonuç ve Öneriler: Araştırmadan elde edilen bulgulara göre, öğrenciler en çok sözlü sınavı tercih etmişlerdir. Sözlü sınav her ne kadar, öğrenciyi heyecandan ve sınav ile ilgili gereksiz korkulardan kurtarsa da, puanlanmasındaki öznellik, sınav yapan ile yapılan arasındaki etkileşim ve sınav sorularının her birey için önceden hazırlama gerekliliği gibi sebeplerden dolayı kalabalık gruplarda gerçekleştirilmesi oldukça zor olabilmektedir. (Turgut & Baykul, 2010).

Öğrencilerin değerlendirme türü olarak en çok tercih ettiği ikinci uyarıcı ise “sınırlı süre içerisinde, kitap ve defter açık bir şekilde açık uçlu sorularla değerlendirme” yapılmasıdır. Açık uçlu sorular ölçtüğü özellik açısından üst düzey bilişsel beceriler ölçmek için uygun olsa da, soruların değerlendirilmesi ve puanlanmasındaki bazı sorunlar (puanlamanın objektif olmaması, kapsam geçerliğinin düşük olması gibi) taşımaktadır (Atılgan, Kan & Dogan, 2009). Scouller (1998) tarafından yapılan araştırma sonuçlarına göre, derin öğrenme yaklaşımına sahip öğrencilerin çoğunlukla yazılı (açık uçlu) yoklama soru türündeki sınavlarda daha başarılı oldukları belirtilmiştir.

Araştırma sonuçlarına göre, öğrencilerinin tercih ettiği üçüncü değerlendirme türü ise “Bireysel makale ödevi verilerek” yapılan değerlendirmedir. Bireysel öğrenme ve verilen ödevi istekli olarak yerine getirme davranışı, çoğunlukla derin öğrenme yaklaşımını benimseyen öğrencilerin genel özelliklerinden biridir (Minbashian, Huon & Bird, 2004; Prosser & Trigwell, 1999; Ramsden, 1991). Bu bağlamda, araştırma grubunda yer alan ve derin öğrenme özelliğine sahip öğrenciler, bireysel makale ödevini değerlendirme türü olarak tercih etmiş olabilirler.

Öğrencilerin en az tercih etttikleri değerlendirme türü çoktan seçmeli madde türüdür. Öğrencilerin ilkokul seviyesinden üniversite düzeyine kadar girmiş olduğu geniş ölçekli sınavların neredeyse tümünün çoktan seçmeli sınav olmasına rağmen, değerlendirme türü olarak en az tercih etmeleri, araştırmadan elde edilen önemli sonuçlardan biridir. Öğrencilerin en sondan ikinci olarak tercih ettikleri değerlendirme türü bireysel ev ödevidir. Öğrencilerin en sondan üçüncü sıraya yerleştirdikleri değerlendirme türü ise farklı soru türlerinin (çoktan seçmeli, kısa yanıtlı, doğru-yanlış, eşleştirme) aynı anda kullanılmasıyla gerçekleştirilen değerlendirmedir.

Bu araştırmanın sonuçlarına dayalı olarak yapılabilecek önerilerden biri, öğrencilerin birçoğunun belirtmiş olduğu gibi değerlendirme aşamasında tek tür soru formatı kullanılmasıdır. Araştırma bulgularında öğrencilerin, aynı anda birçok soru formatının kullanılmasını pek tercih etmedikleri belirlenmiştir. Bu nedenle,  farklı soru formatları kullanıldığı durumlarda, bu soru formatları ile ilgili yönerge veya açıklamalara yer verilmesi, bu konudaki korku ve isteksizliği azaltacağı düşünülmektedir. Bu araştırma sadece eğitim fakültesinde öğrenim görmekte olan üniversite öğrencileri ile yürütülmüştür. Farklı fakülte veya yüksekokullarda öğrenim görmekte olan üniversite öğrencileri ile böyle bir çalışma yapılması alan yazına katkı sağlayabilir.

Keywords

• sıralama yargılarına dayalı ölçekleme,Değerlendirme tercihleri

References

1. Altun, A. & Gelbal, S. (2014). Öğretmenlerinin kullandıkları ölçme ve değerlendirme yöntem veya araçlarının ikili karşılaştırma yöntemiyle belirlenmesi [Determining teachers’ measurement tools or techniques via pair-wise comparison method]. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(1), 1-11.
2. Anil, D. & Guler, N. (2006). İkili karşılaştırma yöntemi ile ölçekleme çalışmasına bir örnek [An example of the scaling study by pair-wise comparison method]. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 30, 30-36.
3. Anil, D. & Inal, H. (2017). Psikofizikte ölçekleme uygulamaları. Ankara: PegemAkademi.
4. Atilgan, H., Kan, A. & Dogan, N. (2007). Eğitimde ölçme ve değerlendirme. Ankara: Anı Yayıncılık.
5. Biggs, J. (2003). Teaching for quality learning at university (2nd edition). United Kingdom: The Society for Research into Higher Education and Open University Pres.
6. Birenbaum, M. (1994). Toward adaptive evaluation - the student's angle. Studies in Educational Evaluation, 20, 239-255.
7. Birenbaum, M. (1997). Evaluation preferences and their relationship to learning strategies and orientations. Higher Education, 33, 71-84.
8. Birenbaum, M. (2003). New insights into learning and teaching and their implications for evaluation. Segers, M., Dochy, F. ve Cascallar, E. (eds.). Optimizing New Methods of Evaluation: In Search of Qualities and Standards (13-36). Dordrecht, The Netherlands: Kluwer.

9. Birgin, O., & Gürbüz, R. (2008). Sınıf öğretmeni adaylarının ölçme ve değerlendirme konusundaki bilgi düzeylerinin incelenmesi [Investigation of pre-service primary teachers’ knowledge level about measurement and evaluation]. Selçuk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 20, 163-179.
10. Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. Harcourt Brace Jovanovich College Publishers: Philadelphia.
11. Cross, K. P. (1981). Adults as learners. San Francisco: Jossey-Bass.
12. Ekinci, N. (2008). Üniversite öğrencilerinin öğrenme yaklaşımlarının belirlenmesi ve öğretme öğrenme süreci değişkenleri ile ilişkisi. (Yayımlanmamış Doktora Tezi). Hacettepe Üniversitesi, Ankara.
13. Gelbal, S. & Kellecioglu, H. (2007). Öğretmenlerin ölçme ve değerlendirme yöntemleri hakkındaki yeterlik algıları ve karşılaştıkları sorunlar. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 33, 135-145 .
14. Gijbels, D. & Dochy, F. (2006). Students’ evaluation preferences and approaches to learning: can formative evaluation make a difference?. Educational Studies, 32(4), 399-409.
15. Guilford, J. P. (1954). Psychometrics methods. New York: Mc Graw-Hill Book Co.
16. Gulbahar, Y. & Buyukozturk, Ş. (2008). Değerlendirme tercihleri ölçeğinin Türkçeye uyarlaması [Adaptation of evaluation preferences inventory to Turkish]. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 35, 148-161.
17. Incecam, B., Demir, E. & Demir, E. (2018). Ortaokul öğretmenlerinin sınıf içi ölçme ve değerlendirmelerde yazılı yoklamalarda kullandıkları açık uçlu maddeleri hazırlama yeterlikleri [Competencies of middle school teachers to prepare open-ended items used in open-ended test for in-classroom evaluation]. Elementary Education Online, 17(4): 1912-1927
18. Isnac, F. (2018). Ortaöğretim öğrencilerinin öğrenme yaklaşımlarına göre değerlendirme tercihlerinin ölçeklenmesi [Scaling evaluation preferences of secondary school students according to learning approaches]. Master Thesis, Ankara University, Educational Sciences Institute, Ankara.
19. Kan, A. (2008). Psikolojik değişkenleri ölçmek için kullanılan ölçekleme yaklaşımları üzerine bir karşılaştırma [A comparison between scaling procedures for measurıing psychological variables]. Eğitimde Kuram ve Uygulama, 4(1), 2-18.
20. Karasar, N. (2014). Bilimsel araştırma yöntemi. Ankara: Nobel Yayın Dağıtım.
21. Kutlu, O., Dogan, C. D. & Karakaya, I. (2008). Öğrenci başarısının belirlenmesi performansa ve portfolyoya dayalı durum belirleme. Ankara: Pegem Akademi yayıncılık.
22. Mayya, S., Rao, A.K. & Ramnarayan, K. (2004). Learning approaches, learning difficulties and academic performance of undergraduate students ofphysiotherapy. The Internet Journal of Allied Health Sciences and Practice, 2(4), 1-6.
23. McManus, I.C., Richards, P. & Winder, B.C. (1999). Intercalated degrees, learning styles, and career preferences: Prospective longitudinal study of UK medical students. British Medical Journal International edition, 319, 542-546.
24. Minbashian, A., Huon, G. F. & Bird, K. D. (2004). Approaches to studying and academic performance in short-essay exams. Higher Education, 47,161-176.
25. Ozcelik, D. A. (2011). Ölçme ve değerlendirme. Ankara: Pegem Akademi
26. Ozkan Ozer, Y. & Guvendir Acar, M. (2013). Öğrencilerin ölçme ve değerlendirme dersinin sunulmasında tercih ettikleri öğretim yöntemleri [Students’ teaching methods preferences for measurement and evaluation course]. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 4(1), 1-14.
27. Prosser, M. & Trigwell, K. (1999). Relational perspectives on higher education teaching and learning in the science. Studies in Secience Education, 33(1), 31-60.
28. Ramsden, P. (1991). A performance indicator of teaching quality in higher education: The Course Experience Questionnaire, Studies in Higher Education, 16:2, 129-150.
29. Sambell, K., McDowell, L. & Brown, S. (1997). ‘But is it fair?’: An exploratory study of student perceptions of the consequential validity of evaluation. Studies in Educational Evaluation, 23(4), 349-371.
30. Scouller, K. (2000). The influence of evaluation method on student learning. Australian Association for Research in Education, 35(4), 453-472.
31. Scouller, K. (1998). The influence of evaluation method on students’ learningapproaches: Multiple choice question examination versus assignment essay. Higher Education, 35, 453–472.
32. Sezer, Y. & Bilgin, H. (2009). Sözlü sınavların yargısal denetimi [Judicial review of oral exams]. TBB Dergisi, 86, 168-187.
33. Struyven, K., Dochy, F. & Janssens, S. (2005). Students’ perceptions about evaluation and evaluation in higher education: A review. Evaluation & Evaluation in Higher Education, 30(4), 325-341.
34. Sahin, M. G., Ozturk Boztunc N. & Teker Tasdelen, G.(2015). Öğretmen adaylarının başarılarının değerlendirilmesinde tercih ettikleri ölçme araçlarının belirlenmesi [Determining the pre-service teachers’ measurement tool preferences for evaluation of their achievement]. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 6 (1), 95-106.
35. Tekin, H. (2004). Eğitimde ölçme ve değerlendirme. Ankara: Yargı yayın evi.
36. Tezbasaran A. (2004). Likert tipi ölçeklere madde seçmede geleneksel madde analizi tekniklerinin karşılaştırılması. Türk Psikoloji Dergisi, 19 (54), 77-90.
37. Thurstone, L. L. (1927). A law of comparative judgement. Psychological Rewiev, 34, 273-286.
38. Torgerson, W. S. (1958). Theory and methods of scaling. New York: John Wiley & Son.
39. Turgut, M. F. & Baykul, Y. (2010). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi
40. Turgut, F., M., & Baykul, Y. (1992). Ölçekleme teknikleri. Ankara: ÖSYM Yayınları