Açıköğretim sistemindeki açık uçlu soruların Çok Yüzeyli Rasch Modeli analizi yöntemiyle puanlanması

Yıl 2018, Cilt: 4 Sayı: 1, 61 - 77, 31.01.2018

Kübra Karakaya Özyer

Öz

Açık uçlu soruların oluşturduğu sınavların puanlanmasında, bir puanlayıcıdan beklenen soruların zorluk derecesinden ve değerlendirme yöntemlerinden bağımsız olarak değerlendirme aşamasını nesnel ve adil olarak gerçekleştirmesidir. 2016-2017 eğitim öğretim yılı itibariyle Açıköğretim Fakültesindeki bazı sınavlarda açık uçlu sorular kullanılmaya başlanmış ve bu denli nesnel yargılamaya açık sınavların değerlendirilmesinde yeni yöntemler arayışı içine girilmiştir. Mevcut yöntemlerden en etkililerinden biri de farklı yüzeyleri analize dâhil edebilen Çok Yüzeyli Rasch Modelidir. Bu çalışmada Rasch modelinin geliştirilmiş formu olan çok yüzeyli Rasch analizinin açık uçlu soruların değerlendirilmesi açısından açıköğretim sistemine sağlayacağı katkı açıklanmaktadır.

Anahtar Kelimeler

Açık uçlu sorular, Çok yüzeyli Rasch modeli, Madde tepki kuramı

Kaynakça

• Atılgan, H., Kan, A., & Doğan, N. (2009). Eğitimde ölçme ve değerlendirme. Anı Yayıncılık. Bahrouni, F. (2016). usıng multı-facet rasch model (mfrm) ın rater-mediated assessment. Journal of Teaching English for Specific and Academic Purposes, 4(1), 1, 95-212. Behizadeh, N., & Engelhard, G. (2014). Development and validation of a scale to measure perceived authenticity in writing. Assessing Writing, 21, 18-36. Baştürk, R. (2010). Bilimsel araştırma ödevlerinin çok yüzeyli Rasch ölçme modeli ile değerlendirilmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1(1). Chapman, J. E., McCart, M. R., Letourneau, E. J., & Sheidow, A. J. (2013). Comparison of youth, caregiver, therapist, trained, and treatment expert raters of therapist adherence to a substance abuse treatment protocol. Journal of Consulting and Clinical Psychology, 81(4), 674. Çetin, B., & İlhan, M. (2017). An analysis of rater severity and leniency in open-ended mathematic questions rated through standard rubrics and rubrics based on the SOLO taxonomy. Eğitim ve Bilim, 42(189). Eckes, T. (2005). Examining rater effects in TestDaF writing and speaking performance assessments: A many-facet Rasch analysis. Language Assessment Quarterly: An International Journal, 2(3), 197-221. Eckes, T. (2009). Many-facet Rasch measurement. Reference sup AUAd 2018, Cilt 4, Sayı 1, 61-77 Karakaya Özyer 75 Güler, N. (2014). Analysis of Open-Ended Statistics Questions with Many Facet Rasch Model. Eurasian Journal of Educational Research, 55, 73-90. İlhan, M. (2015). Standart ve SOLO taksonomisine dayalı rubrikler ile puanlanan açık uçlu matematik sorularında puanlayıcı etkilerinin çok yüzeyli Rasch modeli ile incelenmesi Doctoral dissertation, Doctoral dissertation, Gaziantep University, Gaziantep, Turkey. Retrieved from https://tez. yok. gov. tr/UlusalTezMerkezi. Kondo-Brown, K. (2002). A FACETS analysis of rater bias in measuring Japanese second language writing performance. Language Testing, 19(1), 3-31. Linacre, J. M. (1989). Multi-faceted Rasch measurement. Linacre, J. M. (2003). Size vs. significance: Standardized chi-square fit statistic. Rasch Measurement Transactions, 17(1), 918. Linacre, J. M. (2004). Rasch model estimation: Further topics. Journal of Applied Measurement, 5(1), 95-110. Linacre, J. M., & Wright, B. D. (1994). Chi-square fit statistics. Rasch Measurement Transactions, 8(2), 350. Lunz, M. E., Wright, B. D., & Linacre, J. M. (1990). Measuring the impact of judge severity on examination scores. Applied Measurement in Education, 3(4), 331-345. Mulqueen, C., Baker, D. P., & Dismukes, R. K. (2002). Pilot instructor rater training: The utility of the multifacet item response theory model. The International Journal of Aviation Psychology, 12(3), 287-303. Myford, C. M., & Wolfe, E. W. (2003). Detecting and measuring rater effects using many facet Rasch measurement: Part I. Journal of Applied Measurement, 4(4), 386-422. Reynolds, C. R., Livingston, R. B., & Willson, V. (2009). Measurement and assessment in education. Columbus, OH: Merrill. Schumacker, R. E. (1996). Many-Facet Rasch Model Selection Criteria: Examining Residuals and More. Swanlund, A. P. (2016). Correcting for Rater Bias in the Presence of Non-Ignorable Missing Ratings (Doctoral dissertation). Tan, Ş., & Erdoğan, A. (2005). Öğretimi planlama ve değerlendirme: Öğretim yönetim ve teknikleri ölçme ve değerlendirme KPSS el kitabı. Pagem yayınları. Turgut, M. F., & Baykul, Y. (2015). Eğitimde ölçme ve değerlendirme (Yedinci Baskı). Pegem A yayıncılık, Ankara. AUAd 2018, Cilt 4, Sayı 1, 61-77 Karakaya Özyer 76 Wolfe, E. W., & Chiu, C. W. (1997). Detecting Rater Effects with a Multi-Faceted Rating Scale Model. Yan, X. (2014). An examination of rater performance on a local oral English proficiency test: A mixed-methods approach. Language Testing, 31(4), 501-527.