Yazılı Üretimlerin Analitik Değerlendirilmesi: Ölçüt Ayrımının Çok Yüzeyli Rasch Analiziyle İncelenmesi

Year 2024, Issue: 14, 993 - 1007, 29.02.2024

Ayfer Sayın

https://doi.org/10.51531/korkutataturkiyat.1403091

Abstract

Bu araştırmada ortaöğretim öğrencilerinin yazılı üretimlerinin analitik bir şekilde değerlendirilmesinin çok yönlü bir şekilde incelenmesi amaçlanmıştır. Nicel araştırma yöntemlerinden tarama araştırması deseninde yürütülen çalışmaya 225 ortaöğretim 9. sınıf öğrencisi katılmıştır. Öğrencilere bir yazma görevi verilmiş ve öğrencilerin oluşturduğu yazılı üretimler iki farklı puanlayıcı tarafından puanlanmıştır. Puanlama işlemi üç aşamada gerçekleştirilmiştir: Birinci aşamada dört puanlayıcı, rastgele seçilen 10 üretimi puanlamış, ardından odak grup görüşmesi sonucunda puanlama anahtarı üzerinde gerekli değişiklikler yapılmıştır. İkinci aşamada puanlayıcılar yeniden farklı 10 yazılı üretimi puanlamış ve odak grup görüşmesi sonucunda puanlama anahtarına son şekli verilmiştir. Puanlayıcılar arası fark çok düşük olduğu için üçüncü aşamada seçilen iki puanlayıcı 225 öğrenci tarafından ortaya konulan yazılı üretimleri, analitik dereceli puanlama anahtarı ile puanlamıştır. Analitik dereceli puanlama anahtarında yönergeye uygunluk, içerik (fikirler), anlatım (metin organizasyonu) ve yazım-noktalama olmak üzere dört ölçüt yer almıştır. Araştırma kapsamında tüm değişkenlerin aynı anda analiz edilerek değerlendirilebilmesi amacıyla “yazılı üretimler (225) x puanlayıcılar (2) x ölçütler (4)” olmak üzere üç yüzeyli çaprazlanmış desen oluşturulmuş ve çok yüzeyli Rasch analizi yapılmıştır. Analiz sonrasında öğrenci puanlarının anlamlı bir şekilde ayrıştığı; yazılı üretimleri düşük, orta ve yüksek olarak değerlendirilen öğrenciler olduğu belirlenmiştir. Analiz sonrasında aynı puanlama anahtarını kullanmasına karşın puanlayıcılar arasında anlamlı bir farklılık olduğu belirlenmiş, birinci puanlayıcının daha cimri/katı puanlama yaptığı tespit edilmiştir. Araştırma sonucunda ayrıca puanlama anahtarındaki ölçütlerden içerik ve anlatım ölçütlerinin aynı logit düzeyinde yer aldığı, başka bir anlatımla puanlayıcılar tarafından ayrıştırılamadığı belirlenmiştir. Araştırmadan elde edilen bulgular doğrultusunda içerik ve anlatım ölçülerinin neden ayrıştırılamadığı tartışılarak bu konuda önerilere yer verilmiştir.

Keywords

Türkçe eğitimi, analitik dereceli puanlama anahtarı, yazma becerisi, puanlayıcı güvenirliği, çok yüzeyli Rasch analizi

Analytical Evaluation of Essays: Examining Criterion Discrimination Using Multi-Facet Rasch Analysis

Abstract

This study aimed to examine the analytical evaluation of essays by high school students in a multidimensional manner. A total of 225 high school students participated in the study. The current research employed a survey design, which is quantitative research. The students were assigned a writing task, and two raters assessed their essays. The scoring process took place in three stages: In the first stage, the raters scored ten randomly selected essays. Subsequently, necessary revisions were made to the rubric based on the outcomes of the focus group interview. In the second stage, the raters scored ten different essays again, and the rubric was finalized following the focus group interview. In the third stage, both raters evaluated the essays of 225 students using the analytic rubric. The rubric included four criteria: instructions, content (ideas), expression (text organization), and spelling-punctuation. To analyze and evaluate all variables simultaneously, a three-facet crossed design was created as “essays (225) x raters (2) x criteria (4),” and a multi-faceted Rasch analysis was conducted. After the examination, it was determined that student scores differed significantly, with some students having low, medium, and high-rated essays. Additionally, a noteworthy difference between the raters’ scores despite using the same rubric. The first rater was identified as being more stingy/strict in scoring. As a result of the study, it was also noted that the content and expression criteria were at the same logit scale, indicating that the raters could not differentiate them. Based on the findings from the research, the reasons behind the inability to distinguish between content and expression criteria were discussed, and suggestions were provided.

Keywords

Turkish education, analytical rubric, essays, rater reliability, writing skill, many-facet Rasch analysis

References

• Anadol, H. Ö., ve Doğan, C. D. (2018). Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi. Elementary Education Online, 17(2), 1066-1076.
• Anıl, D., ve Şahhüseyinoğlu, D. (2008). Performansa Dayalı Değerlendirmede Puanlama Tutarlılığı: Holistik ve Analitik Analitik Puanlama Anahtarının Karşılaştırılması. 1. Ulusal Eğitimde ve Psikolojide Ölçme ve Değerlendirme Kongresi, 15-20 Mayıs 2008, Ankara.
• Arter, J., ve McTighe, J. (2001). Scoring Rubrics in the Classroom: Using Performance Criteria for Assessing and Improving Student Performance. Corwin Press.
• Aslanoglu, A. E. (2022). Akran ve Öz Değerlendirme Uygulamalarının Yazma Becerilerine Etkisinin İncelenmesi. International Journal of Assessment Tools in Education, 9, 179–196.
• Attali, Y. (2007). Construct Validity of E‐rater® in Scoring TOEFL® Essays. ETS Research Report Series, 2007(1), 1-22.
• Beaglehole, V. (2014). Assessing Writing Using Rubrics. Practically Primary, 19(2), 13-15.
• Beyreli, L., ve Arı, G. (2009). The Use of Analytic Rubric in the Assessment of Writing Performance--Inter-Rater Concordance Study. Educational Sciences: Theory and Practice, 9(1), 105-125.
• Bojer, C. S., ve Meldgaard, J. P. (2021). Kaggle Forecasting Competitions: An Overlooked Learning Opportunity. International Journal of Forecasting, 37(2), 587-603.
• Carr, N. T. (2000). A Comparison of the Effects of Analytic and Holistic Rating Scale Types in the Context of Composition Tests. Issues in Applied Linguistics, 11(2), 207-241.
• Çetin, B., ve Kelecioğlu, H. (2004). Kompozisyon Tipi Sınavlarda Kompozisyonun Biçimsel Özelliklerinden, Kestirilen Puanların Anahtar Puanlarla ve Genel Izlenimle Elde Edilen Puanlarla Ilişkisi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 26(26), 308-320.
• Çetin, Y. (2011). Reliability of Raters for Writing Assessment: Analytic-Holistic, Analytic-Analytic, Holistic–Holistic. Mustafa Kemal Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 8(16), 471-486.
• Creswell, J. W., ve Poth, C. N. (2016). Qualitative Inquiry and Research Design: Choosing Among Five Approaches. Sage Publications.
• DeMars, C. E. (2021). Violation of Conditional Independence in the Many-Facets Rasch Model. Applied Measurement in Education, 34(2), 122-138.
• Demir, B. P. (2020). Akademik Yazı Yazma Becerilerinin Değerlendirilmesi için Analitik Analitik Puanlama Anahtarının Geliştirilmesi. Amasya Üniversitesi Eğitim Fakültesi Dergisi, 9(2), 318-327.
• Demir Bilican, S., ve Yıldırım, Ö. (2019). Yazılı Anlatım Becerilerinin Değerlendirilmesi için Analitik Puanlama Anahtarı Geliştirme Çalışması. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 47, 457-473.
• Durmuş, A. O. (2022). Dereceli Puanlama Anahtarına Dayalı Geribildirimin Türkçenin Yabancı Dil Olarak Öğretiminde Yazma Becerisinin Geliştirilmesine Etkisi. Doktora Tezi. Ankara: Ankara Üniversitesi.
• Eckes, T. (2008). Rater Types in Writing Performance Assessments: A Classification Approach to Rater Variability. Language Testing, 25(2), 155-185.
• Eckes, T. (2009). Many-facet Rasch measurement. Routledge: New York, USA.
• Engelhard, G., Jr. (1994). Examining Rater Errors in the Assessment of Written Composition with a Many-Faceted Rasch Model. Journal of Educational Measurement, 31, 93-112.
• Espin, C. A., Weissenburger, J. W., ve Benson, B. J. (2017). Assessing the Writing Performance of Students in Special Education. Routledge.
• Ghalib, T. K., ve Al-Hattami, A. A. (2015). Holistic Versus Analytic Evaluation of EFL Writing: A Case Study. English Language Teaching, 8(7), 225-236.
• Göçer, A. (2005). İlköğretim İkinci Kademe Türkçe Öğretiminde Ölçme ve Değerlendirme. Doktora Tezi. Erzurum: Atatürk Üniversitesi.
• Göçer, A. (2010). Türkçe Öğretiminde Yazma Eğitimi. Uluslararası Sosyal Araştırmalar Dergisi, 3(12), 178-195. Hamzadayı, E., ve Dölek, O. (2022). Bilgilendirici Metin Yazma Başarımını Değerlendirmeye Yönelik Bir Ölçek Önerisi. Gaziantep Üniversitesi Eğitim Bilimleri Dergisi, 6(1), 115-130.
• Iglovikov, V., Mushinskiy, S., ve Osin, V. (2017). Satellite Imagery Feature Detection Using Deep Convolutional Neural Network: A Kaggle Competition. arXiv preprint arXiv:1706.06169.
• Johnson, R. L., Penny, J., ve Gordon, B. (2000). The Relation Between Score Resolution Methods and Interrater Reliability: An Empirical Study of an Analytic Scoring Rubric. Applied Measurement in Education, 13(2), 121-138.
• Johnson, R. L., Penny, J., ve Gordon, B. (2001). Score Resolution and the Interrater Reliability of Holistic Scores in Rating Essays. Written Communication, 18(2), 229-249.
• Johnson, A., ve Svingby, G. (2007). The Use of Scoring Rubrics: Reliability, Validity and Educational Consequences. Educational Research Review, 2(2), 130-144.
• Jones, D. M., Cheng, L., ve Tweedie, M. G. (2022). Automated Scoring of Speaking and Writing: Starting to Hit Its Stride. Canadian Journal of Learning and Technology, 48(3), 1-22.
• Kellogg, R. T., ve Raulerson, B. A. (2007). Improving the Writing Skills of College Students. Psychonomic Bulletin and Review, 14, 237-242.
• Lipnevich, A. A., ve Smith, J. K. (2008). Response to Assessment Feedback: The Effects of Grades, Praise, and Source of Information. ETS Research Report Series, 2008(1), i-57.
• Lumley, T. (2005). Assessing second language writing: The rater’s perspective (Vol. 3). P. Lang.
• Lumley, T. ve McNamara, T.F. (1995). Rater Characteristics and Rater Bias: Implications for Training. Language Testing, 12, 54-71.
• Myford, C. M., ve Wolfe, E. W. (2004). Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement: Part II. Journal of Applied Measurement, 5(2), 189-227.
• Özbay, M. (2015). Yazma Eğitimi. Ankara: Pegem Akademi Yayıncılık.
• Özdemir, B. (2014). Analitik Yazma ve Değerlendirme Modelinin Türkçe Öğretmeni Adaylarının Yazma Becerilerine ve Yazma Tutumlarına Etkisi. Doktora Tezi. Anakara: Gazi Üniversitesi Eğitim Bilimleri Enstitüsü.
• Özkara, Y. (2007). 6+ 1 Analitik Yazma ve Değerlendirme Modelinin 5. Sınıf Öğrencilerinin Hikâye Edici Metin Yazma Becerilerini Geliştirmeye Etkisi. Doktora Tezi. Ankara: Gazi Üniversitesi.
• Parlak, B., ve Doğan, N. (2014). Analitik Puanlama Anahtarı ve Puanlama Anahtarından Elde Edilen Puanların Uyum Düzeyleri. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 29(29-2), 189-197.
• Popham, W. J. (1997). What’s Wrong--and What’s Right--with Rubrics. Educational leadership, 55(2), 72-75. Putri, E. S., ve Melani, M. (2022). Holistic vs. Analytic Evaluation in Writing Test of Eighth Grade Students. Journal of English Language Studies, 7(2), 157-175.
• Sayın, A., & Mehmet, Ş. (2022). Using Rasch Analysis to Examine Raters’ Expertise Turkish Teacher Candidates’ Competency Levels in Writing Different Types of Test Items. International Journal of Assessment Tools in Education, 9(4), 998-1012.
• Saxton, E., Belanger, S., ve Becker, W. (2012). The Critical Thinking Analytic Rubric (CTAR): Investigating Intra-Rater and Inter-Rater Reliability of a Scoring Mechanism for Critical Thinking Performance Assessments. Assessing Writing, 17(4), 251-270.
• Silvestri, L., ve Oescher, J. (2006). Using Rubrics to Increase the Reliability of Assessment in Health Classes. International Electronic Journal of Health Education, 9, 25-30.
• Spandel, V. (2005). Creating Writers Through 6-Trait Writing Assessment and Instruction Boston. MA: Pearson. Tabachnick, B. G., Fidell, L. S., & Ullman, J. B. (2013). Using Multivariate Statistics (Vol. 6, pp. 497-516). Boston, MA: Pearson.
• Tangpermpoon, T. (2008). Integrated Approaches to Improve Students Writing Skills for English Major Students. ABAC Journal, 28(2), 1-9.
• Taşkın, Y., Yorgancı, O. K., ve Harmankaya, M. Ö. (2023). Ortaokul Öğrencileri için Bilgilendirici Metin Analitik Puanlama Anahtarı Geliştirme Çalışması. Turkish Studies-Language and Literature, 18(3), 1971-1989.
• Temizkan, M., ve Yıldırım, Ö. (2023). Yazma Eğitimine Yönelik Lisansüstü Çalışmalarda Kullanılan Ölçme Araçları Üzerine Bir İnceleme. Ana Dili Egitim Dergisi, 11(2), 283-306.
• Tolkachev, A., Sirazitdinov, I., Kholiavchenko, M., Mustafaev, T., ve Ibragimov, B. (2020). Deep Learning for Diagnosis and Segmentation of Pneumothorax: The Results on the Kaggle Competition and Validation Against Radiologists. IEEE Journal of Biomedical and Health Informatics, 25(5), 1660-1672.
• Tomas, C., Whitt, E., Lavelle-Hill, R., ve Severn, K. (2019). Modeling Holistic Marks with Analytic Rubrics. Frontiers in Education, 4, 1-19.
• Ungan, S. (2007). Yazma Becerisinin Geliştirilmesi ve Önemi. Erciyes Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 23(2), 461-472.
• Uyar, Y. (2016). Yazma Becerisini Geliştirmeye Yönelik Araştirmalar: Son Çeyrek Asrın Değerlendirilmesi. Electronic Turkish Studies, 11(3), 2273-2294.
• Walker, B., Shippen, M. E., Alberto, P., Houchins, D. E., ve Cihak, D. F. (2005). Using the Expressive Writing Program to Improve the Writing Skills of High School Students with Learning Disabilities. Learning Disabilities Research ve Practice, 20(3), 175-183.
• Walker, R., ve Ríu, C. P. (2008). Coherence in the Assessment of Writing Skills. ELT Journal, 62(1), 18-28.
• Yoleri, S., ve Tanış, H. M. (2014). İlkokul Birinci Sınıf Öğrencilerinin Okula Uyum Düzeylerini Etkileyen Değişkenlerin İncelenmesi. Karabük Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 4(2), 130-141.
• Zorbaz, K. Z. (2013). Yazılı Anlatımın Puanlanması. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 13(1), 178-192.