-

Abstract

This study was conducted to analyze the instructors’ perceptions of the writing exam grading criteria used in the Faculty Academic English within the context of Freshman English courses at a private university in Turkey. Fiftyfive instructors were involved in the study. The data were collected via quantitative and qualitative data collection instruments. Close-response items provided quantitative data and the qualitative data were derived from open-response items. The results indicate that the instructors believe the criteria help to establish standard grading across the program. However, they still have some doubts about the way the criteria are applied across the program while assessing students’ writing. It is noteworthy that the instructors in this study had different perspectives and approaches while using the criteria in their own settings. Therefore, the results of this study highlight a crucial need for training the raters on how to apply any grading criteria to ensure objectivity in student assessment.

Keywords

• Academic writing, assessment criteria, English, instructors, perceptions

A Case Study on Instructors' Perceptions of Writing Exam Grading Criteria

Abstract

Bu çalışma, Türkiye’de özel bir üniversitede öğretim elemanlarının, İngilizce akademik yazma dersi için kullanılan yazma sınavı değerlendirme ölçütleri hakkındaki görüşlerini ortaya çıkarmayı amaçlamıştır. Araştırmaya 55 öğretim elemanı katılmıştır. Veriler kapalı ve açık uçlu soruların bulunduğu bir anket ile gönüllü öğretim elemanları ile yapılan mülakatlardan elde edilmiştir. Anketteki kapalı uçlu sorulardan nicel veriler, anketteki açık uçlu sorular ile yapılan mülakatlardan ise nitel veriler sağlanmıştır. Sonuçlar, öğretim elemanlarının genel olarak var olan ölçütlerin Akademik İngilizce Programı içinde standart bir değerlendirmeyi sağladığını düşündüklerini göstermektedir. Ancak, ölçmede kullanılan kategorilerin eşit olarak puanlandırılmaması ve ölçütlerin bütün öğretim görevlileri tarafından aynı şekilde kullanılmadığı yönünde kaygılar mevcuttur. Öğretim elemanlarının ölçütleri kullanırken farklı bakış açıları ile hareket ettikleri görülmüştür. Elde edilen bulgulara dayanılarak değerlendirme ölçütlerinin güvenirliğini artırmaya yönelik değerlendiricilerin eğitilmesi gibi çeşitli önerilerde bulunulmuştur.

Keywords

• Akademik yazım, değerlendirme ölçütleri, İngilizce, öğretim görevlileri, görüşler

References

1. Akbıyık, C., Karadüz, A., & Seferoğlu, S. S. (2013). Öğrencilerin internet ortamında kullandıkları yazılı sohbet dili üzerine bir araştırma. bilig, 64, 1-22.
2. Alderson, J. C., Clapman, C., & Wall, D. (1995). Language test construction and evaluation. Cambridge: CUP.
3. Bachman, L. F., & Palmer, A. S. (1996). Language testing in practice. Oxford: Oxford University Press.
4. Bailey, K. D. (1994). Methods of social research. New York: The Free Press.
5. Bektas, E., & Sahin, A. E. (2007). İlköğretim beşinci sınıf öğretmenlerinin soru-yanıt tekniğini kullanım davranışlarının analizi. Egitim Araştirmalari-Eurasian Journal of Educational Research, 28, 19-29.
6. Brown, J. D. (1996). Testing in language programs. Upper Saddle River: NJ: Prentice Hall Regents.
7. Brown, J. D., &Rodgers, S. T. (2002). Doing second language research. Oxford: Oxford University Press.
8. Cohen, L., Manion, L., & Morrison, K. (2000). Research methods in education. New York: Routledge Press.

9. Coombe, C., Folse, K., & Hubley, N. (2007). A Practical Guide To Assessing English Language Learner.USA:The University of Michigan Press.
10. Coombe, C., Davidson, P., O’Sullivan, B., & Stoynoff, S. (2012). The Cambridge Guide to Second Language Assessment. USA: Cambridge University Press.
11. Fraenkel, J. R., & Wallen, N. E. (2000). How to design and evaluate research in education. New York: McGrawHill.
12. Gottlieb, M. (2012). An overview of language standards for elementary and secondary education, In C. Coombe, P. Davidson, B. O’sullivan, S. Stoynoff (Eds.), The Cambridge Guide to Second Language Assessment (pp. 74-82). New York, Cambridge University Press.
13. Huang, J. (2012). Using generalizability theory to examine the accuracy and validity of large-scale ESL writing assessment. Assessing Writing, 17, 123-139.
14. Klimova, F. B. (2011). Evaluating writing in English as a second language. Procedia-Social and Behavioral Sciences, 28, 390-39
15. Knoch, U. (2011). Rating Scales for diagnostic assessment of writing: What should they look like and where should the criteria come from? Assessing Writing, 16, 81-96.
16. Lumley, T. (2002). Assessment criteria in a large-scale writing test: what do they really mean to the raters? Language Testing, 19(3), 246-276.
17. Lumley, T. (2006). Assessing Second Language Writing. The Rater’s Perspective. Frankfurt: Peter Lang.
18. Miles, M. B., & Huberman, A. M. (1994). Qualitative data analysis. Sage: Thousand Oaks.
19. Oppenhaim, A.N. (1992). Questionnaire design, interviewing and attitude measurement. New York: Pinter Publishers.
20. Park, T. (2004). Scoring procedures for assessing writing. Retrieved December, 2004, from http://www.tc.columbia.edu/academic/tesol/webjournal/park_Forum.pdf
21. Patton, M. Q. (1990). Qualitative evaluation and research methods. UK: SAGE Publications Ltd.
22. Perkins, K. (1983). On the use of composition scoring techniques, objective measures, and objective tests to evaluate ESL writing ability. TESOL Quarterly, 17, 651-666.
23. Sahin, A. E. (2007). İlköğretim bölümü mezunlarının başarılarının mezun oldukları lise türlerine göre karşılaştırılması. Egitim Araştirmalari-Eurasian Journal of Educational Research, 29, 113-128.
24. Seferoğlu, S. S. (2007). Information technologies in teacher education: Teacher candidates’ perceived computer self-efficacy. Proceedings of the 6th WSEAS International Conference on e-Activities, pp. 374-378. Puerto De La Cruz, Tenerife, Spain.
25. Seferoğlu, S. S. (2010). Killing two birds with one stone: Establishing professional communication among teachers. Procedia - Social and Behavioral Sciences, 9, 547-554.
26. Weigle, S. C. (2002). Assessing writing. Cambridge: CUP.
27. Wharton, S. (2003). Defining a appropriate criteria for the assessment of master’s level TESOL assignment. Assessment and Evaluation in Higher Education, 28,649-663.
28. White, E. M. (1994). Teaching and assessing writing. San Fransisco: Jossey-Bass Publishers.
29. William, D. J. (1996). Assessing writing. Preparing to teaching writing. Belmond: Lawrence Erlbaum Associates.