İngilizce Konuşma Sınavından Elde Edilen Verilerin Güvenirliğinin Genellenebilirlik Kuramı İle Belirlenmesi

Öz

Yapılan bu araştırmanın amacı, bir İngilizce konuşma sınavının güvenilirliğini Genellenebilirlik kuramı (G Kuramı) ile hesaplamak ve olası hata kaynaklarının neler olabileceğini belirlemektir. Çalışmanın evrenini Trakya Üniversitesi İngiliz Dili Eğitimi birinci sınıfta öğrenim görmekte olan 50 öğrenci oluşturmaktadır. Çalışmada yer alan 50 öğrencinin konuşma becerileri beş kriter doğrultusunda iki puanlayıcı tarafından değerlendirilmiştir. Araştırmada, Trakya Üniversitesi Eğitim Fakültesi, İngiliz Eğitimi Anabilim Dalı 2015-2016 akademik yılına ait İngilizce konuşma becerileri dönem sonu sınavına ait veriler kullanılmıştır. Verilerin analizi alt amaçlara göre genellenebilirlik kuramıyla belirlenen desen doğrultusunda yapılmıştır. Araştırmada 50 öğrencinin (ö) 5 kriter (k) doğrultusunda 2 puanlayıcı (p) tarafından puanlanması ile ö x k x p deseni için genellenebilirlik (G) ve karar (K) çalışması yapılmıştır. Bu çalışmada G kuramı ve karar (k) çalışması çerçevesinde yapılan analizler sonucunda ele alınan konuşma sınavı için hata payının en düşük olduğu durum öğrenci sayısı sabit tutulduğunda kriter ve puanlayıcı sayısının arttırılmasıdır. Çalışma, konuşma sınavlarının G Kuramı kullanılarak güvenilirliğinin belirlenmesi açısından alanyazına bir örnek teşkil edecektir.

Kaynakça

1. Alharby, E. R. (2006). A comparison between two scoring methods, holistic vs. analytic using two measurement models, the generalizability theory and the many facet rasch measurement within the context of performance assessment. The Pennsylvania State University.
2. Bachman, L., & Palmer, A. (1981). The construct validation of the FSI oral interview. Language Learning, 31, 67-86.
3. Baykul, Y. (2000). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Ankara: ÖSYM Yayınları.
4. Brennan, R. L. (2001). Generalizability theory. New York: Springer-Verlog.
5. Cronbach, L. J., Linn, R. L., Brennan, R. L., & Haertel, E. (1995). Generalizability analysis for educational assessments. Evaluation Comment, Summer, (pp. 1-29). Los Angeles: UCLA Center for the Study of Evaluation and The National Center for Research on Evaluation, Standards and Student Testing.
6. Eason, S. H. (1989). Why generalizability theory yields better results than classical test theory. Mid- South Educational Research Association Annual Meeting: 8-10 November 1989- Little Rock, AR.
7. Foster, P. and Skehan, P. (1999). The influence of source of planning and focus of planning on task-based performance. Language Teaching Research, 3.215-47.
8. Fulcher, G. (1996). Does thick description lead to smart tests? A data-based approach to rating scale construction. Language Testing, 13, 208-38.

9. Hughes, R. (2011). Teaching and researching: speaking. New York: Routledge.
10. Keats, J. A. (1997). Measurement in educational research. Educational Research Methodology and Measurement an International Handbook. (Second Edition). Editor Keeves, J. P. Cambridge, UK.
11. Kormos, J. (2006). Speech production and second language acquisition. New Jersey: Lawrence Erlbaum Associates.
12. Luoma, S. (2004). Assessing speaking. United Kingdom: Cambridge University Press.
13. McNamara, T. F. (1996). Measuring second language performance. London: Longman.
14. Nartgün, Z. (2002). Aynı tutumu ölçmeye yönelik likert tipi ölçek ile metrik ölçen madde ve ölçek özelliklerinin klasik test kuramı ve örtük özellikler kuramına göre incelenmesi. Yayımlanmamış doktora tezi, Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
15. North, B. (1995). The development of a common framework scale of descriptors of language proficiency based on a theory of measurement. System, 23.445-65.
16. O’Sullivan, B. (2000). Exploring gender and oral proficiency interview performance. System, 28, 373-86.
17. Sville-Troike, M. (2012). Introducing second language acquisition. United Kingdom: Cambridge University Press.
18. Wang Z. (2014). On-line time pressure manipulations: L2 speaking performance under five types of planning and repetition conditions. In P. Skehan (Ed.), Processing perspectives on task performance (pp. 27-62). Amsterdam: John Benjamins.