Madde Yazma Eğitiminin Özel Okulda Çalışan İlköğretim İngilizce Öğretmenlerinin Maddenin Kalitesini Değerlendirmeye İlişkin Yeterliklerine Etkisi

Abstract

Kaliteli madde yazma eğitiminin özel okulda çalışan ilköğretim İngilizce öğretmenlerinin madde yazma yeterliliklerine olan etkisini belirlemek amacıyla yapılan bu araştırmada deneysel desenlerden tek grup ön-test son-test desen kullanılmıştır. Araştırmanın çalışma grubunu kolay ulaşılabilir örnekleme yöntemi kullanılarak seçilmiş özel okulda ilköğretim kademesinde görev yapan 14 İngilizce öğretmeni oluşturmaktadır. Araştırmada veri toplama aracı olarak alan yazın taranarak oluşturulmuş olan kaliteli madde yazma kriterlerinin ölçüldüğü 19 maddeden oluşan bir test oluşturmaktadır. Bu test, madde yazmayla ilgili hizmet içi eğitim verilmeden önce ön test ve hizmet içi eğitim verildikten sonra son test olarak İngilizce öğretmenlerine uygulanmıştır. Madde yazma eğitimi öncesi mezun olunan fakülte türüne göre öğretmenlerin ön test puanları açısından anlamlı bir fark olup olmadığını belirlemek amacıyla Mann Whitney U-testi, ön test puanlarının meslekte geçirdiği süreye göre de farklılaşıp farklılaşmadığını belirlemek amacıyla Kruskal Wallis H-testi ve ön test ile son test puanları arasındaki farkın anlamlılığını test etmek amacıyla Wilcoxon işaretli sıralar testi kullanılmıştır. Öğretmenlerin madde yazma yeterliliklerinin mezun oldukları fakülte türüne ve meslekte geçirdiği süreye göre farklılaşmadığı bulunmuştur. Bunun yanı sıra, verilen eğitimin öğretmenlerin madde yazma yeterliliklerini geliştirmede önemli bir etkisinin olduğu sonucuna ulaşılmıştır.

Keywords

• ölçme ve değerlendirme
• madde yazma yeterlilikleri
• İngilizce öğretmeni

The Effect of Item Construction Training on Competencies regarding Evaluating the Quality of Items of Primary Education English Teachers Working in Private School

Abstract

In this study, which was conducted to determine the effect of qualified item writing training on the item writing proficiency of primary school English teachers working in private schools, one group pre-test post-test design, one of the experimental designs, was used. The study group of the research consists of 14 English teachers working in primary education in a private school selected by using convenience-sampling method. As a data collection tool in the research, a test consisting of 19 items was used to measure the criteria for writing qualified items, which was developed by utilizing from the literature. This test was administered to English teachers as a pre-test before in-service training on item writing and as a post-test after in-service training. Mann Whitney U-test to determine whether there is a significant difference in terms of pretest scores of teachers according to the type of faculty graduated before item writing training, Kruskal Wallis H-test to determine whether pretest scores differ according to the time spent in the profession, and Wilcoxon signed-rank test to determine whether there is a difference between pre- test and post test scores were used. It was found that teachers' item writing proficiency did not differ according to the type of faculty they graduated from and the time they spent in the profession. In addition, it was concluded that the in-service training provided had a significant effect on improving teachers' item writing competencies.

Keywords

• measurement and evaluation
• competency in item writing
• English teacher

References

1. Alderson, J. C. (2005). Diagnosing foreign language proficiency: The interface between learning and assessment. Continuum.
2. Altmışdört, G. (2017). The proper tests in language teaching: A study on instructors, students’ and researchers’ perspectives. Science Journal of Turkish Military Academy, 27(2), 167-186.
3. Aydın, A. (2001). Eğitim fakültesi mezunu olan ve olmayan öğretmenlerin ölçme ve değerlendirme yeterliliklerinin karşılaştırılmasına yönelik bir çalışma [Yayınlanmamış yüksek lisans tezi]. Ankara Üniversitesi.
4. Atay, D. and Mede, E., (2017). English teacher’s assessment literacy: The Turkish context, Dil Dergisi, 1, 43-60. Büyüköztürk, Ş.(2012). Sosyal bilimler için veri analizi el kitabı. Pegem Akademi.
5. Calveric, S.B. (2010). Elementary Teachers’assessment beliefs and practices [Unpublished doctoral dissertation thesis]. Virginia Commonwealth University.
6. Campbell, C. (2013). Research on teacher competency in classroom assessment. In J. H. McMillan SAGE handbook of research on classroom assessment (pp. 71-84). SAGE Publications.
7. Clay, B. (2001, October). Is this a trick question? A short guide to writing effective test questions. Kansas Curriculum Center. Retrieved from https://www.k-state.edu/ksde/alp/resources/Handout-Module6.pdf
8. Cohen, J.W.(1988). Statistical power analysis of the behavioral sciences. Lawrance Erlbaum Associates.

9. Creswell, J. W. (2014). Research design: Qualitative, quantitative and mixed Methods Approaches (4th ed.). Sage.
10. Çakan, M. (2004). Öğretmenlerin ölçme-değerlendirme uygulamaları ve yeterlik düzeyleri: İlk ve ortaöğretim. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 37, 99–114.
11. Downing, S.M. and Haladyna. T.M. (2006). Handbook of Test Development. Lawrence Erlbaum Associates Publishers.
12. Erdal, H. (2007). 2005 ilköğretim matematik programı ölçme değerlendirme kısmının incelenmesi (Afyonkarahisar ili örneği) [Yayınlanmamış yüksek lisans Tezi]. Afyon Kocatepe Üniversitesi
13. Firoozi, T., Razavipour, K. ve Ahmadi, A. (2019). The language assessment literacy needs of Iranian EFL teachers with a focus on reformed assessment policies. Language Testing in Asia, 9(2), 1-14. https://doi.org/10.1186/s40468-019-0078-7.
14. Gardner, S. and Rea-Dickins, P. (2001). Conglomeration or Chameleon? Teachers’ representations of language in the assessment of learners with English as an additional language. Language Awareness, 10(2-3), 161-177.
15. Gelbal, S. ve Kelecioğlu, H. (2007). Öğretmenlerin ölçme ve değerlendirme yöntemleri hakkındaki yeterlikleri ve karşılaştıkları sorunlar. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 33, 135-145.
16. Haladyna, T.M. (2004). Developing and validating multiple choice test items (3rd Ed.). Lawrence Erlbaum Associates Publishers.
17. Hatipoğlu, Ç. (2015). English language testing and evaluation (ELTE) training in Turkey: expectations and needs of pre-service English language teachers. ELT Research Journal, 4(2), 111-128.
18. Inko-Tariah, D. C. and Okon, E. J. (2019) Knowledge of test construction procedures among lecturers in Ignatius Ajuru University of Education, Port Harcourt, Nigeria. Academic Research International, 10(1), 130-138.
19. Jin, Y. (2010). The place of language testing and assessment in the professional preparation of foreign language teachers in China. Language Testing, 27(4), 555-584.
20. Köksal, D.,(2004). Assessing teachers’ testing skills in ELT and enhancing their professional development through distance learning on the net. Turkish Online Journal of Distance Education, 5(1), 1-11.
21. Lam, R. (2015). Language assessment training in Hong Kong: Implications for language assessment literacy. Language Testing, 32(2), 169-197.
22. Naeem, N., Van der Vleuten C., and Alfaris, E. A. (2012). Faculty development on ıtem writing substantially ımproves ıtem quality. Advances in Health Sciences Education, 17, 369-376. http://dx.doi.org/10.1007/s10459-011-9315-2.
23. Rush, B. R., Rankin, D. C. and White, B. J. (2016). The impact of item-writing flaws and item complexity on examination item difficulty and discrimination value. BMC Medical Education, 16(250), 1-10.https://doi.org/10.1186/s12909-016-0773-3
24. Shin J, Guo Q and Gierl MJ. (2019) Multiple-choice item distractor development using topic modeling approaches. Frontiers in Psychology. 10(825), 1-14. http://dx.doi.org/doi: 10.3389/ fpsyg.2019.00825
25. Thorndike, R. L. (1967). The analysis and selection of test items. In S. Messick ve D.Jackson (Eds.), Problems in Human Assessment. McGraw-Hill.
26. Wenglinsky, H., (2000) How teaching matters: Bringing the classroom back into discussions of teacher quality, Educational Testing Service.
27. Zhang, C and Yan, X.(2018) Assessment literacy of secondary EFL teachers: Evidence from a regional EFL test. Chinese Journal of Applied Linguistics, 41(1), 25-46. https://doi.org/10.1515/cjal-2018-0002