Student assessment with high-stakes tests and its reflection on teachers’ motivation to implement centralized educational objectives and the curriculum

Abstract

The aim of this study is to evaluate the measurement method used in high stake tests, such as TEOG, YGS, LYS, applied throughout the country, to the application of the curriculum and their reflections on access to educational objectives. This study was designed in qualitative research design. The data were collected by semi-structured in-depth interview technique with 24 participants teaching in different branches at secondary and high school levels and analysed with content analysis. In parallel with the purpose of the research, the participants were asked to use the high-precision examinations prepared by classical (multiple-choice, gap-filling, or incorrect) and open-ended measurement methods; it was asked how the school curricula had an impact on the implementation and access to educational objectives. Results; demonstrates how the measurement methods used in the exams with a high degree of influence affect the teachers' ability to process their curriculum. Therefore, it shows that the measurement style used in the exams with high determinants prevents the motivation to be given in the shape or depth where the curriculum is determined centrally. In addition, these exams were found to be effective in determining the educational goals, and teachers showed that they were more positive than open-ended exams. Despite this, they stated that they have applied the measurement and evaluation concept which is valid for the students with high level of determination in the classes and they have to adapt the content of the school programs in the depth and width to be successful in these exams.

Keywords

• High stake tests,Measuring methods,Course programs,Educational objectives

Belirleyiciliği Yüksek Sınavlarda Kullanılan Ölçme Yöntemlerinin Ders Programlarının Uygulaması Motivasyonuna ve Eğitim Hedeflerine Erişime Yansımaları

Abstract

Bu çalışmanın amacı ülke genelinde uygulanan TEOG, YGS, LYS gibi belirleyiciliği yüksek olan (high stake tests) sınavlarda kullanılan ölçme metodunun ders programlarının uygulanması ve eğitimsel hedeflere erişime yansımalarının incelenmesidir. Bu çalışma nitel araştırma yöntemi ve durum çalışması deseninde tasarlanmıştır. Veriler ortaokul ve lise kademelerinde farklı branşlarda öğretmenlik yapan 24 katılımcı ile yapılan yarı-yapılandırılmış derinlemesine görüşme tekniği ile toplanmış ve içerik analizi ile çözümlenmiştir. Araştırmada katılımcılara araştırmanın amacına paralel olarak klasik yöntemler olan  (çoktan seçmeli, boşluk doldurma veya doğru yanlış gibi) ve açık uçlu ölçme metotları ile hazırlanan belirleyiciliği yüksek sınavların; okul ders programlarının uygulanması ve eğitimsel hedeflere erişimde nasıl bir etki yarattığı sorulmuştur. Bulgular; belirleyiciliği yüksek olan sınavlarda kullanılan ölçme metotlarının öğretmenlerin ders programlarını uygularken hangi derinlikte uygulayacaklarında etkili olduğunu; dolayısı ile belirleyiciliği yüksek olan sınavlarda kullanılan ölçme biçiminin, ders programlarının merkezi olarak belirlendiği şekil veya derinlikte uygulanması motivasyonunun önüne geçtiğini göstermektedir. Ayrıca, bu sınavların eğitimsel hedeflerin belirlenmesinde etkili olduğu, öğretmenlerin açık uçlu sınavlara çoktan seçmeli testlerden daha olumlu yaklaştıklarını göstermiştir. Buna rağmen öğretmenler; öğrenciler için belirleyiciliği yüksek olan sınavlarda geçerli olan ölçme ve değerlendirme anlayışını sınıflarda yoğunlukla uygulayıp okul programlarının içeriğini de öğrencilerin bu sınavlarda başarılı olacak derinlik ve genişlikte uyarlamak durumunda kaldıklarını belirtmişlerdir.

Keywords

• belirleyiciliği yüksek sınavlar,ölçme aracı,ders programları,, eğitimsel hedefler

References

1. Amrein, A. L., & Berliner, D. C. (2002). An analysis of some unintended and negative consequences of high-stakes testing. Education Policy Research Unit, Education Policy Studies Laboratory, College of Education, Division of Educational Leadership and Policy Studies, Arizona State University.Au, W. (2011). Teaching under the new Taylorism: High‐stakes testing and the standardization of the 21st century curriculum. Journal of Curriculum Studies, 43(1), 25-45.Ayvacı, H. Ş., & Türkdoğan, A. (2010). Yeniden yapılandırılan Bloom taksonomisine göre fen ve teknoloji dersi yazılı sorularının incelenmesi. Türk Fen Eğitimi Dergisi, 7(1), 13-25.Balcı, E., & Tekkaya, C. (2000). Ölçme ve değerlendirme tekniklerine yönelik bir ölçeğin geliştirilmesi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 18(18). 18-42.Bastürk, S. (2011). Üniversiteye giris sinavina hazirlanma sürecinin ögrencilerin matematik ögrenmeleri üzerine olumsuz yansimalari. Hacettepe Üniversitesi Egitim Fakültesi Dergisi, 40, 69-79.Baxter, P., & Jack, S. (2008). Qualitative case study methodology: Study design and implementation for novice researchers. The Qualitative Report, 13(4), 544-559.Bennett, R. E., Rock, D. A., & Wang, M. (1991). Equivalence of free‐response and multiple‐choice items. Journal of Educational Measurement, 28(1), 77-92.Berliner, D. (2011). Rational responses to high stakes testing: The case of curriculum narrowing and the harm that follows. Cambridge Journal of Education, 41(3), 287-302.Birenbaum, M., & Tatsuoka, K. K. (1987). Open-ended versus multiple-choice response formats—it does make a difference for diagnostic purposes. Applied Psychological Measurement, 11(4), 385-395.Birgili, B. (2014). Open Ended Questıons As An Alternatıve to Multiple Choice: Dilemma in Turkish Examination System, Yayınlanmış Doktora Tezi, Ortadoğu Teknik Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.Bloom’s, T. M. E. (1965). Bloom’s taxonomy of educational objectives. Longman.Brown, D. F. (1992). Altering Curricula through State Testing: Perceptions of Teachers and Principals, Paper presented at the annual meeting of American Educational Research Association, San Francisco, CA. Creswell, J. W. (2013). Research design: Qualitative, quantitative, and mixed methods approaches. Sage publications.Çakmakçı, N. (2016, 1 Haziran). Üniversite giriş sınavlarında açık uçlu soru dönemi geliyor. Milliyet Gazetesi. Erişim Tarihi: 12/11/2016. http://www.hurriyet.com.tr/universite-giris-sinavlarinda-acik-uclu-soru-donemi-geliyor-40112057.Çelikkaya, T., Karakuş, U., & Demirbaş, Ç. Ö. (2010). Sosyal Bilgiler Öğretmenlerinin Ölçme-Değerlendirme Araçlarını Kullanma Düzeyleri Ve Karşılaştıkları Sorunlar. Ahi Evran Üniversitesi Kırşehir Eğitim Fakültesi Dergisi, 11(1), 57-76.Çepni, S., Ayvacı, H.Ş. & Keleş, E. (2001). Okullarda ve Lise Giriş Sınavlarında Sorulan Fen Bilgisi Sorularının Bloom Taksonomisine Göre Karşılaştırılması, Yeni Binyılın Başında Türkiye’de Fen Bilimleri Eğitimi Sempozyumu, 07-08 Eylül, T.C. Maltepe Üniversitesi, İstanbul.Çetin, O. (2013). Çoktan seçmeli testler. Erişim adresi: http://oguzcetin.gen.tr/coktan-secmeli-dersler.htmlÇetin, A., & Ünsal, S. (2018). Merkezi Sınavların Öğretmenler Üzerinde Sosyal, Psikolojik Etkisi ve Öğretmenlerin Öğretim Programı Uygulamalarına Yansıması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi,12-1. 1-20.Çıkrıkçı Demirtaşlı, N. (2012). Açık uçlu soru formatı ve öğrenci izleme sistemi (ÖİS) akademik gelişimi izleme ve değerlendirme (AGİD) modülündeki kullanımı. CİTO Eğitim: Kuram ve Uygulama, 8, 22-30.Cimbricz, S. (2002). State-mandated testing and teachers' beliefs and practice. Education Policy Analysis Archives, 10(2).Gelbal, S., & Kelecioğlu, H. (2007). Öğretmenlerin ölçme ve değerlendirme yöntemleri hakkındaki yeterlik algıları ve karşılaştıkları sorunlar. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 33, 135-145.Glossory of Education Reform (2015). Standardized test. http://edglossary.org/standardized-test/Hartley, D. (1990). Tests, tasks and Taylorism: a Model T approach to the management of education. Journal of Education Policy, 5(1), 67-76.Haynie III, W. J. (1994). Effects of multiple-choice and short-answer tests on delayed retention learning.Heilman, E. E., Fruja Amthor, R., & Missias, M. T. (2010). Social studies and diversity education: What we do and why we do it. New York, NY: Routledge. Herman, J., Dreyfus, J. & Golan, S. (1990). The Effects of Testing on Teaching and Learning,CSE Technical Report 327. UCLA Center for Research on Evaluation, Standards, and Student Testing. Horst, H. & Martens, R. (ty). Open- Ended Questions, University of Twente. Erişim adresi: https://www.utwente.nl/ces/toetsing/Docenten/testing-grading/job-aid/open-ended-questions/Kolcu, G. (2016, 25 Ağustos). Açık uçlu’ soru dönemi. Milliyet Gazetesi. Erişim Tarihi: 12/11/2016. http://www.hurriyet.com.tr/acik-uclu-soru-donemi-40208381.Koretz, D., Linn, R. L., Dunbar, S. B., & Shepard, L. A. (1991). The effects of high-stakes testing on achievement: Preliminary findings about generalization across tests. Paper presented at the annual meeting of the American Educational Research Association, Chicago, IL.Krathwohl, D. R. (2002). A revision of Bloom's taxonomy: An overview. Theory into practice, 41(4), 212-218.Kumandaş, H. ve Kutlu, Ö. (2010). High stakes testing: does secondary education examination involve any risks? Procedia- Social and Behavioral Sciences, 9, 758-764.Lewis, A 2000, ‘High Stakes Testing: Trends and Issues’, Mid continent research for education and learning: policy brief, April 1-8.Mack, N., Woodsong, C., MacQueen, K. M., Guest, G., & Namey, E. (2005). Qualitative research methods: a data collectors field guide, North Carolina: Family Health International.Madus, G. (1998). The distortion of teaching and testing:High-stakes testing and instructionPeabody Journal of Education, 65(3), 29-46.Mather, K., & Seifert, R. (2011). Teacher, lecturer or labourer? Performance management issues in education. Management in education, 25(1), 26-31.MEB, (2012). Biçimlerine göre sorular. Erişim Adresi: http://www.megep.meb.gov.tr/mte_program_modul/moduller_pdf/Bi%C3%A7imine%20G%C3%B6re%20Sorular.pdfNational Council of Teachers of English. (2014). How Standardized Tests Shape—and Limit—Student Learning, Policy research brief of National Council of Teachers of English.Ozan, A. G. C., & Köse, E. (2013). Eğitimde Ölçme ve Değerlendirmeye Yönelik Tutum Envanterinin Türkçeye Uyarlanması. e-International Journal of Educational Research, 4(2), 29-47.Özcan, S., & Oluk, S. (2007). ilköğretim fen bilgisi derslerinde kullanilan sorularin piaget ve bloom taksonomisine göre analizi. dü ziya gökalp eğitim fakültesi dergisi, 8, 61-68.Polesel, J., Dulfer, N., & Turnbull, M. (2012). The experience of education: The impacts of high stakes testing on school students and their families. Sydney, Australia: The Whitlam Institute.Popham, W. J. (1999). Why standardized test scores don’t measure educational quality. Educational Leadership, 56(6), 8-15.Rauch, D. P., & Hartig, J. (2010). Multiple-choice versus open-ended response formats of reading test items: A two-dimensional IRT analysis. Psychological Test and Assessment Modeling, 52(4), 354-379.Sağır, M. (2015). Eğitim Ve Okul Sistemindeki Son Dönem Politika Değişimlerine İlişkin Okul Yöneticilerinin Görüşlerinin İncelenmesi. Electronic Turkish Studies, 10(11).Sajadi, F. (2006). The effect of defective options on multiple-choice items and test characteristics. Pazhuhesh-e Zabanha-ye Khareji, 199-214.School and Child Care Service. (2013). Pros and Cons of Standardized Testing, Columbia University Office of Work/ Life, Spring 2013.Shohamy, E. (1984). Does the testing method make a difference? The case of reading comprehension. Language testing, 1(2), 147-170.Smith, M. L. (1991). Put to the test: The effects of external testing on teachers. Educational Researcher, 20(5), 8-11.Smith, M.L., Edelsky, C., Draper, K., Rottenberg, C. and Cherland, M. (1987). The Role of Testing in Elemantary Schools, Center for Research on Educational Standards and Student Tests and the Office of Educational Resarch and Improvement, Department of Education, University of California, Los Angeles. Spovits, J. (2009). Can high stakes testing leverage educational improvement? Prospects from the last decade of testing and acoountability reform, Journal of Educational Change, 10, 211-227.Stankous, N. V. (2016). Constructive Response Vs. Multiple-Choice Tests In Math: American Experience And Discussion (Review). European Scientific Journal, ESJ, 12(10), 308-316.Stecher, B. M. (2002). Consequences of large-scale, high-stakes testing on school and classroom practice. Making sense of test-based accountability in education, 79-100.Tavşancıl, E. & Aslan, E. (2001). İçerik Analizi ve Uygulama Örnekleri. İstanbul: Epsilon Yayıncılık.Tekindal, S. (2000). Klasik yazılı sınavla ve çok sorulu testle elde edilen ölçümlerin güvenirlik ve geçerliği. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 8(8), 38-46.Temizkan, M., & Sallabaş, M. E. (2011). Okuduğunu anlama becerisinin değerlendirilmesinde çoktan seçmeli testlerle açık uçlu yazılı yoklamaların karşılaştırılması. Dumlupınar Üniversitesi Sosyal Bilimler Dergisi, 30, 207-220.West, M. (2007). Testing, learning, and teaching: The effects of test-based accountability on student achievement and instructional time in core academic subjects. In Beyond the basics: Achieving a liberal education for all children (eds.:Chester E. Finn Jr. and Diane Ravitch), 45-62. Washington DC: Thomas B. Fordham Institute. Whiting L.S. (2008). Semi-structured interviews: guidance for novice researchers. Nursing Standard, 22 (23), 35-40.Yaşar, M. (2014). Eğitimde Ölçme ve Değerlendirme Dersine Yönelik Tutum Ölçeği’nin Geliştirilmesi. Eğitim Bilimleri Araştırmaları Dergisi. Uluslararası E-Dergi, 4(1), 259-279.Yin, R. (2003). K.(2003). Case study research: Design and methods. Sage Publications, Inc, 5, 11.Zhang, Z., & Burry-Stock, J. A. (2003). Classroom assessment practices and teachers' self-perceived assessment skills. Applied Measurement in Education, 16(4), 323-342.