Investigating the conformity of the Student Achievement Exam Report to Student Evaluation Standards: A Meta evaluation study

Öz

Education system is one of the basic systems that shape the social structure. Like all systems, the education system is made up of certain elements. Each of these elements which are attached to and complement one another just like the pieces of a jigsaw puzzle has an important function within the education system. These elements constituting the education system are purpose, content, the teaching-learning process and evaluation (Yaşar 2008, 2; Karadüz 2009, 193-194). Evaluation, one of these elements, allows determining the applications carried out in the education system; the functioning of the system; and the effectiveness of each part that constitutes the system. Johnson and Johnson (2002, 96) state that the purposes of the dimension of evaluation include determining the current knowledge and skills of students; monitoring the process executed to achieve the educational goals determined with the help of the education programs; and making a judgment regarding students’ learning. One of the evaluations made in the education process includes studies regarding the evaluation of education programs, and another one covers evaluation studies carried out in the instructional process. The evaluation applications carried out for students allow evaluating students’ learning as well as their skills, attitudes and study habits (Popham, 2008). In every phase of the education system, it is necessary to make decisions regarding both the system and its elements and those taking charge in the system and the students constituting the basis of the system as well as regarding the applications carried out, to determine the malfunctions and deficiencies and accordingly to make the necessary corrections and changes. This is only possible if the necessary decisions are made as a result of the evaluations regarding instruction, students’ achievements, students’ levels of learning and development, student selection and placement, appropriate educational guidance for students, the curriculum, management of education and teachers (Yaşar 2008, 32; Karadüz 2009, 193-194; Koç, 2007). Evaluation applications carried out for students could have different purposes. In general, student evaluations serve such student-oriented functions as recognizing and placing students, determining students’ deficiencies in learning, revealing the factors effective on the learning process and determining students’ levels of learning (Özçelik, 1998; Johnson and Johnson, 2002, 6; Linn and Gronlund, 1995, 14). However, whatever purpose or type they are, the evaluations made should be correct, valid and reliable to make appropriate decisions. In 1997, the Joint Committee on Standards for Educational Evaluation (JCSEE) started studies to determine the standards for student evaluation accepted on national basis in line with the research results which indicated that there is no standard for student evaluation at schools and that the things to be evaluated are not determined in advance in the field of education. As a result of these studies completed in 2003, JCSEE developed the Student Evaluation Standards. The Student Evaluation Standards are used to determine how a student evaluation study should be carried out, which criteria should be taken into consideration during the execution of such a study or whether a competed study has been executed as appropriate to the standards determined (Gullickson, 2005 216). As in many countries where the population, the schooling rate and the number of school types are rapidly increasing, evaluation systems that allow selecting and placing students are adopted in almost all educational levels in Turkey. These evaluations reveal important results that influence the decisions to be made regarding such issues as students’ passing the class, their attending upper-level educational institutions and their employment. In addition, the evaluations made play an important role in teachers’ direct and indirect evaluations, in determining and developing school programs and in making it possible to pay the price before the public. In order to have effective, reliable and valid evaluations that to a great extent shape and guide the lives of individuals and societies, student evaluation systems should have a good-quality and systematic structure based on certain criteria. This is only possible when examinations and evaluations are made regarding the execution of evaluation activities and applications and regarding sharing of the results obtained and when the evaluation systems are improved with necessary corrections. In Turkey, there are a number of comprehensive evaluations such as public personnel selection examination (KPSS), the transition to higher education examination (YGS), and student achievement examination (ÖBBS). However, the facts that there is no research examining how these evaluation studies are conducted and how the results of such studies are shared makes the present study important. In this respect, this unique study examined to what extent the report regarding the exam for determining student achievement in 2009 met the standards developed by the Joint Committee on Standards for Educational Evaluation. The basic purpose of the present study was to determine how appropriate the report regarding the Exam for Determining Student Achievement conducted in 2009 in Turkey is to the Student Evaluation Standards developed by JCSEE. The study was carried out as a meta-evaluation study. In this way, the study tried to reveal the strong and weak aspects of the evaluation report. In order to determine how appropriate the Exam for Determining Students’ Achievement (EDSA) conducted in 2009 was to the Student Evaluation Standards developed by JCSEE, the secondary school EDSA report prepared in 2009 by the Ministry of National Education, EARGED was examined with the “document analysis method”. The data collection tool used in the study was developed as a 27-item 3-point Likert-type scale including such options as “Completely Meets”, “Partly Meets” and “Never Meets” regarding four basic fields. The study was carried out by two experts. The results demonstrated that the evaluation report completely met 11 standards, partly met six standards and never met 10 standards. In addition, the findings also revealed that the report was partly beneficial in legal and ethical respects; that it was partly applicable in terms of its execution according to the plan; that it was partly applicable in terms of effectiveness and informativeness; and that it was not efficient in terms of interpretations, supported results and suggestions for future. The research results are expected to help individuals who will prepare beneficial, appropriate, practical and correct evaluation reports or who will make student evaluations.

Anahtar Kelimeler

• Student Evaluation, Student Evaluation Standards, Meta Evaluation.

Öğrenci Başarısını Belirleme Sınavının (ÖBBS) Öğrenci Değerlendirme Standartları Kapsamında Değerlendirilmesi: Bir Meta Değerlendirme Araştırması

Öz

Bu araştırmanın temel amacı Milli Eğitim Bakanlığı tarafından 2009 yılında yapılan Öğrenci Başarısını Belirleme Sınav (ÖBBS) raporunun Birleşik Komite tarafından geliştirilen öğrenci değerlendirme standartlarına uygunluğunun belirlenmesidir. Bir meta değerlendirme çalışması olarak, araştırma iki uzman tarafından 27 standart maddesi temel alınarak yürütülmüştür. Araştırmanın verileri araştırmacılar tarafından standart ifadelerine dayalı olarak oluşturulan bir kontrol listesi aracılığıyla toplanmıştır. Toplanan veriler doküman analizine tabi tutularak çözümlenmiştir. Sonuçlar değerlendirme raporunun 11 standardı tamamen karşıladığı, altı standart ifadesini kısmen karşıladığı ve 10 standardı ise hiç karşılamadığını göstermiştir. Bulgular ayrıca raporun yasal ve etik yönden kısmen yararlı; plana göre yürütülmesine göre kısmen uygulanabilir; etkililik ve bilgilendiricilik vb. yönlerden yine kısmen kullanışlı olduğunu; yorumlar, destekli sonuçlar ve ileriye dönük öneriler vb. yönlerden ise yeterli düzeyde olmadığını ortaya koymuştur. Araştırma sonuçlarının yararlı, uygun, elverişli ve doğru değerlendirme raporu hazırlayacak ya da öğrenci değerlendirmeleri yapacak bireylere yardımcı olması beklenmektedir.

Anahtar Kelimeler

• Öğrenci Değerlendirme, Öğrenci Değerlendirme Standartları, Meta Değerlendirme

Kaynakça

1. SONUÇ VE ÖNERİLER
2. Araştırmada elde edilen bulgular doğrultusunda Öğrenci Başarısını
3. Belirleme Sınavı Değerlendirme Raporu’nun: 
4. Uygunluk standartlarından öğrencilere hizmet, değerlendirme
5. bilgilerine erişim, dengeli değerlendirme standartlarını karşıladığı;
6. uygun prensip ve yöntemler ile öğrenci hakları standartlarını tam
7. olarak karşılamadığı ve tutum standardını hiç karşılamadığı, 
8. Yararlık standartlarından bilgi kapsamı ile ölçütler ve değerler

9. standartlarını karşıladığı; yapıcı uyum, tanımlı kullanıcılar ve
10. kullanımlar, değerlendirici niteliği ve raporlaştırma standartlarını
11. tam anlamıyla karşılamadığı; ileri istek standardını ise hiç
12. karşılamadığı,  Olurluk
13. değerlendirme desteği standartları karşıladığı ancak politik
14. uygulanabilirlik standardını karşılamadığı, yöntemler ve 
15. Doğruluk standartlarından geçerlik, güvenilir bilgi, tarafsızlık,
16. analiz standartlarını karşıladığı; yazılı yöntemler ve sonuçlar
17. standartlarını tam olarak karşılamadığı; tanımlı beklentiler, ortam
18. analizi, kalite kontrol ve meta değerlendirme standartlarını
19. karşılamadığı sonucuna ulaşılmıştır.
20. Araştırmada elde edilen sonuçlara bağlı olarak şu önerilerde bulunulabilir: 1. Yapılan Öğrenci Başarısını Belirleme Sınavı’nın JCSEE tarafından
21. geliştirilen öğrenci değerlendirme standartları dikkate alınarak
22. değerlendirilmelidir. 2. Sonraki yıllarda Öğrenci Başarısını Belirleme Sınavı’nın
23. tekrarlanması durumunda öğrenci değerlendirme standartları
24. dikkate alınarak planlama ve hazırlık yapılmalıdır.
25. Bireylerin eğitim ve meslek yaşamları için önemli birer adım olan ulusal düzeydeki sınavların öncesinde ve sonrasında JCSEE tarafından geliştirilen öğrenci değerlendirme standartları göz önünde bulundurulmalıdır.
26. JCSEE’nin geliştirmiş olduğu standartların Türkiye’de uygulanan sınavların değerlendirilmesinde kullanılması açısından uygun olup olmadığı belirlenmelidir.
27. BİLEN M. (2010). Plandan Uygulamaya Öğretim, Ankara: Anı Yayıncılık.
28. BLOOM J. (1968). Learning For Mastery. Evaluation Comment, Los Angeles: University of California.
29. DEMİREL Ö. (2010). Kuramdan Uygulamaya Eğitimde Program Geliştirme, Ankara: Pegem Akademi Yayıncılık.
30. DEMİREL Ö. (2006). Kuramdan Uygulamaya Eğitimde Program Geliştirme, Ankara: Pegem Akademi Yayıncılık.
31. GULLICKSON, A. R. (2005). “Student Evaluation Standards: A Paradigm Shift For The Evaluation Of Students. Evaluating Students’ Achievements”, Prospects, 35 (2), p. 213-227.
32. HEDLER H. C., GIBRAM N. (2009). “The Contribution Of Metaevaluation To Program Evaluation: Proposition of A Model”, Journal of MultiDisciplinary Evaluation, 6 (12), p. 210-223
33. JCSEE (Joint Committee on Standards for Educational Evaluation) (2003). The Student Evaluation Standards: How To İmprove Evaluations Of Students, Newbury Park, CA: Corwin Press.
34. JOHNSON D. W., JOHNSON, R. T. (2002). Meaningful Assessment “A Manageable And Cooperative Process”, Boston: Ally and Bacon.
35. KARADÜZ A. (2009). “Türkçe Öğretmenlerinin Ölçme ve Değerlendirme Uygulamalarının “Yapılandırmacı Öğrenme” Kavramı Bağlamında Eleştirisi”, Uludağ Üniversitesi Eğitim Fakültesi Dergisi, XXII (1), ss. 189-210.
36. KARASAR N. (2005). Bilimsel Araştırma Yöntemleri, Ankara: Nobel Yayın Dağıtım.
37. LINN R.L., GRONLUND N.E. (1995). Measurement And Assessment In Teaching, New Jersey: Merrill.
38. MEB (2010). Ortaöğretim 2009 ÖBBS Raporu, Ankara: Milli Eğitim Bakanlığı Eğitimi Araştırma Geliştirme Daire Başkanlığı Yayını.
39. MEB (2005). Fen ve Teknoloji Dersi Öğretim Programı ve Kılavuzu, Devlet Kitapları Müdürlüğü, Ankara.
40. MUSIAL D.; NIEMINEN G.; THOMAS J., BURKE K. (2009). Foundations Of Meaningful Educational Assessment, Boston: McGraw Hill.
41. NITKO A.J. (2004). Educational Assessment Of Students, New Jersey: Pearson Education, Inc.
42. ÖZÇELİK D.A. (1998). Eğitimde Ölçme ve Değerlendirme, Ankara: ÖSYM Yayınları
43. ÖZDEMİR S. M. (2009). “Sınıf Öğretmenlerinin Yeni İlköğretim Programlarının Ölçme Ve Değerlendirme Süreçlerinde Karşılaştıkları Sorunların İncelenmesi”, Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 42 (2), ss. 55-79.
44. POPHAM W. J. (2008). Classroom Assessment “What Teachers Need To Know?”, Boston: Pearson Education, Inc.
45. SAĞLAM M., YÜKSEL İ. (2007). “Program Değerlendirmede Meta-Analiz ve Meta-Değerlendirme Yöntemleri”, Dumlupınar Üniversitesi Sosyal Bilimler Dergisi, (18), 175-187
46. SEMERCİ Ç. (2011). “Eğitimde Ölçme ve Değerlendirme”, Ed: Emin KARİP. Ölçme ve Değerlendirme içinde (s.1-15), Ankara: Pegem Akademi.
47. STUFFLEBEAM D. (1978). Meta-Evaluation: An Overview, Evaluation and Health Profession. 1 (1), p. 17–43.
48. TEKİN H. (2004). Eğitimde Ölçme ve Değerlendirme. Ankara: Yargı Yayınevi.
49. WOODSIDE A. G., SAKAI M. Y. (2001). “Metaevaluation Of Performance Audits Of Government Tourism-Marketing Programs”, Journal of Travel Research, (39), 369-379
50. YAŞAR M. (2008). “Ölçme ve Değerlendirme ile İlgili Temel Kavramlar”, Ed: Satılmış TEKİNDAL, Eğitimde Ölçme ve Değerlendirme içinde (s. 9-42), Ankara: Pegem Akademi.
51. YILDIRIM A., ŞİMŞEK, H. (2008). Sosyal Bilimlerde Nitel Araştırma Yöntemleri, Ankara: Seçkin Yayıncılık.
52. YÜKSEL İ. (2010). Türkiye için Program Değerlendirme Standartları Oluşturma Çalışması, Eskişehir: Anadolu Üniversitesi, Eğitim Bilimleri Enstitüsü. Yayınlanmamış Doktora Tezi