A META-EVALUATION RESEARCH ON MEASUREMENT AND EVALUATION COURSE

Abstract

In this study, it was aimed to make a meta-evaluation of the study titled Evaluation of Measurement and Evaluation in Education Curriculum. For this purpose, it was revealed to what extent the study meets the Program Evaluation Standards determined by the Joint Committee on Standards for Educational Evaluation (JCSEE). Methodologically, meta-evaluation procedures were adopted in the research, and the Evaluation Accountability Standards determined by JCSEE were considered in the transactions carried out in this context. The Program Evaluation Standards Checklist developed by the researchers was used to control whether the meta-evaluated research met the required standards. For this purpose, controls were made by an internal and an external evaluator to reveal whether the study has the qualities of accurate planning, valid and reliable data collection, performing the necessary analyzes, and reporting which should be in an effective program evaluation research. According to the data obtained from internal and external evaluators, the meta-evaluated study largely (88.33%) meets the Program Evaluation Standards. In addition, according to both evaluators, Utility Standards were met by 88.9%, Feasibility Standards by 75%, and Accuracy Standards by 100%, while Propriety Standards are met at a rate of 87.5% according to the external evaluator and 75% according to the internal evaluator. Moreover, the experts are of the opinion that sufficient information was not provided in the research, especially about the concepts of cultural values, interests, contexts, and conflicts of interest. Based on the research findings, suggestions were made to conduct program evaluation and meta-evaluation studies more effectively.

Keywords

• Meta-Evaluation
• program evaluation
• measurement-evaluation
• program standards

EĞİTİMDE ÖLÇME VE DEĞERLENDİRME DERSİNE YÖNELİK BİR META-DEĞERLENDİRME ÇALIŞMASI

Abstract

Bu çalışmada, Eğitimde Ölçme ve Değerlendirme Dersi Programının Değerlendirilmesi başlıklı çalışmanın meta-değerlendirmesinin yapılması amaçlanmıştır. Bu amaç doğrultusunda çalışmanın Eğitimde Değerlendirme Standartları Ortak Komitesi (JCSEE) tarafından belirlenen Program Değerlendirme Standartlarını ne ölçüde karşıladığı ortaya koyulmuştur. Araştırmada yöntemsel olarak meta-değerlendirme prosedürleri benimsenmiş, bu bağlamda gerçekleştirilen işlemlerde JCSEE tarafından belirlenen Değerlendirmede Hesap Verebilirlik standartları dikkate alınmıştır. Meta-değerlendirmesi yapılan araştırmanın gerekli standartları taşıyıp taşımadığının kontrolünde ise araştırmacılar tarafından geliştirilen Program Değerlendirme Standartları Kontrol Listesi kullanılmıştır. Bu amaçla bir iç, bir de dış değerlendirici tarafından çalışmanın etkin bir program değerlendirme araştırmasında olması gereken doğru planlama, geçerli ve güvenilir veri toplanma, gerekli analizleri yapma ve raporlaştırma niteliklerini taşıyıp taşımadığına yönelik kontroller yapılmıştır. İç ve dış değerlendiricilerden elde edilen verilere göre bu araştırma JCSEE tarafından belirlenen Program Değerlendirme Standartları’nı büyük oranda (%88,33) karşılamaktadır. Ayrıca her iki değerlendiriciye göre Amaca Uygunluk Standartları %88,9, Fizibilite Standartları %75, Doğruluk Standartları %100 oranında karşılanırken, Uygunluk Standartları dış değerlendiriciye göre %87,5, iç değerlendiriciye göre ise %75 oranında karşılanmaktadır. Bunun yanında uzmanlar araştırmada özellikle kültürel değerler, çıkarlar, bağlamlar ve çıkar çatışmaları kavramları hakkında yeterli bilgi sağlanmadığı görüşündedir. Araştırma bulgularından yola çıkarak program değerlendirme ve meta-değerlendirme çalışmalarının daha etkin bir biçimde yürütülmesine yönelik öneriler sunulmuştur.

Keywords

• Meta-değerlendirme
• program değerlendirme
• ölçme-değerlendirme
• program standartları

References

1. Ak, M. Z., & Gülmez, A. (2006). Türkiye’nin uluslararası yayın performansının analizi. Akademik incelemeler dergisi, 1(1), 22-49.
2. Akbaş, Y., & Gençtürk, E. (2013). Coğrafya öğretmenlerinin alternatif ölçme-değerlendirme teknikleri ile ilgili görüşleri: kullanma düzeyleri, sorunlar ve sınırlılıklar. Doğu Coğrafya Dergisi, 18(30), 331-356.
3. Akcan, A. T., Malkoç, S., & Kızıltan, Ö. (2018). Akademisyenlere Göre Akademi ve Akademik Kültür. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 18(1), 569-591.
4. Akıncı, M. (2021). Eğitimde ölçme ve değerlendirme dersi programının değerlendirilmesi (PhD dissertation, Akdeniz Üniversitesi, Eğitim Bilimleri Anabilim Dalı, Antalya). Retrieved from https://tez.yok.gov.tr/UlusalTezMerkezi.
5. Akıncı, M., & Köse, E. (2021). Research trends of program evaluation studies conducted between 2010-2019 in Turkey. Çukurova University Faculty of Education Journal, 50(1), 77-120.
6. Akıncı, M., & Köse, E. (2020). Türkiye’de Öğretmen Yetiştiren Programlara İlişkin Bir Meta-değerlendirme Çalışması. Uluslararası Pegem Eğitim Kongresi (pp.174-175). Diyarbakır, Türkiye.
7. Alexakis, D. E. (2020). Meta-evaluation of water quality indices. application into groundwater resources. Water, 12(7), 1-13.
8. Aslan, M., & Uygun, N. (2019). Okul öncesi eğitim programının Stufflebeam’in bağlam, girdi, süreç ve ürün (BGSÜ) değerlendirme modeline göre değerlendirilmesi. Eğitim ve Bilim, 44(200), 229-251.

9. Astbury, B. (2016). From evaluation theory to tests of evaluation theory?. In Stockmann, R., & Meyer, W. (Ed). The Future of Evaluation (pp. 309-325). Palgrave Macmillan, London.
10. Baykul, Y. (2011). Ülkemizde ölçme ve değerlendirmenin dünü, bugünü ve yarını. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 2, 1-32.
11. Berberoğlu, G. (2010) Ölçme ve değerlendirmenin uygulamaya yansıyan boyutu. Cito Eğitim: Kuram ve Uygulama, 10, 10-14.
12. Bullough Jr, R. V. (1992). Beginning teacher curriculum decision making, personal teaching metaphors, and teacher education. Teaching and Teacher Education, 8(3), 239-252.
13. Chapman, L. S. (2012). Meta-evaluation of worksite health promotion economic return studies: 2012 update. American Journal of Health Promotion, 26(4), 1-12.
14. Cooksy, L. J., & Caracelli, V. J. (2009). Meta-evaluation in Practice. Journal of multidisciplinary evaluation, 6(11), 1-15.
15. Erdoğan, İ. (2001). Sosyal bilimlerde pozitivist-ampirik akademik araştırmaların tasarım ve yöntem sorunları. Anatolia: Turizm araştırmaları dergisi, 12(2), 119-134.
16. Fitzpatrick, J. L., Sanders, J. R., & Worthen, B. R. (2011). Program evaluation: Alternative approaches and practical guidelines. (4th Edition). New Jersey: Pearson Education Inc.
17. Fournier, D. M. (1994). The program evaluation standards: How to assess evaluations of educational programs. Journal of Educational Measurement, 31(4), 363-367.
18. Genç, S. Z. (2018). Kültür ve eğitim. In Köse, E., & Genç, S. Z. (Ed.) Eğitim sosyolojisi (pp. 115-160). Ankara: Pegem Akademi.
19. Gündüz, G. F., & Kuzu Demir, E. B. (2020). 2017 Bilişim Teknolojileri ve Yazılım Dersi Öğretim Programının Ortaokul 5. sınıf Öğrencilerinin Görüşlerine Göre Değerlendirilmesi: Eskişehir İli Örneği. Trakya Eğitim Dergisi, 10(3), 1024-1041.
20. Helvacı, A. (2008). Eğitimle ilgili temel kavramlar. Figen Ereş (Ed.). Eğitim bilimine giriş içinde (s. 1-19). Ankara: Maya Akademi.
21. JCSEE. (2018). Checklist of the program evaluation standards statements. Retrieved from https://evaluationstandards.org/program on 05.01.2022.
22. Keskin, İ., & Yazar, T. (2019). Ortaöğretim matematik dersi öğretim programının öğretmen görüşlerine göre değerlendirilmesi. Türkiye Sosyal Araştırmalar Dergisi, 23, 1-28.
23. Kılıç, Ç., & Arslan, S. (2016). Türkiye’de yayınlanan yetişkin eğitimine ilişkin makalelerin meta değerlendirmesi. Erzincan Üniversitesi Eğitim Fakültesi Dergisi, 18(2), 865-899.
24. Kurt, A. (2016). 4. sınıf İngilizce dersi öğretim programının bağlam, girdi, süreç, ürün modeline göre değerlendirilmesi (Masters Thesis, Akdeniz Üniversitesi, Eğitim Bilimleri Anabilim Dalı, Antalya). Retrieved from https://tez.yok.gov.tr/UlusalTezMerkezi.
25. LaChausse, R. G., Clark, K. R., & Chapple, S. (2014). Beyond teacher training: The critical role of professional development in maintaining curriculum fidelity. Journal of Adolescent Health, 54(3), 53-58.
26. Landis, J, R., & Koch, G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33, 159-174.
27. Léveillé, S., & Chamberland, C. (2010). Toward a general model for child welfare and protection services: A meta-evaluation of international experiences regarding the adoption of the Framework for the Assessment of Children in Need and Their Families (FACNF). Children and Youth Services Review, 32(7), 929-944.
28. MEB, (2019). 2023 eğitim vizyonu. Retrieved from http://2023vizyonu.meb.gov.tr/ on 03.01.2022.
29. MEB, (2017a). Öğretmenlik mesleği genel yeterlikleri. Ankara: Öğretmen Yetiştirme ve Geliştirme Genel Müdürlüğü.
30. MEB, (2017b). Öğretmen Strateji Belgesi 2017-2023. Ankara: Öğretmen Yetiştirme ve Geliştirme Genel Müdürlüğü.
31. Mislevy, R. J. (2018). On measurement in educational assessment. In Secolsky, C., & Denison, D. B. (Ed.) Handbook on measurement, assessment, and evaluation in higher education (2nd Edition) (pp. 37-64). New York: Routledge.
32. Morrow Jr, J. R., Jackson, A. W., Disch, J. G., & Mood, D.P. (2000). Measurement and Evaluation in Human Performance (2nd Edition). Human kinetics.
33. Nevo, D. (Ed.). (2002). School-based evaluation: An international perspective. Oxford: Elsevier Science ltd.
34. Ornstein, A. C., & Hunkins, F. P. (2018). Curriculum: Foundations, principles, and issues. (2nd Edition). Edinburgh: Pearson Education Limited.
35. Paksoy, E. N. (2020). Okul öncesi eğitim programının Stufflebeam (CIPP) program değerlendirme modeli ile incelenmesi (Master’s thesis, Kilis 7 Aralık Üniversitesi, Eğitim Bilimleri Anabilim Dalı, Kilis). Retrieved from https://tez.yok.gov.tr/UlusalTezMerkezi.
36. Pediaditi, K., Doick, K. J., & Moffat, A. J. (2010). Monitoring and evaluation practice for brownfield, regeneration to greenspace initiatives: A meta-evaluation of assessment and monitoring tools. Landscape and Urban Planning, 97(1), 22-36.
37. Saraç, E., & Uygun, N. (2020). Sınıf öğretmeni adaylarının ölçme ve değerlendirme tekniklerine yönelik tercihlerinin ders planları ile incelenmesi. Uluslararası Eğitim Araştırmacıları Dergisi, 3(2), 199-212.
38. Scriven, M. (1981). Evaluation thesaurus (3rd Edition). California: Edge Press.
39. Scriven, M. (2009). Meta-evaluation revisited. Journal of multidisciplinary evaluation, 6(11), 3-8.
40. Scriven, M. (2011). Evaluating evaluations: A meta-evaluation checklist. Consultado em, 9, 1-7.
41. Stufflebeam, D. L., & Madaus, G. F. (1983). The standards for evaluation of educational programs, projects, and materials. In Stufflebeam, D. L., Madaus, G. F., & Kellaghan, T. (Ed.) Evaluation Models: Viewpoints on Educational and Human Services Evaluation (pp. 395-404). Dordrecht: Kluwer Academic Publishers.
42. Stufflebeam, D. L. (1999). Foundational models for 21st century program evaluation, The Evaluation Center Occasional Papers Series, Western Michigan University.
43. Stufflebeam, D. L. (2000). The methodology of metaevaluation. In Stufflebeam, D. L., Madaus, G. F., & Kellaghan, T. (Ed.) Evaluation Models: Viewpoints on Educational and Human Services Evaluation (pp. 457-471). Dordrecht: Kluwer Academic Publishers.
44. Toy, B. Y., & Tosunoğlu, N. G. (2007). Sosyal bilimler alanındaki araştırmalarda bilimsel araştırma süreci, istatistiksel teknikler ve süreci, istatistiksel teknikler ve yapılan hatalar yapılan hatalar. Journal of commerce, 1(1), 1-20.
45. Uşun, S. (2012). Eğitimde program değerlendirme: Süreçler yaklaşımlar ve modeller. Ankara: Anı Yayıncılık.
46. Windsor, R. A., Boyd, N. R., & Orleans, C. T. (1998). A meta-evaluation of smoking cessation intervention research among pregnant women: improving the science and art. Health education research, 13(3), 419-438.
47. WMU. (2020). Evaluation Checklists. Retrieved from https://wmich.edu/evaluation/checklists on 05.01.2022.
48. Yağan, S. A. (2019). Program değerlendirme alanında yayınlanmış doktora tezlerinin meta değerlendirmesi (2015-2019). Electronic Journal of Education Sciences, 8(16), 188-208.
49. Yaşar, S., Gültekin, M., Köse, N., Girmen, P., & Anagün, S. (2005). The meta-evaluation of teacher training programs for elementary education in Turkey. In Cooper (Ed.) Teacher Education: Local and Global: Proceedings of the 33rd Annual Australian Teacher Education Association Conference (pp. 498-504). Australia: Griffith University.
50. YÖK, (2020). YÖK'ten eğitim fakültelerine önemli yetki devri kararı. Retrieved from https://www.yok.gov.tr/Sayfalar/Haberler/2020/egitim-fak%C3%BCltelerine-yetki-devri.aspx on 04.02.2021.
51. YÖK, (2007). Öğretmen yetiştirme ve eğitim fakülteleri (1982-2007). Retrieved from https://www.yok.gov.tr/Documents/Kurumsal/egitim_ogretim_dairesi/Ogretmen-Yetistirme/2.pdf on 26.11.2021.
52. YÖK, (1998). Türk yükseköğretiminin bugünkü durumu. Retrieved from https://www.yok.gov.tr/Documents/Yayinlar/Yayinlarimiz/Turk-yuksekogretiminin-bugunku-durumu-mart-1998.pdf on 04.12.2021.
53. Yüksel, İ., & Akın, Z. (2013). Öğrenci başarısını belirleme sınavının (ÖBBS) öğrenci değerlendirme standartları kapsamında değerlendirilmesi: Bir meta değerlendirme araştırması. Ondokuz Mayıs Üniversitesi Eğitim Fakültesi Dergisi, 32(1), 473-495.
54. Yüksel, İ., & Sağlam, M. (2014). Eğitimde program değerlendirme. (2nd Edition). Ankara: Pegem Akademi Yayıncılık.