Programın parçası kişilerin görüşleriyle zenginleştirilmiş program değerlendirmesi: Bir Amerikan üniversitesi yüksek lisans programı*

Öz

Eğitimin kalitesini değerlendirmek, benzer programlar arasında mevcut sıralarını korumayı ve güçlendirmeyi amaçlayan tüm lisansüstü programlar için hayati bir koşuldur. Program değerlendirmesi genellikle bir programla doğrudan ilişkili olmayan taraflarca yapılır. Bir başka deyişle, program değerlendirmesini dışarıdan gelen kişiler yapar. Programın parçası olan ve onunla ilgili ilk elden deneyimlere ve bunlara ilişkin izlenimlere sahip olan insanlar ise genellikle değerlendirme sürecinin dışında tutulurlar. Oysa program değerlendirmesinde toplanan verilere programın parçası olan kişilerin bakış açılarının dâhil edilmesi, program değerlendirme çalışmalarının sonunda üretilen raporlara kesinlikle derinlik katacak ve onları zenginleştirecektir. Bir başka önemli konu da geleneksel program değerlendirme çalışmalarının alan yazında var olan dört tür değerlendirmeden sadece bir türünü yapmasından kaynaklanan sınırlılıklarıdır. Bir programın parçası olan insanların görüşlerini de içeren ve birden çok değerlendirmenin tek seferde yapılmasını mümkün kılacak bir veri toplama aracı seçmek, lisansüstü programların daha kapsamlı bir değerlendirilmesine önemli katkılarda bulunacaktır. Bu tür bir program değerlendirmesini gerçekleştirmek amacıyla, bu çalışmada bir Amerikan üniversitesinin yüksek lisans programında verilen eğitimin kalitesi ile ilgili yönleri hakkında programın parçası olan insanların izlenimlerine dayalı bir değerlendirme çalışması gerçekleştirilmiştir. Katılımcılar programdaki tüm öğretim üyeleri ve öğrencilerdir. Sonuçlar, her iki grubun da programda verilen eğitimin kalitesiyle doğrudan ilgili boyutların çoğu hakkında olumlu görüş bildirdiklerini göstermiştir. Eğitim kalitesiyle öncelikli olarak ilgili olmayan ancak iyileştirilmesi gereken alanların da olduğu, ancak bu alanların çoğunun çok az bir çabayla yüksek memnuniyet duyulan alanlara dönüşeceği de belirlenmiştir.

Anahtar Kelimeler

• Program değerlendirme
• lisansüstü eğitim programı
• tarama araştırması
• anket

Enriching program evaluation through insiders’ opinions: An American university graduate program

Abstract

Assessing the quality of education is a vital stipulation for all graduate programs that aim to secure and bolster their current rank among similar programs. Program evaluation is usually carried out by parties not directly related to a program. In other words, outsiders evaluate programs. Insiders who have first-hand experiences and impressions formed on those experiences are typically excluded from the evaluation process. Inclusion of the perspectives of insiders into the gathered data in program evaluation, however, would certainly add depth and enrich reports produced at the end of program evaluation studies. Another important point is the limitation of traditional curriculum evaluation studies due to the fact that they do only one of the four types of evaluations that exist in the literature. Including the views of insiders in the evaluation process and choosing a data collection tool that will enable multiple types of evaluation to be done in a single effort will also contribute to a more comprehensive assessment of graduate programs. In order to carry out such a program evaluation, this study conducted an evaluation based on the impressions of insiders about the aspects related to the quality of education provided in an American university graduate program. The participants were all faculty members and students in the program. The results showed that both groups expressed positive opinions about the majority of the dimensions directly related to the quality of the education provided in the program. It was also determined that there were areas that were not primarily related to the quality of education which needed improvement, but that most of those areas would become areas of high satisfaction with little effort.

Keywords

• Program evaluation
• graduate education program
• survey research
• questionnaire

References

1. Brown, J. D. (1995). The elements of language curriculum: A systematic approach to program development. Heinle & Heinle.
2. Clark, M. J. (1974). The assessment of quality in Ph.D. programs: A preliminary report on judgments by graduate deans (GRE Board Research Report No.72. 70a). Educational Testing Service.
3. Clark, M. J., Hartnett, R. T., & Baird, L. L. (1976). Assessing dimensions of quality in doctoral education: A technical report of a national study in three fields. Educational Testing Service.
4. Clark, M. J. (1976). The meaning of quality in graduate and professional education. In J. Katz & R. T. Hartnett (Eds.), Scholars in the making: The development of graduate and professional students. (85-102). Ballinger Publishing Co.
5. Conrad, C. F., & Blackburn, R. T. (1985). Program quality in higher education: A review and critique of literature and research. In John C. Smart (Ed.), Higher Education: Handbook of Theory and Research, Vol. 1, (283-308). Agathon Press.
6. Craven, E. G. (1980). A concluding perspective. New directions for institutional research, 27 (3), 105-116.
7. Dabbs, J. M. Jr. (1982). Making things visible. Varieties of qualitative research. SAGE. 31–63.
8. Diamond, N., & Graham, H. D. (2000, July/August). How should we rate research universities? Change, 10, 21-33.

9. Fradd, S. H., & Lee, O. (1997). Teachers’ voices in program evaluation and improvement: A case study of a TESOL program. Teaching and Teacher Education, 6 (13), 563-577.
10. Glastonbury, B., & MacKean, J. (1991) Survey methods. In G. Allan & C. Skinner (Eds.), Handbook for research students in the social sciences (225-247). The Falmer Press.
11. Hamalainen, K. (2003). Common standards for programme evaluations and accreditation? European Journal of Education, 3 (38), 292-300.
12. Herman, J. L., Morris, L. L., & Fitz-Gibbon C. T. (1987). Evaluator's handbook (2nd Ed.). SAGE Publications, Inc.
13. Hughes, R. M. (1925). A study of graduate schools of America. The Miami University Press.
14. Kayla, C. A., Wheeles, V. E., & Howard, R. D. (1981). Student evaluation of graduate progress in selected southern universities (ED 211021). ERIC. Morgantown: Office of Institutional Research, West Virginia University.
15. King, J. A., Morris, L. L. , & Fitz-Gibbon C. T. (1987). How to assess program implementation. SAGE Publications, Inc.
16. Millard, R. M. (1983). The accreditation association: Ensuring the quality of programs and institutions. Change, 33-37.
17. Nunan, D. (1992). Research methods in language learning. Cambridge University Press.
18. Patton, M. Q. (1987). How to use qualitative methods in evaluation. SAGE.
19. Patton, M. Q. (1990). Qualitative evaluation and research methods (2nd ed.). SAGE.
20. Patton, M. Q. (2003). Qualitative evaluation checklist. Retrieved March 18, 2021, from Western Michigan University, Evaluation Center Web site: http://www.wmich.edu/evalctr/
21. Rowshan, C. (1988). Student, alumni, and faculty perceptions of quality-related characteristics of the PHD. in English (Rhetoric and Linguistics) at IUP [Doctoral dissertation, Indiana University of Pennsylvania]. Indiana, PA.
22. Scriven, M. (2005). Key evaluation checklist. Retrieved March 18, 2021, from Western Michigan University, Evaluation Center Web site: http://www.wmich.edu/evalctr/
23. Semrow, J. J. (1981). A brief history and background of the accreditation process. North Central Association Quarterly, 56, 383-393.
24. Sonquist, J. A., & Dunkleberg, W. C. (1977). Survey and opinion research: Procedures for processing and analysis. Prentice Hall.
25. Stufflebeam, D. L. (2001). Evaluation checklists: Practical tools for guiding and judging evaluations. American Journal of Evaluation, 22 (1), 71-79.
26. Tezel, K. V. (2006). A study of an American university master’s program in TESOL: Multiple perspectives in program evaluation [Doctoral dissertation, Middle East Technical University]. Ankara, Turkey. https://tez.yok.gov.tr/UlusalTezMerkezi/tezSorguSonucYeni.jsp.
27. Webster, D. S. (1983). America's highest ranking graduate schools, 1925-1982. Change 15, 14-24.
28. Worthen, B. R., & Sanders, J. R. (1987). Educational evaluation: Alternative approaches and practical guidelines. White Plains.