The Use of Student Feedback and Critical Incidents Technique in the Evaluation of Education Program: Public Health Internship Program

Abstract

Background: The aim of this study is to evaluate the use of student feedback and the Critical Incidents Technique as used in evaluating the renewed Public Health internship program at Ege University Medical Faculty. Methods: A student feedback form and the Critical Incidents Technique were used to gather data in a cross-sectional type of research. The last three intern groups of the 2003 intake and the first group of 2004 took part in the research. The feedback form was evaluated with a five-point Likert scale and consisted of 86 propositions and a general evaluation of the internship. SPSS was used in evaluation of the data. In the Critical Incidents Technique, students were asked to write about three positive and three negative incidents which had influenced their perceptions during their internship. The items thus gathered were analyzed by a team and placed into relevant categories. Results: The feedback form was collected from 121 interns (response rate: 95.27%). Feedback results showed that a number of the objectives of internship had not been achieved. In the Critical Incidents Technique 133 items were mentioned (65 positive and 68 negative). After analysis it was found that communication with supervisors was most important among the items (positive or negative) experienced. Conclusions: Research showed important findings relating to the length of internship. The internship planning group reviewed the unachieved aims. In addition, the feedback form was re-examined and is now in use in its revised version. Although student feedback is used regularly in the evaluation of education program, it should not be used as the sole source of data, and data concerned with other factors such as teachers’ views should be taken into account in evaluation studies.

Keywords

• educational program evaluation, student feedback, critical incidents technique, public health internship

EĞİTİM PROGRAMI DEĞERLENDİRMEDE ÖĞRENCİ GERİBİLDİRİMLERİ VE KRİTİK OLAYLAR TEKNİĞİNİN KULLANILMASI: HALK SAĞLIĞI İNTÖRN STAJ PROGRAMI

Abstract

Amaç: Bu çalışmanın amacı; öğrenci geribildirimlerinin ve kritik olaylar tekniğinin, Ege Üniversitesi Tıp Fakültesi’nde yenilenen Halk Sağlığı intörn staj programını değerlendirmek amacıyla kullanımını değerlendirmektir. Gereç ve yöntem: Kesitsel tipteki araştırmada öğrenci geribildirim formu ve kritik olaylar tekniği veri toplama amacıyla kullanılmıştır. Araştırmaya 2003 döneminin son üç, 2004 döneminin ilk intörn grubu katılmıştır. 5’li Likert ile değerlendirilen geribildirim 86 soru ve stajın genel değerlendirmesinden oluşmaktadır. Verilerin değerlendirilmesinde SPSS kullanılmıştır. Kritik olaylar tekniğinde öğrencilerden staj sürecinde algılarını etkileyen üç olumlu, üç olumsuz olayı yazması istenmiştir. Toplanan olaylar bir ekip tarafından çözümlenmiş ve ilgili başlıklar altında toplanmıştır. Bulgular: Geribildirim formu 121 intörnden (kapsama oranı:%95.2) alınmıştır. Geribildirim sonuçları bazı staj hedeflerinin gerçekleştirilemediğini ortaya koymuştur. Kritik olaylar tekniğinde 133 olay (65’i olumlu, 68’i olumsuz) derlenmiştir. Çözümlemede yaşanan (olumlu/olumsuz) olaylarda danışmanlarla iletişimin başlığı vurgulanmaktadır. Sonuç: Araştırma bulguları staj süreci konusunda önemli bulgular ortaya koymuştur. Staj planlama grubu gerçekleştirilemeyen hedefleri tekrar gözden geçirmiştir. Ayrıca geribildirim formunda gerekli değişiklikler yapılmıştır ve son hali ile halen kullanılmaktadır. Eğitim programında öğrenci geribildirimleri sıklıkla kullanılmasına rağmen tek veri kaynağı olarak kullanılmamalı, eğitici görüşleri gibi programın diğer öğeleri ile ilgili de veriler değerlendirme çalışmalarının içinde yer almalıdır.

Keywords

• eğitim programı değerlendirme, öğrenci geribildirimi, kritik olaylar tekniği, halk sağlığı

References

1. Kern D, Thomas PA, Howard DM, Bass EB. Curriculum Development for Medical Education- A Six-Step Approach. London: The John Hopkins University Pres, 1998.
2. Demirel Ö. Kuramdan uygulamaya Eğitimde program geliştirme. Ankara: PegemA Yayınevi, 2002.
3. Frye AW, Solomon DJ, Lieberman SA, Levine SA. Fitting the Means to the Ends: One School’s Experience with Quantitative and Qualitative Methods in Curriculum Evaluation During Curriculum Change. Med Educ Online 2000;5:1-6.
4. Erden M. Eğitimde Program Değerlendirme. Ankara: Anı Yayınevi, 1998.
5. Wilkes M, Bligh J. Evaluating Educational Interventions. BMJ 1999;318:1269-1272
6. Mohr LB, The Quality of Impact Analysis. American Journal of Evaluation 1999;20:69-84.
7. Fresko B, Nasser F. Interpreting Student Ratings: Consultation, Instructional Modification, and Attitudes Towards Course Evaluation. Studies in Educational Evaluation 2001;27:291-305.
8. El-Hassan K. Students’ Ratings of Instruction: Generalizability of Findings. Studies in Educational Evaluation 1995;21:411-429.

9. Wankat & Oreovicz. Teaching Engineering. Chapter 16 (Evaluation of Teaching), https://engineering.purdue.edu/ChE/News_and_Events/Publications/teaching_engineering/index.html adresinden 12 Haziran 2006 tarihinde ulaşılmıştır.
10. Student Rating Forms. http://teaching.berkeley.edu/bgd/ratingforms.html adresinden 12 Haziran 2006 tarihinde ulaşılmıştır.
11. Jacobs LC. Student Ratings Of College Teaching: What Research Has To Say http://www.indiana.edu/~best/pdf_docs/student_ratings.pdf, adresinden 3 Mayıs 2006 tarihinde ulaşılmıştır.
12. Cashin WE. Student Ratings of Teaching: A Summary of the Research, İdea Paper No. 20, Center for Faculty Evaluation & Development. http://www.idea.ksu.edu/papers/Idea_Paper_20.pdf adresinden 3 Mayıs 2006 tarihinde ulaşılmıştır.
13. Cashin WE. Student Ratings of Teaching: the Research Revisited, İdea Paper No. 32, Center for Faculty Evaluation & Development. http://www.idea.ksu.edu/papers/Idea_Paper_32.pdf adresinden 3 Mayıs 2006 tarihinde ulaşılmıştır.
14. Arreola RA. Developing a Comprehensive Faculty Evaluation System. Bolton: Anker Publishing Company, 2000.
15. Lawall ML. Students Rating Teaching, How Student Feedback Can Inform Your Teaching, Centre for Higher Education Research and Development, The University of Manitoba, 1998.
16. Critical Incidents Technique. http://www.emmus.org/html/frames/guidelines/EmmusWP3/methods/cit.html adresinden 8 Eylül 2003 tarihinde ulaşılmıştır.
17. American Institutes for Research, http://www.air.org/overview/cit.htm adresinden 30 Ocak 2004 tarihinde ulaşılmıştır.
18. Byrne M (2001). Critical incident technique as a qualitative research method - Research Corner - nursing research. AORN Journal. http://articles.findarticles.com/p/articles/mi_m0FSL/is_4_74/ai_80159552/print adresinden 30 Ocak 2004 tarihinde ulaşılmıştır.
19. Ölvingson C, Hallberg N, Timpka T, Greenes RA. Using the Critical Insident Technique to Define a Minimal Data Set for Requirements Elicitation in Public Health. International Journal of Medical Informatics 2002;68: 165-174.
20. Critical Incidents Technique. http://www.usabilitynet.org/tools/criticalincidents.htm adresinden 3 Haziran 2006 tarihinde ulaşılmıştır.
21. Ege Üniversitesi Tıp Fakültesi Halk Sağlığı Stajı Danışman Rehberi. Ege Üniversitesi Tıp Fakültesi Yayın Bürosu. 2001, İzmir
22. Bahar Z, Uysal A, Uğurlu Z. Öğrencilerin Halk Sağlığı Hemşireliği Staj Öncesi / Sonrası Görüşlerinin İrdelenmesi. VI. Ulusal Halk Sağlığı Kongre Kitabı 1998;344
23. Erbaydar S, Tümerdem Y, Akün A, Özbilen T. İstanbul Tıp Fakültesi İntörn Hekimleri Beled,ye Stajını Nasıl Değerlendiriyor? IV. Ulusal Halk Sağlığı Kongre Kitabı 1994;4.
24. Yolsal N, Tümerdem Y, Ayhan B, İnce N, Kıyan A. Kırsal Hekimlik Stajında İntörn Hekimlerin Uygulamalı Aile Planlaması Eğitimi İle İlgili Görüş ve Yorumları. IV. Ulusal Halk Sağlığı Kongre Kitabı 1994;7
25. İlhan MN, Özkan S, Özdil A. Bir Halk Sağlığı Stajı Eğiticileri Ve Eğitim Ortamının Değerlendirilmesi. III. Ulusal Tıp Eğitimi Kongre Kitabı 2004;148.
26. İlhan MN, Özkan S, Özdil A. Bir Tıp Fakültesinde Öğrencilerin Halk Sağlığı Stajı Eğitim Ortamını Değerlendirilmesi. III. Ulusal Tıp Eğitimi Kongre Kitabı 2004;148.
27. Tümerdem Y, Güray Ö, Ayhan B, Gücük M, İnce N, Kıyan A, Özçelik A. İntörn Hekimlerin Sağlık Ocaklarında Kırsal Hekimlik Uygulaması İle İlgili Görüş, Yargı ve Yorumları. IV. Ulusal Halk Sağlığı Kongre Kitabı 1994;11.
28. Yiğitbaş Ç, Yüksel A. Yüzüncü yıl üniversitesi van sağlık yüksek okulu öğrencilerinin halk sağlığı hemşireliği dersinin uygulama alanlarına ilişkin izlenimleri ve çözüm önerileri. 8. Halk Sağlığı Günleri Kongre Kitabı 2003;30.
29. Özbek F, Saltık A. Tıp Fakültelerinde Halk Sağlığı Eğitimi İle Öğrencilere Kazandırılan Bilgi Ve Becerilerin, Mezuniyet Sonrası Gereksinimleri Karşılama Düzeyi. VI. Ulusal Halk Sağlığı Kongre Kitabı 1998;346.