Kulak Burun Boğaz Uzmanlık Eğitiminde 360⁰ Değerlendirme

Abstract

Amaç; Kulak Burun Boğaz (KBB) Uzmanlık eğitiminde uzmanlık öğrencilerinin değerlendirilmesinde 360⁰ değerlendirme yönteminin kullanılabilirliği, uygulamadaki zorluklar ve değerlendiricilerin tepkileri araştırılmıştır. 

Yöntem; İlk aşamada 6 KBB uzmanlık öğrencisi için standart 360⁰ değerlendirme yapıldı. Değerlendirici olarak yedi farklı grup anket doldurmuştur. Ayrıca her uzmanlık öğrencisi hem kendisi ve hem de arkadaşları için değerlendirme yaptılar. Değerlendirme sonucunda düşük puan alınan başlıklar öğretim üyeleri ve uzmanlık öğrencisi ile yüz yüze görüşülmüştür. Araştırmanın ikinci aşamasında uzmanlık öğrencileri ve öğretim üyelerinden, 360⁰ değerlendirme sürecine ilişkin yazılı ve sözlü geri bildirimler alınmıştır. Test güvenilirliği ve öğrenciler arası korelasyon istatistiksel olarak hesaplanmıştır. Nitel değerlendirmede ise geri bildirimler ve araştırmacıların aldığı yazılı notlar, ilgili başlıklar altında toplanarak değerlendirilmiştir.

Bulgular; Toplamda 205 anket doldurulmuştur. Testin alt başlıklarında hesaplanan Cronbach alfa değerleri sonucunda anketlerin güvenilir olduğu görülmüştür. Artan kıdem yılı ile toplanan puanlar arasında pozitif yönde istatistiksel olarak anlamlı ve kuvvetli korelasyon saptanmıştır. Uzmanlık öğrencileri ve değerlendiricilerin 360⁰ değerlendirmeyi olumlu karşıladıkları gözlenmiştir. Eğiticiler sonuçların davranış değişikliğine yol açacağına inanırken, uzmanlık öğrencilerinin de çoğunluğu bu düşünceyi paylaşmıştır. Negatif sonuçların öğrencilere bildirilmesinde ve iyileştirme planları yapılırken zorluklarla karşılaşılmıştır. Ayrıca araştırmada veri toplama ve değerlendirme sürecinin yoğun emek gerektirdiği gözlenmiştir. 

Sonuç; 360⁰d yöntemi KBB uzmanlık öğrencileri, eğiticiler ve değerlendiriciler tarafından ilgiyle karşılanmıştır. Araştırma da 360⁰d tüm aşamalarının çok yoğun emek gerektirdiği görülmüştür. Sonuçların uzmanlık öğrencilerine bildirilmesinde ve danışmanlık süreçlerinde zorluklarla karşılaşılmıştır. Bu nedenlerle, rutin uygulamaya geçmeden önce iyi planlanmış bir hazırlık yapılması tavsiye edilir.

Keywords

• 360 derece değerlendirme,çok kaynaklı geri bildirim,iş başında ölçme değerlendirme

360-degree Evaluation in Otorhinolaryngology Residency Training

Abstract

Background: To investigate the utiliy of the 360-degree evaluation (360°) in Otorhinolaryngology residency training program, barriers in implementation and reactions of the evaluators. 

Methods: Initially, standard 360-degree evaluation was implemented among 6 residents in otorhinolaryngology. Seven different evaluator groups completed the assessment forms. In addition, each resident evaluated both themselves and their peers. After the assessment, headings with low scores were evaluated face to face with the educators and the resident. In the second phase, residents and educators were asked for feedback on the process of 360-degree evaluation. For the quantitative assessment, test reliability and correlation between the residents were examined. For the qualitative assessment, the feedback of the participants and notes of the researchers were investigated.    

Results: A total of 205 forms were completed. The evaluation tool was found reliable according to the Cronbach's Alpha values in the sub-headings. A statistically significant positive correlation was found between the years of seniority and the scores. It was observed that the residents and evaluators reviewed the 360-degree evaluation favourably. The educators believed the results would lead to a change in behavior and the majority of the residents agreed with the statement. On the other hand, it was observed that the process of data collection and assessment took a long time. 

Conclusions: The 360-degree evaluation was welcomed with interest by otorhinolaryngology trainees, trainers, and evaluators. However, it was seen that all stages of the 360-degree evaluation require very intensive labor. Difficulties were encountered in reporting the results to the students and in the counseling process. For these reasons, it is recommended to have a well-planned preparation before routine practice.

Keywords

• 360-degree evaluation,multisource feedback,workplace-based assessment,residency training

References

1. Kaynaklar;1. http://www.tuk.saglik.gov.tr/muf2.1/kulak_burun_bogaz_hastaliklari/kulak_burun_bogaz_hastaliklari_mufredat_v.2.1.pdf (Aralık 2018’de ulaşıldı)
2. 2. http://www.kbb.org.tr/TKBBBBCDData/Document/3092016153854-rehber2016.pdf (Aralık 2018’de ulaşıldı)
3. 3. http://www.kbb.org.tr/tr/files/download/p1c4758uap85t1ata115o1js02ug4.pdf (Aralık 2018’de ulaşıldı)
4. 4. Amin Z, Seng CY, Eng KH. In: Tıp eğitiminde ölçme değerlendirme için pratik rehber. Çeviri editörleri; Kara CO, Sarıoğlu-Büke A. İstanbul: İstabul Tıp Kitabevi, 2011 p.71-74
5. 5. Oktay C, Senol Y, Rinnert S, Cete Y. Utility of 360-degree assessment of residents in a Turkish academic emergency medicine residency program. Turk J Emerg Med. 2016;17:12-156.
6. 6. Senol Y, Dicle O, Durak Hİ. Evaluation of Dermatology Residents Using the Multisource (360-Degree) Assessment Method. Kuwait Medical Journal 2009;41:205-209 7.
7. 7. Tariq M, Boulet J, Motiwala A, Sajjad N, Ali SK. A 360-degree evaluation of the communication and interpersonal skills of medicine resident physicians in Pakistan. Educ Health (Abingdon). 2014;27:269-76
8. 8. Sadeghi T, Loripoor M. Usefulness of 360 degree evaluation in evaluating nursing students in Iran. Korean J Med Educ. 2016;28(2):195-200.

9. 9. Sargeant J, McNaughton E, Mercer S, Murphy D, Sullivan P, Bruce DA. Providing feedback: exploring a model (emotion, content, outcomes) for facilitating multisource feedback. Med Teach. 2011;33(9):744-9
10. 10. Zhao Y, Zhang X, Chang Q, Sun B. Psychometric characteristics of the 360° feedback scales in professionalism and interpersonal and communication skills assessment of surgery residents in China. J Surg Educ. 2013;70(5):628-35.
11. 11. Jani H, Narmawala W, Ganjawale J. Evaluation of Competencies Related to Personal Attributes of Resident Doctors by 360 Degree. J Clin Diagn Res. 2017;11(6):JC09-JC11.
12. 12. Ferguson J, Wakeling J, Bowie P. Factors influencing the effectiveness of multisource feedback in improving the professional practice of medical doctors: a systematic review. BMC Med Educ. 2014, 11;14:76.
13. 13. Yama BA, Hodgins M, Boydell K, Schwartz SB. A qualitative exploration: questioning multisource feedback in residency education. BMC Med Educ. 2018; 24;18:170.
14. 14. Nurudeen SM, Kwakye G, Berry WR, Chaikof EL, Lillemoe KD, Millham F, Rubin M, Schwaitzberg S, Shamberger RC, Zinner MJ, Sato L, Lipsitz S, Gawande AA, Haynes AB Can 360-Degree Reviews Help Surgeons? Evaluation of Multisource Feedback for Surgeons in a Multi-Institutional Quality Improvement Project. J Am Coll Surg. 2015;221(4):837-44.
15. 15. Faucett EA, McCrary HC, Barry JY, Saleh AA, Erman AB, Ishman SL. High-Quality Feedback Regarding Professionalism and Communication Skills in Otolaryngology Resident Education. Otolaryngol Head Neck Surg. 2018;158(1):36-42.
16. 16. Bhatti NI, Ahmed A, Stewart MG, Miller RH, Choi SS. Remediation of problematic residents--A national survey. Laryngoscope. 2016;126(4):834-8.
17. 17. Karabilgin ÖS. Ege Üniversitesi Tıp Fakültesi İç hastalıkları anabilim dalı asistan eğitimi için iletişim becerileri program tasarımı ve uygulaması. Tıp Eğitimi Dünyası 25-34 (25) 20077.
18. 18. Özdemir S, Kara CO. Kulak burun boğaz hastalıklarında hasta-hekim iletişimi. in Kulak Burun Boğaz Hastalıkları ve Baş Boyun Cerrahisi Editör: Can Koç. Ankara: Güneş Tıp Kitabevleri, 2013 p.3-11
19. 19. Kara CO, Daloğlu M. Kulak burun boğaz uzmanlık eğitim programları standartizasyonu: Öğrenciler ve eğiticiler konuşuyor Tıp Eğitimi Dünyası 72-75 (51) 2018
20. 20. Faucett EA, Barry JY, McCrary HC, Saleh AA, Erman AB, Ishman SL. Otolaryngology Resident Education and the Accreditation Council for Graduate Medical Education Core Competencies: A Systematic Review. JAMA Otolaryngol Head Neck Surg. 2018 1;144(4):360-370
21. 21. Sarıoğlu Büke A, Karabilgin Öztürkçü ÖS, Yılmaz Y, Sayek İ. Core Professionalism Education in Surgery: A Systematic Review. Balkan Med J. 2018;35(2):167-173.
22. 22. Kara CO, Mengi E, Tümkaya F, Topuz B, Ardıç FN. Direct Observation of Procedural Skills in Otorhinolaryngology Training. Turk Arch Otorhinolaryngol 2018; 56: 7-14
23. 23. Kara CO, Mengi E, Tümkaya F, Ardıç FN, Şenol H. Adaptation of an “Objective Structured Assessment of Technical Skills” for adenotonsillectomy into Turkish: A Validity and Reliability Study. Turk Arch Otorhinolaryngol (baskıda)