EVALUATION OF BASIC INTERVIEW SKILLS REALIZED WITH SIMULATED PATIENT APPLICATIONS

Year 2025, Volume: 13 Issue: 3, 766 - 777

Giray Kolcu , Mukadder İnci Başer Kolcu

https://doi.org/10.33715/inonusaglik.1657842

Abstract

Effective communication skills are crucial in healthcare and directly affect patient outcomes and satisfaction. This study aimed to evaluate the interview skills training and scoring process integrated into the training programs of the Süleyman Demirel University Faculty of Medicine Term 3 students. A cross-sectional descriptive quantitative research design was employed, utilizing an interview skills assessment scale developed by simulated patient trainers. Scoring data from student interviews conducted in the 2022-23 and 2023-24 academic years were collected and analyzed. The results revealed significant differences in central tendency and distribution characteristics among the assessment groups, highlighting potential inconsistencies in the scoring models. Peer and self-assessment scores exhibited left-skewed and leptokurtic distributions, which suggest that most scores were higher with fewer lower scores. Simulated patient evaluations showed varying patterns, with SP1 and SP4 scores indicating stricter but consistent scoring, whereas SP2 scores demonstrated a wider range with a tendency toward lower values. The low Cohen's kappa values across the assessment groups suggested inconsistencies in evaluation practices. The scale's reliability, assessed using McDonald's ω and Cronbach's α, indicated a high internal consistency. The study showed that there were differences between raters despite their training aimed at standardizing evaluation criteria. These findings highlight the need for improved rater training, standardization of assessment criteria, and regular calibration sessions to increase the fairness and reliability of performance evaluations. Future research should investigate the factors contributing to assessment differences and aim to calibrate the scoring criteria across different assessment methods.

Keywords

Communication skills , Interview skills , Simulated patient , Medical education.

Ethical Statement

Considering the ethical dimensions of the study, approval number 76/3 was obtained from the SDU ethics committee on 29.05.2024

Thanks

We thank Süleyman Demirel University for supporting this research. The university's facilities and resources have made significant progress in this regard. We are grateful to our faculty members, research assistants, Simulated patients and the technical staff for their assistance. We believe that our study makes a significant contribution to the field of medical education.

SİMÜLE HASTA UYGULAMALARI İLE GERÇEKLEŞTİRİLEN TEMEL GÖRÜŞME BECERİSİNİN DEĞERLENDİRİLMESİ

Abstract

Etkili iletişim becerileri sağlık profesyonelleri için hasta sonuçlarını ve memnuniyetini etkileyen önemli bir beceridir. Bu çalışmanın amacı Süleyman Demirel Üniversitesi Tıp Fakültesi Dönem 3 öğrencilerinin görüşme becerileri eğitimi ve puanlama sürecini değerlendirmektir. Araştırmada kesitsel tanımlayıcı nicel bir araştırma tasarımı kullanılmıştır. Görüşme becerisi rubriği kullanarak 2022-2023/2023-2024 akademik yıllarında yapılan öğrenci görüşmeleri değerlendirilmiştir. Elde edilen puanlama verileri toplanmış ve analiz edilmiştir. Değerlendirme grupları arasında merkezi eğilim ve dağılım özelliklerinde önemli farklılıklar olduğunu ortaya koymuş ve puanlama modellerindeki potansiyel tutarsızlıkları vurgulamıştır. Akran ve öz değerlendirme puanları sola çarpık ve leptokurtik dağılımlar sergilemiş, bu da daha yüksek puanların yoğunlaştığını göstermiştir. Simüle edilen hasta değerlendirmeleri farklı modeller göstermiş, SP1 ve SP4 puanları daha katı ancak tutarlı puanlamaya işaret ederken, SP2 puanları daha düşük değerlere doğru bir eğilimle daha geniş bir aralık göstermiştir. Değerlendirme grupları arasındaki düşük kappa değerleri, değerlendirme uygulamalarındaki tutarsızlıklara işaret etmektedir. McDonald's ω ve Cronbach's α kullanılarak değerlendirilen ölçeğin güvenilirliği, yüksek iç tutarlılığa işaret etmiştir. Çalışmada standardizasyon için eğitim almış olsa dahi puanlayıcılar arasında fark olduğu gösterilmiştir. Bulgular performans değerlendirmelerinde adaleti ve güvenilirliği artırmak için değerlendirici eğitiminin iyileştirilmesi, değerlendirme kriterlerinin standardizasyonu ve düzenli kalibrasyon oturumlarına duyulan ihtiyacı vurgulamaktadır. Gelecekteki araştırmalar, değerlendirme farklılıklarına katkıda bulunan faktörleri araştırmalı ve puanlama kriterlerinin kalibre edilmesi amaçlanabilir

Keywords

Görüşme becerileri , İletişim becerileri , Simüle hasta , Tıp eğitimi.

Ethical Statement

Çalışmanın etik boyutları göz önüne alındığında, 29.05.2024 tarihinde SDÜ etik kurulundan 76/3 numaralı onay alındı

Thanks

Bu araştırmayı desteklediği için Süleyman Demirel Üniversitesi'ne teşekkür ederiz. Üniversitenin olanakları ve kaynakları sayesinde bu konuda önemli ilerlemeler kaydedebildik. Öğretim üyelerimize, araştırma asistanlarımıza, Simule hastalara ve teknik personele yardımları için minnettarız. Çalışmamızın tıp eğitimi alanına önemli bir katkı sağladığına inanıyoruz.

References

• Barrett, S. (2001). The impact of training on rater variability. International Education Journal, 2(1), 49–58.
• Bartlett, A., Pace, J., Arora, A., & Penm, J. (2023). Self-Reflection and Peer-Assessments Effect on Pharmacy Students’ Performance at Simulated Counselling Sessions. Pharmacy, Vol. 11. https://doi.org/10.3390/pharmacy11010005
• Bearman, M., & Nestel, D. (2014). Simulated Patient Methodology: Theory, Evidence and Practice. https://doi.org/10.1002/9781118760673.ch5
• Bokken, L., Linssen, T., Scherpbier, A., van der Vleuten, C., & Rethans, J.-J. (2009). Feedback by simulated patients in undergraduate medical education: a systematic review of the literature. Medical Education, 43(3), 202–210. https://doi.org/10.1111/j.1365-2923.2008.03268.x
• Camerlynck, M., Saunders, A., Attoe, C., Williams, L. M., Cross, S., & Wilson, C. (2022). Interprofessional Simulation Training for Perinatal Mental Health: A Mixed Methods Study. Reproductive Female and Child Health, 1(2), 122–131. https://doi.org/10.1002/rfc2.17
• Carrasco-Guirao, J. J., Leal‐Costa, C., Castaño-Molina, M. de los Á., Ferrer, M. B. C., Molina-Rodríguez, A., Agea, J. L. D., & Martínez, M. (2024). Exploring How Evidence-Based Practice, Communication, and Clinical Simulation Outcomes Interact in Nursing Education: A Cross-Sectional Study. Nursing Reports, 14(1), 616–626. https://doi.org/10.3390/nursrep14010047
• Diaz-Navarro C, Laws-Chapman C, Moneypenny M, & Purva M. (2023). The ASPiH Standards - 2023: guiding simulation-based practice in health and care.
• Güllüdere, H. H., Yardım, S., Sezik, M., & Şenol, Y. (2014). Akran yardımı ile eğitimin tıp eğitiminde kullanımı. Tıp Eğitimi Dünyası, 13(39), 19–25.
• Howley, L. D. (2004). Performance assessment in medical education: Where we’ve been and where we’re going. Evaluation and the Health Professions, 27(3), 285–303. https://doi.org/10.1177/0163278704267044
• Hubert, L. (1977). Kappa revisited. Psychological Bulletin, 84(2), 289.
• Keiser, M. M., & Turkelson, C. (2017). Using students as standardized patients: Development, implementation, and evaluation of a standardized patient training program. Clinical Simulation in Nursing, 13(7), 321–330.
• Kolcu, G., & Başer Kolcu, M. (2024). Bad News Training in SDU.
• Kolcu, G., & Başer Kolcu, M. İ. (2023). Comparison of Different Raters Scores in Simulated Patient Training Program. Internatıonal Journal of Interdıscıplınary Interactıon In Health Scıences, 2(2), 45–54.
• Kolcu, G., & Başer Kolcu, M. İ. (2024). Süleyman Demirel Üniversitesi Tıp Fakültesi Simüle Hasta Laboratuvarı. Akademisyen Kitabevi.
• Kolcu, G., & Başer Kolcu, M. İ. (2025). Evaluation of Süleyman Demirel University Faculty of Medicine Simulated Patient Applications within the Scope of The ASPiH Standards 2023. Medical Journal of Süleyman Demirel University, 32. https://doi.org/10.17343/sdutfd.1506549
• Koo, T. K., & Li, M. Y. (2016). A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research. Journal of Chiropractic Medicine, 15(2), 155–163. https://doi.org/10.1016/j.jcm.2016.02.012
• Kruijver, I. P. M., Kerkstra, A., Kerssens, J. J., HoItkamp, C. C. M., Bensing, J. M., & Wiel, H. B. M. van de. (2001). Communication Between Nurses and Simulated Patients With Cancer: Evaluation of a Communication Training Programme. European Journal of Oncology Nursing, 5(3), 140–150. https://doi.org/10.1054/ejon.2001.0139
• Ljungman, A. G., & Silén, C. (2008). Examination involving students as peer examiners. Assessment & Evaluation in Higher Education, 33(3), 289–300. https://doi.org/10.1080/02602930701293306
• Mahmoud, M. B., Badawey, J. T., Kouki, A. M. K., Malik, L. F., Shakally, S. M. S., & Nasser, A. A. (2023). Effect of Educational Campaign on Interpersonal Communication Skills Among Health Care Professionals: Pre-Post Study, Jeddah, KSA. https://doi.org/10.21203/rs.3.rs-3553849/v1
• McHugh, M. L. (2012). Interrater reliability: the kappa statistic. Biochemia Medica, 22(3), 276–282.
• Mercan, N., Özcan, C. T., & Aydın, M. S. (2018a). Psikiyatride ve İletişim Eğitiminde Simüle Hasta Uygulamaları. Current Approaches in Psychiatry / Psikiyatride Guncel Yaklasimlar, 10(3), 292–301. https://doi.org/10.18863/pgy.364112
• Mercan, N., Özcan, C. T., & Aydın, M. S. (2018b). Psikiyatride ve İletişim Eğitiminde Simüle Hasta Uygulamaları. Psikiyatride Guncel Yaklasimlar - Current Approaches in Psychiatry, 10(3), 292–301. https://doi.org/10.18863/pgy.364112
• Özan, S., & Yurdabakan, İ. (2008). Öz ve Akran Değerlendirmenin Temel İletişim Becerileri Başarısı Üzerindeki Etkileri. Tıp Eğitimi Dünyası, 27(27), 27–39.
• Rae, G. (1988). The Equivalence of Multiple Rater Kappa Statistics and Intraclass Correlation Coefficients. Educational and Psychological Measurement, 48(2), 367–374. https://doi.org/10.1177/0013164488482009
• Sarıkaya, Ö., Uzuner, A., Gülpınar, M. A., Keklik, D., & Kalaça, S. (2004). İletişim becerileri eğitimi: İçerik ve değerlendirme. Tıp Eğitimi Dünyası, 14(14).
• Şenol, Y., Başarıcı, S. (2014). Student Opinions About Standardized Patient Practices: First-Year Results. Journal, 13(41), 19–26.
• Taylor, S., Haywood, M., & Shulruf, B. (2019). Comparison of effect between simulated patient clinical skill training and student role play on objective structured clinical examination performance outcomes for medical students in Australia. Journal of Educational Evaluation for Health Professions, 16, 3. https://doi.org/10.3352/jeehp.2019.16.3
• Terzi, C. (2001). Toplum sağlığına bir köprü: Tıp eğitimi. İstanbul: İletişim Yayınları.
• Walsh, K. (2015). The Future of Simulation in Medical Education. Journal of Biomedical Research. https://doi.org/10.7555/jbr.29.20140138
• Warrens, M. J. (2010). Inequalities between multi-rater kappas. Advances in Data Analysis and Classification, 4, 271–286.
• Yıldırım Sarı, H., & Doğan, P. (2022). Öğrencilerin Görme Engelli Simüle Hasta ile İletişim Becerilerinin Değerlendirilmesi: Pilot Çalışma. Journal of Infant, Child and Adolescent Health, 2(1), 1–10.
• Zolnierek, K. B. H., & DiMatteo, M. R. (2009). Physician Communication and Patient Adherence to Treatment. Medical Care, 47(8), 826–834. https://doi.org/10.1097/mlr.0b013e31819a5acc