-

Abstract

The aim of the study is to determine the reliability of performance scores of the medical education students in the skills by suturing and removal of suture and to investigate the scoring reliability of unbalanced data regarding students, raters, skills, tasks and their interactions by using generalizability theory. The study group consisted of 309 students who attended the Objective Structural Clinical Exam (OSCE) at Hacettepe University. 11 raters from the medical field took part in the assessment of the performance of students. Unbalanced (ö:p)x(g:b) design (ö: student, p: rater, g: task and b: skill) was used in this study. As a result, the variability of raters didn’t cause any differences in scoring. There is no difference in both skills and at each task of skills originating from rater effect. Reliability coefficients obtained by generalizability theory for the performance assessment process of the students’skills of suturing and removal of suture are at the acceptable level

Keywords

• reliability, generalizability theory, unbalanced design

Genellenebilirlik Kuramıyla Dikiş Atma ve Alma Becerileri İstasyonu Güvenirliğinin Değerlendirilmesi

Abstract

Çalışmanın amacı Tıp eğitimindeki öğrencilerin mesleki becerilerinden dikiş atma ve alma becerilerine ait performans puanlarının güvenirliğini belirlemek ve puanlama güvenirliğini öğrenci, puanlayıcı, beceri ve görev etkileşimlerini de dikkate alarak dengelenmemiş verilerde genellenebilirlik kuramıyla incelemektir. Araştırmanın çalışma grubunu Hacettepe Üniversitesi Yapılandırılmış Objektif Klinik Sınavına katılan öğrencilerden 309 öğrenci oluşturmaktadır. Öğrencilerin performans durumlarının puanlanmasında ise tıp alanından 11 puanlayıcı kullanılmıştır. Araştırma kapsamında, öğrencilerin puanlayıcılarla, görevlerin ise becerilerle yuvalandığı ve bu becerilerin tüm öğrenciler için ortak olduğu dengelenmemiş (ö:p)x(g:b) deseni (ö: öğrenci, p:puanlayıcı, g: görev ve b:beceri olmak üzere) kullanılmıştır. Sonuç olarak, puanlayıcı değişkenliği puanlama farklılığına neden olmamaktadır. Her iki beceri bakımından puanlayıcı etkisinden kaynaklı farklılıkların olmadığı, beceri ve ilgili beceriye ait görevlerin puanlayıcıdan puanlayıcıya farklılık göstermediği tespit edilmiştir. Öğrencilerin dikiş atma ve alma becerilerine ait performanslarının belirlenmesi sürecine yönelik genellenebilirlik kuramı ile elde edilen güvenirlik katsayıları ise kabul edilebilir düzeydedir.

Keywords

• Güvenirlik, Genellenebilirlik Kuramı, Dengelenmemiş Desen

References

1. Anıl, D. ve Büyükkıdık, S. (2012). Genellenebilirlik kuramında dört facetli karışık desen kullanımı için örnek bir uygulama. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, Kış 2012, 3(2), 291-296.
2. Atılgan, H. (2008). Using generalizability theory to assess the score reliability of the special ability selection examinations for music education programmes in higher education. International Journal of Research & Method in Education, 31(1), 63-76.
3. Barneveld, C. V. (2005). The dependability of medical students’ performance ratings as documented on in-training evaluations. Academic Medicine, 80(3),309-312.
4. Bergus, G. R. ve Kreiter, C. D. (2007). The reliability of summative judgements based on objective structured clinical examination cases distributed across the clinical year. Medical Education, 41, 661-666.
5. Bloch, R., and Norman, G. (2011). G String 4 User Manual. Web: http://fhsperd.mcmaster.ca/g_string/download/g_string_4_manual_611.pdf
6. Brennan, R. L. (2001). Generalizability theory. New York: Springer- Verlog.
7. Cardinet, J., Johnson, S., & Pini, G. (2010). Applying generalizability theory using EduG . New York, NY: Routledg.
8. Cronbach, L. J., Gleser, G. C., Nanda, H., ve Rajaratnam, N. (1972). The dependability of behavioral measurements: theory of generalizability for scores and profiles. New York: Wiley.

9. Çakıcı Eser, D. (2011). Genellenebilirlik kuramı ve lojistik regresyona dayalı hesaplanan puanlayıcılar arası tutarlılığın karşılaştırılması. Yayımlanmamış Yüksek Lisans Tezi, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
10. Deliceoğlu, G. ve Çıkrıkçı Demirtaşlı, N. (2012). Futbol yetilerine ilişkin dereceleme ölçeğinin güvenirliğinin genellenebilirlik kuramına ve klasik test kuramına dayalı olarak karşılaştırılması. Spor Bilimleri Dergisi, 23(1), 1-12.
11. Gijbels, D. & Dochy, F. (2006). Students’ assessment preferences and approaches to learning: can formative assessment make a difference? Educational Studies, Vol. 32, No. 4, pp. 399–409.
12. Eason, S. H. (1989). Why generalizability theory yields better results than classical test theory. Mid- South Educational Research Association Annual Maeeting: 8-10 November 1989- Little Rock, AR.
13. Feeley, T., H., Manyon, A., T., Servoss, T., J. ve Panzarella, K,.J. (2003). Toward validation of an assessment tool designed to measure medical student’ integration of scientific knowledge and clinical communication skills. Evaluation The Health Professions, 26(2), 222- 233.
14. Güler, N., ve Gelbal, S. (2010). Studying reliability of open ended mathematics items according to classical test theory and generalizability theory. Educational Sciences: Theory and Practice, 10(2), 989-1019.
15. Hatala, R., Marr, S., Cuncic, C. ve Bacchus, C. M. (2011). Modification of an OSCE format to enhance patient continuity in a high stakes assessment of clinical performance. BMC Medical Education,11,23.
16. Kreiter, C. D. ve Ferguson, K. J. (2001). Examining the generalizability of ratings across clerkships using a clinical evaluation form. Evaluation The Health Professions, 24 (1), 36-46.
17. Lane, S., Sabers, D. (1989). Use of generalizability theory for estimating the dependability of a scoring system for sample essays. Applied Measurement In Education, 2(3),195-205.
18. Lee, Y., W. ve Kantor, R. (2007). Evaluating prototype tasks and alternative rating schemes for a new ESL writing test through G theory.International Journal of Testing, 7(4), 353-385.
19. Ludlow, C., B. (2001). Using running records As a Benchmark reading assessment: reliability in assessing reading progress. The Degree of Doctor, BrighamYoungUniversity, Provo.
20. Moss, P. A. (1994). Can there be validity without reliability? Educational Researcher, 23, 5-12.
21. Shavelson, J.R., Mayberry, P., Webb, M. (1990). Generalizability of job performance measurements: marine corps rifleman. Military Pstchology, 2(3), 129-144.
22. Shavelson, J. R., and Webb, N. M. (1991). Generalizability theory: A primer. Newbury Park. CA: Sage Publications.
23. Suen, H. K., and Lei, P.W. (2007). Classical versus generalizability theory of measurement. Educational Measurement, 4, 1-13.
24. Taşdelen Teker, G. (2014). Madde takımlarının güvenirlik ve değişen madde fonksiyonu üzerine etkisi, Yayımlanmamış doktora tezi, Hacettepe Üniversitesi, Ankara.
25. Wang, Z. (2005). Estimating reliability under a generalizability theory model for writing scores in c-base. Master Thesis, Universit of Missouri, Columbia.
26. Yelboğa, A. ve Tavşancıl, E. (2010). Klasik test ve genellenebilirlik kuramı’na göre güvenirliğin bir iş performansı ölçeği üzerinde incelenmesi. Kuram ve Uygulamada Eğitim Bilimleri, 10(3), 1825-1854.
27. Yılmaz Nalbantoğlu, F. ve Gelbal, S. (2011). İletişim becerileri istasyonu örneğinde genellenebilirlik kuramı'yla farklı desenlerin karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 41, 509-518.
28. Yılmaz Nalbantoğlu, F. ve Tavşancıl E. (2014).Intramuskuler enjeksiyon yapma istasyonu verileriyle genellenebilirlik kuramında dengelenmiş ve dengelenmemiş desenlerin karşılaştırılması. Eğitim ve Bilim Dergisi, Cilt 39, Sayı, 175, 285-295.
29. Zibrowski, E. M., Myers, K., Norman, G., and Goldszmidt, M. A. (2011). Relying on others' reliability: challenges in clinical teaching assessment. Teaching and Learning in Medicine, 23 (1), 21 -27.