Standard Setting in Student Assessment in Medical Education: Setting Cut Scores for An Imaginary Examination

Abstract

Enhancement of measurement and assessment system has an important place within the attempts to improve medical education in Turkey. Efforts to enhance measurement and assessment are mainly focused on issues related to assessment methods and item writing principles. Determination of cut off scores or standard setting as one of the most important issues of assessment is usually ignored. Various standards are used for assessment of students’ competency in medical education. The standards needed for the determination of medical students’ competency make assessment more reliable. It is possible to set cut score for each examination that can be accepted and justified by faculty. The aim of this paper is to present standart setting methods that can be used in student assesment in medical education and literature information related to standart setting period by supporting imaginary fiction examples.

Keywords

• Standard setting, Angoff, criterion based standards, cut off score, assessment in medical education

TIP EĞİTİMİNDE ÖĞRENCİ DEĞERLENDİRMELERİNDE STANDART BELİRLEME: SANAL BİR SINAV KURGUSUNDA GEÇME KALMA SINIRI

Abstract

Ülkemizde tıp eğitiminin iyileştirilmesine yönelik çabalar içerisinde ölçme ve değerlendirme sisteminin geliştirilmesi önemli bir yer alır. Ölçme değerlendirmenin geliştirilmesi için çabalar çoğunlukla değerlendirme yöntemleri ve madde yazım kuralları ile ilişkili konular üzerine odaklanmıştır. Geçme kalma sınırının tanımlanması ya da standart belirleme değerlendirmenin en önemli konularından biri olarak sıklıkla ihmal edilmektedir. Tıp eğitiminde öğrenci yeterliğinin değerlendirilmesi için çeşitli standartlar kullanılır. Tıp öğrencilerinin yeterliliğini tanımlamak için ihtiyaç duyulan bu standartlar değerlendirmelerin daha güvenilir olmasını sağlar. Her bir sınav için öğretim üyelerinin inanabileceği ve savunabileceği bir geçme kalma sınırı belirlemek olasıdır. Bu yazının amacı, tıp eğitimindeki öğrenci değerlendirmelerinde kullanılabilecek standart belirleme yöntemleri ve standart belirleme sürecine ilişkin literatür bilgisini sanal sınav kurgu örnekleri ile destekleyerek sunmaktır.

Keywords

• Geçme kalma sınırı, kesme puanı, Angoff, ölçüt temelli standartlar, tıp eğitiminde değerlendirme

References

1. Linn RL, Miller MD. Chapter 2: The Role of Measurement and Asssesment in Teaching. In Measurement and Assesment in Teaching. New Jersey: Pearson Prentice Hall; 2005.
2. Norcini J, Guille R. Combining Tests and Setting Standarts. In Norman GR, Van der Vleuten CPM, Newble DI, editors. International Handbook of Research in Medical Education. Dordrecht: Kluwer Academic Publishers; 2002. p.811–834.
3. Richer C. Setting Cut Scores: Critical Review of Angoff and Modified-Angoff Methods. http://www.education.ualberta.ca/educ/psych/crame/files/RickerCSSE2003.pdf adresinden 17 Temmuz 2008 tarihinde erişilmiştir.
4. Searle J. Defining Competency-the Role of Standard Setting. Medical Education 2000; 34: 363–366.
5. Shepard L. Standard Setting Issues and Methods. Applied Psychological Measurement. 1980; 4(4): 447–467.
6. Kane M. Choosing Between Examinee-Centered and Test-Centered Standard-Setting Methods. Educational Assesment. 1998; 5(3): 129–145.
7. Verheggen MM, Muıjtjens AMM, Van Os J.Schuwırth LWT. Is an Angoff Standard an Indication of Minimal Competence of Examinees or of Judges? Advances in Health Sciences Education 2008; 13: 203–211.
8. Kramer A, Muijtjens A, Jansen K, Dusman H, TanL, Van der Vleuten C. Comparison of a Rational and an Empirical Standard Setting Procedure for an OSCE. Medical Education. 2003; 37: 132–139.

9. Bandaranayeke RC. Setting and Maintaining Standards in Multiple Choice Examinations: AMEE Guide No. 37. Medical Teacher. 2008; 30: 836–845.
10. Ben-David MF. AMEE Guide No. 18: Standart Setting in Student Assesment. Medical Teacher. 2000; 22(2): 120–130.
11. Şencan H. Sosyal ve Davranışsal Ölçümlerde Güvenirlik ve Geçerlilik. Ankara: Seçkin Yayıncılık, 2005.
12. Livingston SA, Zieky MJ. Passing Scores: A Manual for Setting Standards of Performance on Educational and Occupational Tests, 1982. http://www.ets.org/Media/Research/pdf/passing_scores.pdf adresinden 15 Ağustos 2008 tarihinde erişilmiştir.
13. Downing SM, Tekian A, Yudkowsky R. Procedures for Establishing Defensible Absolute Passing Scores on Performance Examinations in Health Professions Education. Teaching and Learning in Medicine.2006; 18(1): 50–57.
14. Criterion Referenced Performance Standard Setting. Measurement Research Associates. 2004 http://www.measurementresearch.com/media/standards.pdf adresinden 17 Temmuz 2008 tarihinde erişilmiştir.
15. Horn C, Ramos M, Blumer I, Madaus G. Cut Scores: Result May Vary. NBETPP Monographs. The National Board on Educational Testing and Public Policy. 2000; 1(1): 1–31.
16. Norcini J.J. Setting Standards on Educational Tests. Medical Education. 2003; 37: 464–469.