Tıp Fakültesindeki Çoktan Seçmeli Sınav Sorularının Değerlendirilmesi

Abstract

Amaç: Tıp eğitiminde çoktan seçmeli sorular, yüksek kapsam geçerliliği olması, objektifliği, uygulama ve analizinin kolaylığı nedeniyle sık tercih edilir. Ancak, çoktan seçmeli soru hazırlamak ustalık gerektirir. Bu çalışmada Atatürk Üniversitesi Tıp Fakültesi’nde sınavlarda sorulmuş çoktan seçmeli soruların analizinin yapılması (zorluk ve ayırıcılık indeksi) ve Modifiye Bloom Taksonomisi temel alınarak düzeylerinin belirlenmesi amaçlanmıştır. Ayrıca eğitici eğitimi alan ve almayanların soruları, indeks değerlerine göre sınıflandırılmıştır.

Gereç-Yöntem: Kurul ve final sınavlarından rastgele yöntemle on ayrı sınavdan seçilen 945 soru çalışmaya alındı. Modifiye Bloom Taksonomisine göre düzeyleri belirlendi. Soruların zorluk ve ayırıcılık analizleri yapıldı. Veriler, sayı, yüzde, ortalama ve standart sapma olarak verildi.  Sürekli verilerin normallik dağılımı Kolmogorov Smirnov ile test edildi. Verilerin analizinde Ki-kare, bağımsız gruplarda t testi ve tek yönlü ANOVA kullanıldı. Çoklu karşılaştırma Post Hoc LSD testi kullanıldı.

Bulgular: İyi ve çok iyi kalitedeki soru oranı toplam %44,1 (n= 416) idi. Doçentlerin hazırladığı sorular yardımcı doçent ve profesörlere göre ayırıcılık indeksi daha yüksek ancak daha kolaydı. Modifiye Bloom Taksonomisine göre soruların büyük bir kısmı hatırlama ve anlama düzeyindeydi. Soruların düzeye göre zorluğunda fark yokken anlama ve değerlendirme düzeylerindeki sorular daha ayırıcı bulundu (p=0,021). Öğretim üyelerinin eğitici eğitimi alıp almamaları karşılaştırıldığında eğitim alanların soruları daha kolaydı ve ayrıcılıklarında istatistiksel olarak fark bulunmadı (p>0,05).

Sonuç: Sınavlardan sonra madde analizlerinin yapılarak öğretim üyelerine bildirilmesi ile soru kalitesinin arttırılması sağlanabilir. Eğiticilerin soru hazırlama için eğitim almaları önemlidir.

Keywords

• Çoktan Seçmeli soru maddeleri
• zorluk indeksi
• ayırıcılık indeksi

Evaluation of Multiple Choice Questions ( MCQ) Exams at Faculty of Medicine

Abstract

Background: MCQ’s are often preferred due to ease of application and analysis, high content validity, and objectivity. But, skill required for preparing of multiple choice questions (MCQ). In this study we determined the difficulty and discrimination indices as well as classify based on Modify Bloom’s Taxonomy (BT), by analyzing the multiple choice questions present in the examinations held at Ataturk University Medical Faculty. In addition, we classified the MCQ difficulty and discimination indices between those received training course and not.
Methods: Randomly chosen from ten different committee exams and final exams of 945 questions analyzed. Levels were determined according to the Bloom Taxonomy and were performed difficulty of the questions and discrimination indexes. Data were expressed as the number, percentages, mean and standard deviation (SD). Continuous data normality determined by Kolmogorov-Smirnov test. Data Analyzed using chi-Square and t, oneway analysis of variance test. Post Hoc pairwise comparisons were performed using LSD multiple comparisons.
Results: The good quality questions were 44.1% (n= 416). Discrimination index of questions given to Associate professors were higher and easier than compare to Assistant professors and Professors. We assessed difficulty and discrimination index according to the BT level. Greater number of questions were in level of recall and comprehension. Apparently there was no difference in average index of difficulty level in statistically the discrimination index of questions found statistically higher in comprehension and evaluation levels (p=0,021). The difficulty level were found lower in who have received of training course when compared to the group who have not received course. Meanwhile there was no difference questions of discrimination index in these groups.
Conclusions: Quality of questions can be improved by informing faculty members of the post-exam analysis of exam questions. It is therefore imperative that instructors be educated on preparing exam questions.

Keywords

• Multiple-choice test items
• dıffıculty ındex
• discrimination ındex

References

1. Crowe, A., C. Dirks, and M.P. Wenderoth, Biology in bloom: implementing Bloom's Taxonomy to enhance student learning in biology. CBE Life Sci Educ, 2008. 7(4): p. 368-81.
2. Harden, R.M., Laidlaw J.M, Essential Skılls For A Medical Teacher. Written and Computer Based Assesment. 2012.
3. Dent J.A., Harden.R.M., A Practical Guide for Medical Teachers. 2013: p. 307.
4. Haladyna, T.M. and G.A. Kramer, The validity of subscores for a credentialing test. Eval Health Prof, 2004. 27(4): p. 349-68.
5. Collins, J., Education techniques for lifelong learning: writing multiple-choice questions for continuing medical education activities and self-assessment modules. Radiographics, 2006. 26(2): p. 543-51.
6. Cansever, Z., et al., What do trainers think about trainer training courses? J Pak Med Assoc, 2014. 64(5): p. 491-5.
7. Musal B., Eğitici Gelişim Programları: Dokuz Eylül Üniversitesi Tıp Fakültesi Deneyimi Ege Eğitim Dergisi, 2003. 3(1 ): p. 81-88.
8. Gajjar, S., et al., Item and Test Analysis to Identify Quality Multiple Choice Questions (MCQs) from an Assessment of Medical Students of Ahmedabad, Gujarat. Indian J Community Med, 2014. 39(1): p. 17-20.

9. Gopalakrishnan, S. and P.M. Udayshankar, Question vetting: the process to ensure quality in assessment of medical students. J Clin Diagn Res, 2014. 8(9): p. XM01-XM03.
10. Moeen Uz, Z. and A. Badr, Evaluation of mini-essay questions (MEQ) and multiple choice questions (MCQ) as a tool for assessing the cognitive skills of undergraduate students at the Department of Medicine. Int J Health Sci (Qassim), 2011. 5(2 Suppl 1): p. 43-4.
11. Downing, S.M. and T.M. Haladyna, Validity threats: overcoming interference with proposed interpretations of assessment data. Med Educ, 2004. 38(3): p. 327-33.
12. Durak H.İ.,Solakoğlu Z. Tıp Eğitiminin Temelleri. 2012.Sayfa: 69-83.
13. Eğitimde Program Geliştirme (Hedef Belirleme: Bilişsel ,Duyuşsal ve Devinişsel Alanlar) Yrd.Do.Dr Zeynel Kablan ,3.baskı, Ankara ,sayfa 127-159.