Use of Measurement and Assessment in Multiple Choice Questions (MCQ’s): Item Analysis Sample

Abstract

Objective: This study was conducted to test the reliability of questions and answers in MCQ’s by using item analysis.
Methods: In the evaluation of MCQ’s in terms of standard and quality, item analysis method is used. The students answers to the items are examined with item analysis method and information is provided about the reliability and validity level of the exam. In our study, the final exam of Orthopedic Rehabilitation course, which consists of 20 multiple choice questions applied to 79 students, was selected. Item difficulty and item discrimination were determined for the questions. Reliability of the test was evaluated with Kuder Richardson (KR) 20.
Results: As a result of the analysis, the highest score obtained from the test was found to be 85 and the average score was 58.5. When the item difficulty was evaluated for the questions, it was seen that the values ranged between 0.11-0.91 and there was an intermediate difficulty test (0.59). It was determined that item discrimination was between -0.02 and 0.56 and the level of item disrcimination of the questions were moderate. The degree of discrimination was found to be 0.30. When the reliability of the test was examined, KR-20 value was found to be 0.56.
Conclusion: The orthopedic rehabilitation lesson of the multiple choice final exam which we have done; was determined that there is a medium difficulty and medium discrimination test for our students, a test on the border in terms of reliability and questions should be revised. We believe that the necessary improvement, correction and revision of the questions will increase the efficiency of the course.

Keywords

• Measurement and Evaluation
• Multiple choice question
• Item Analysis
• Item Discrimination

Çoktan Seçmeli Sınavlarda Kullanılan Ölçme ve Değerlendirme Sisteminin Uygulanması: Madde Analiz Örneği

Abstract

Amaç: Bu çalışma, madde istatistik analizleri kullanılarak çoktan seçmeli sınavlarda, soru ve cevapların güvenirliğini test etmek amacıyla yapıldı.
Gereç ve Yöntem: Çoktan seçmeli sınavın standart ve kalite açısından değerlendirilmesinde madde analiz yöntemi kullanılır. Madde analiz yöntemiyle öğrencilerin maddelere verdiği yanıtlar incelenerek sınavın güvenirlik ve geçerlik düzeyi hakkında bilgi sağlanır. Çalışmamızda örnek olarak Ortopedik Rehabilitasyon dersi Final Sınavı seçildi. 20 soruluk çoktan seçmeli sınav 79 öğrenciye uygulandı. Test sonuçları istatistik programına işlendi. Sorular için madde güçlüğü ve madde ayırt ediciliği belirlendi. Kuder Richardson 20 (KR-20) ile testin güvenirliği değerlendirildi.
Bulgular: Analiz sonucunda testten alınan en yüksek puanın 85, ortalama puanın ise 58,5 olduğu bulundu. Sorular için madde güçlüğü incelendiğinde, değerlerin 0,11 ile 0,91 arasında değiştiği ve orta güçlükte (0,59) bir sınav olduğu görüldü. Madde ayırt ediciliklerinin -0,02 ile 0,56 arasında değiştiği ve sınavın orta ayırt edicilikte olduğu belirlendi. Testin ayırt edebilme derecesinin 0,30 olduğu tespit edildi. Testin güvenirliği incelendiğinde KR-20 değerinin 0,56 olduğu görüldü.
Sonuç: Yapmış olduğumuz ortopedik rehabilitasyon dersi çoktan seçmeli final sınavının; öğrencilerimiz için orta güçlükte ve orta ayırt edicilikte bir sınav olduğu, güvenirlik yönünden ise sınırda bir test olduğu ve soruların tekrar gözden geçirilmesi gerektiği belirlendi. Derse yönelik gerekli iyileştirme, düzeltme ve soruların tekrar gözden geçirilmesinin, derse yönelik verimi artıracağı görüşündeyiz.

Keywords

• Ölçme ve Değerlendirme
• Çoktan Seçmeli Sınav
• Madde Analizi
• Madde Ayırt Ediciliği

References

1. Considine, J., Botti, M., & Thomas, S. (2005). Design, format, validity and reliability of multiple choice questions for use in nursing research and education. Collegian, 12(1), 19-24.
2. Çelik, D. (2000). Okullarda Ölçme Değerlendirme Nasıl Olmalı?(1. Baskı). Ankara: MEB Yayınları.
3. Durak, H. İ. (2002). Eğitimde ölçme ve değerlendirmenin (sınama) öğretim üyeleri tarafından bilinmesi gereken temel ilkeleri. Tıp Eğitimi Dünyası, 7(7).
4. Eskiocak S., Gökmen S. S., Erbaş H., Çakır E., Gülen Ş.(2004). Trakya üniversitesi tıp fakültesinde son 5 yılda yapılan biyokimya sınav sorularının analizi. Türk Biyokimya Dergisi [Turkish Journal of Biochemistry-Turk J Biochem], 29(4), 273-276.
5. Gajjar, S., Sharma, R., Kumar, P., & Rana, M. (2014). Item and test analysis to identify quality multiple choice questions (MCQs) from an assessment of medical students of Ahmedabad, Gujarat. Indian journal of community medicine: official publication of Indian Association of Preventive & Social Medicine, 39(1), 17.
6. Garg R., Kumar V., Maria J. (2019). Analysis of multiple choice questions from a formative assessment of medical students of a medical collage in Delhi İndia. Int J Res Med Sci 7(1):174-177.
7. Karelia, B. N., Pillai, A., & Vegada, B. N. (2013). The levels of difficulty and discrimination indices and relationship between them in four-response type multiple choice questions of pharmacology summative tests of year II MBBS students. IeJSME, 7(2), 41-46.
8. Kaur M., Singla S., Mahajan R. (2016). Item analysis of in use multiple choice questions in pharmacology. Int J Appl Basic Med Res, 6(3):170-173.

9. Kelley, T. L. (1939). The selection of upper and lower groups for the validation of test items. Journal of educational psychology, 30(1), 17.
10. Kheyami D., Jaradat A., Al-Shibani T.,Ali F. A. (2018). Item analysis of multiple choice questions at the department of paediatrics, Arabian Gulf University, Manama, Bahrain. Sultan Qaboos University Med J, 18(1), 68-74.
11. Kolte, V. (2015). Item analysis of multiple choice questions in physiology examination. Indian J of Basic & Applied Medical Research, 4(4), 320-326.
12. Mahjabeen, W., Alam, S., Hassan, U., Zafar, T., Butt, R., Konain, S. ve diğerleri. (2018). Difficulty index, discrimination index and distractor efficiency in multiple choice questions. Annals of PIMS-Shaheed Zulfiqar Ali Bhutto Medical University, 13(4), 310-315.
13. Mehta, G., & Mokhasi, V. (2014). Item analysis of multiple choice questions-an assessment of the assessment tool. Int J Health Sci Res, 4(7), 197-202.
14. Obon, A. M., & Rey, K. A. M. (2019). Analysis of Multiple-Choice Questions (MCQs): Item and Test Statistics from the 2nd Year Nursing Qualifying Exam in a University in Cavite, Philippines. In Abstract Proceedings International Scholars Conference, 7(1), 499-511.
15. Patel, R. M. (2017). Use of Item analysis to improve quality of Multiple Choice Questions in II MBBS. Journal of Education Technology in Health Sciences, 4(1), 22-29.
16. Singh T. (2012). Item analysis and Question Banking In: Principles of Assessment in Medical Education. 1st ed. New Delhi: Jaypee Brothers Medical Publishers Ltd.
17. Singh, T., Gupta, P., & Singh, D. (2009). Principles of medical education. Jaypee Brothers Medical Publishers.
18. Tekin, H. (2000). Eğitimde Ölçme ve Değerlendirme. 14. Bas., Ankara: Yargı Yayıncılık. Topal, K., Aybek, H., Kara, C. O., Büke, A., & Aybek, Z. (2008). Paü tıp fakültesi dönem 1 öğrencilerine 2006-2007 eğitim ve öğretim Yılında uygulanan çoktan seçmeli sınavların madde ve test analizleri. Pamukkale Tıp Dergisi, (3), 120-126. Yılmaz H. (2004) Eğitimde ölçme ve değerlendirme, Konya, Çizgi Kitabevi.