Distractor Analysis Based on Item Difficulty Index and Item Discrimination Index

Year 2020, , 224 - 240, 15.01.2020

Burcu Hasançebi , Yüksel Terzi , Zafer Küçük

https://doi.org/10.17714/gumusfenbil.615465

Cited By: 42

Abstract

One of the most important factors that should be examined
when determining the performance of a multiple-choice item in the measuring
instrument is the effectiveness of distractors. The performance of the items
formed with effective distractors is higher. At this point, the process of
preparation of distractors also plays an effective role. It is important to
note that a strong and effective distractor does not carry any information
about the correct answer. Investigating the reason why respondents chose
distractors in a measuring instrument consisting of quality items is an
important part of the item analysis process. When calculating item statistics
during the known item analysis process, wrong answer options, i.e. distractors,
are not included in the calculation. In distractor analysis, the power of these
false answer options, which are not included in item analysis, is investigated
and comments are made on the quality of these options. Thus, it is possible to
have an idea of how the item of interest works in the measuring instrument. In
this study, Statistical Literacy Test was applied to the students of the
Department of Econometrics, Faculty of Economics and Administrative Sciences,
Karadeniz Technical University, and distractor analysis was conducted for the
items covered by the test. The analyzes were performed with the help of R
software. Based on the results obtained, comments were made about whether the
distractors in the items were effective and strong.

 

Keywords

Distractor, Item, Item Analysis, Measuring instrument

Madde Güçlük İndeksi ve Madde Ayırt Edicilik İndeksine Dayalı Çeldirici Analizi

Abstract

Çoktan
seçmeli bir maddenin ölçme aracı içerisindeki performansı belirlenirken
incelenmesi gereken en önemli unsurlardan biri de çeldiricilerin etkinliğidir.
Etkin çeldiricilerle oluşturulmuş maddelerin performansları daha yüksek
olmaktadır. Bu noktada çeldiricilerin hazırlanma süreci de etkili bir rol
oynamaktadır. Güçlü ve etkin bir çeldiricinin doğru cevapla ilgili herhangi bir
bilgi taşımaması dikkat edilmesi gereken en önemli hususlardandır. Kaliteli
maddelerden oluşan bir ölçme aracında cevaplayıcıların çeldiricileri neden
seçtiğini araştırmak madde analiz sürecinin önemli bir kısmını oluşturmaktadır.
Bilinen madde analizi sürecinde madde istatistikleri hesaplanırken yanlış cevap
seçenekleri yani çeldiriciler hesaplamaya dahil edilmemektedir. Çeldirici
analizinde ise madde analizinde hesaba dahil edilmeyen bu yanlış seçeneklerinin
gücü araştırılıp bu seçeneklerin kalitesi ile ilgili yorumlar yapılmaktadır.
Böylelikle ilgilenilen maddenin ölçme aracı içinde nasıl çalıştığı ile ilgili
fikir sahibi olmak mümkündür. Bu çalışmada Karadeniz Teknik Üniversitesi
İktisadi ve İdari Bilimler Fakültesi Ekonometri Bölümü öğrencilerine İstatistik
Okuryazarlık Testi uygulanmış ve test kapsamındaki maddeler için çeldirici
analizi yapılmıştır. Analizler R yazılımı yardımıyla yapılmıştır. Elde edilen
sonuçlardan hareketle maddelerdeki çeldiricilerin etkin ve güçlü çeldiriciler
olup olmadıkları ile ilgili yorumlar yapılmıştır.

Keywords

Çeldirici, Madde, Madde İstatistikleri, Ölçme Aracı

References

• Alagumalai, S. and Keeves, J.P.,1999. Distractors—Can They Be Biased too? Journal of Outcome Measurement, 3(1), 89-102.
• Allen, D. D., 2012. Validity and Reliability of the Movement Ability Measue: A Self-Report Instrument Proposed for Assessing Movement Across Diagnoses and Ability Levels. Physical Thearapy, 87(7), 899-916.
• Attali, Y. and Fraenkel, T., 2000. The Point-Biserial As A Discrimination Index for Distractors in Multiple-Choice Items: Deficiencies in Usage and An Alternative. Journal of Educational Measurement, 37(1), 77–86.
• Baykul, Y., 2000. Eğitimde ve Psikolojide Ölçme: Klasik Test Teorisi ve Uygulaması. ÖSYM Yayınları, Ankara, 504s.
• De Grutijter, D. N. and Van der Kamp, L. J., 2008. Statistical Test Theory for the Behavioral Sciences. Chapman&Hall, London, 280p.
• DeVellis, R. F., 2006. Quantitative and Issues and Approaches: Classical Test Theory (CTT) and Item Response Theory (IRT). Medical Care, 44(11), 50-59.
• Flanagan, J. C., 1952. The effectiveness of short methods for calculating correlation coefficients. Psychological Bulletin, 49(4), 342-348.
• Gajjar, S., Sharma, R., Kumar, P. and Rana, M., 2014. Item and Test Analysis to Identify Quality Multiple Choice (MCQs) from An Assessment of Medical Students of Ahmedabad, Gujarat. Indian Journal of Community Medicine, 39(1), 17-20.
• Gierl, N.J., Bulut, O., Guo, Q. and Zhang, X., 2017. Developoing, Analyzing and Using Distractors for Multiple-Choice Tests in Education: A Comprehensive Review. Review of Educational Research, 87(6), 1082-1116.
• Güler, N., 2008. Klasik Test Kuramı Genellenebilirlik Kuramı ve Rasch Modeli Üzerine Bir Araştırma. Doktora Tezi, Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara, 135s.
• Haladyna, T. M., 2016. Item Analysis for Selected-Response Test Items. Handbook of Test Development. Lane, S., Raymond, M. and Haladyna, T. (Eds.), NY: Routledge, New York. pp.392-409.
• Haladyna, T. M. and Downing, S. M., 1993. How Many Options is Enough for A Multiple-Choice Item? Educational and Psychological Measurement, 53(4), 999–1010.
• Hambleton, R. and Jirka, S., 2006. Anchor-Based Methods for Judgmentally Estimating Item Statistics. Handbook of Test Development. Downing, S. and Haladyna, T. (Eds.), NJ: Erlbaum, Mahwah. pp. 399–420.
• Hingorjo, M.R. and Jaleel, F., 2012. Analysis of One-Best MCQs: The Difficulty, Discrimination Index and Discrimination Efficiency, Journal of Pakistan Medical Association, 62(2), 142-147.
• Kelly, F.J., 1914. Teacher’s Marks: Their Variability and Standardization. Colombia University, New York, 160p.
• Kelly, F.J.,1916. The Kansas Silent Reading Tests. The Journal of Educational Psychology, 7(2), 62-80.
• Schmitt, A.P. and Dorans, N.J.,1990. Differential Item Functioning for Minority Examinees on the SAT, Journal of Educational Measurement, 27(1), 67-81.
• Stalnaker, J. M. and Stalnaker, R. C., 1935. Chance vs. Selected Distractors in a Vocabulary Test. Journal of Educational Psychology, 26(3), 161-168.
• Şencan, H., 2005. Sosyal ve Davranışsal Ölçümlerde Güvenilirlik ve Geçerlilik. Seçkin Yayıncılık, Ankara, 865s.
• Tekin, H. 1977. Eğitimde Ölçme ve Değerlendirme. Mars Matbaası, Ankara, 328s.
• Thissen, D., Steinberg, L., and Fitzpatrick, A.R.,1989. Multiple-Choice Models: The Distractors Are Also Part of the Item, Journal of Educational Measurement, 26(2), 161-176.
• Tomak,L., 2013. Madde Analizi ve Tıp Fakültesi Sınavlarının Değerlendirilmesi, Doktora Tezi, Ondokuz Mayıs Üniversitesi Fen Bilimleri Enstitüsü. Samsun, 157s.
• Turgut, M.F., 1977. Eğitimde Ölçme Teknikleri. Nüve Matbaası, Ankara.
• Uyar, Ş. ve Doğan, N., 2014. Pısa 2009 türkiye örnekleminde öğrenme stratejileri modelinin farklı gruplarda ölçme değişmezliğinin incelenmesi, International Journal of Turkish Education Science, 2014(3), 30-43.
• Wang, W.C., 1998. Rasch Analysis of Distractors in Multiple-Choice Items. Journal of Outcome Measurement, 2(1), 43–65.
• Wind, S.A., Alemdar, M., Lingle, J.A., Moore, R. and Asilkalkan, A., 2019. Exploring Student Understanding of the Engineering Design Process Using Distractor Analysis, Journal of STEM Education, 6(4).