Checklists for Selected-Response and Supply-Type Item Writing and Review

Year 2023, Issue: 58, 2473 - 2493, 27.12.2023

Rabia Karatoprak Erşen , Tuba Gündüz

https://doi.org/10.53444/deubefd.1279240

Cited By: 1

Abstract

Educational and psychological measurement instruments are used to make decisions about various contexts such as assessment of learning, research about educational achievement, guiding individuals about their skills, selecting employees, development of educational tools, or evaluating educational programs. The validity of the scores obtained from these instruments and thus the items, of which the instruments consist, affect the consequences of these decisions. Therefore, not only the objective or construct items intended to measure but also how items are written requires extensive thought. The purpose of this study was to develop comprehensive checklists to be used for writing, editing, and reviewing the selected-response and supply-type items. These checklists can provide systematic feedback before, during, and after item writing in terms of planning, diagnosing defects, and evaluating the quality of the item. This checklist can be useful in item writing practices of a wide range of audiences such as measurement specialists who are asked for an expert opinion on newly written items or who are asked to deliver training on item writing; researchers who develop their data collection tools; teachers or lecturers who write items for measuring learning objectives.

Keywords

item writing, item editing, test development, selected-response items, supply-type items, educational assessment

Seçme ve Katkı gerektiren Maddelerin Yazımı ve Düzenlenmesi için Kontrol Listeleri

Abstract

Eğitimde ve psikolojide ölçme ve değerlendirme alanında en önemli nokta ölçme araçlarından elde edilen ölçümlerin geçerliğidir. Maddenin nasıl yazıldığı maddelerden elde edilen ölçümlerin geçerliğini etkilemektedir. Alanyazında madde yazımına rehberlik edebilmesi, eğitsel araç-gereç olarak kullanılabilmesi amacıyla hazırlanmış kontrol listeleri bulunmaktadır. Mevcut kontrol listelerinin çoğunluğunun çoktan seçmeli madde türü için uygun olduğu, diğer madde türleri için geliştirilenlerin az sayıda olduğu tespit edilmiştir. Bununla birlikte diğer madde türlerine özgü geliştirilen kontrol listeleri incelendiğinde ölçütlerinin örtüşse de birlik sağlanmaması bu çalışmanın yapılmasını gerekli kılmıştır. Bu çalışma ile öncelikle tüm madde türleri için ortak madde yazım ilkelerine yönelik bir kontrol listesi hazırlanmış, ardından seçme gerektiren ve katkı gerektiren her bir madde türü için kapsamlı madde yazım kontrol listeleri hazırlanmıştır. Bu doğrultuda çoktan seçmeli, doğru-yanlış, eşleştirme, kısa cevaplı, boşluk doldurma ve uzun yanıtlı madde yazımı için kontrol listelerinin ölçütleri tek tek ele alınmış ve bir bütün halde sunulmuştur. Bu kontrol listelerinin madde yazılmadan önce planlanması açısından, madde yazılırken biçimlendirici görevi üstlenerek dönüt sağlaması açısından ve madde yazıldıktan sonra maddenin kontrol edilmesi açısından kullanışlı birer araç olacağı düşünülmektedir. Böylece ölçme sürecinde maddeyi cevaplayan bireyler için nitelikli göstergelerin kullanımıyla oluşturulan testler ile bireyler hakkında geçerliği, güvenirliği yüksek ve adil veriler elde edilebilir.

Keywords

madde yazımı, madde düzenleme, test geliştirme, seçme gerektiren maddeler, katkı gerektiren maddeler.

References

• Abdulghani, H. M., Ahmad, F., Irshad, M., Khalil, M. S., Al-Shaikh, G. K., Syed, S., Aldrees, A. A., Alrowais N., ve Haque, S. (2015). Faculty development programs improve the quality of Multiple Choice Questions items' writing. Scientific Reports, 5(1), 1-7. https://doi.org/10.1038/srep09556
• American Educational Research Association, American Psychological Association ve National Council on Measurement in Education. (2014). Standards for educational and psychological testing. Washington, DC: American Educational Research Association.
• Anderson, L.W. (Ed.), Krathwohl, D.R. (Ed.), Airasian, P.W., Cruikshank, K.A., Mayer, R.E., Pintrich, P.R., Raths, J. ve Wittrock, M.C. (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s Taxonomy of Educational Objectives (Complete edition). New York: Longman.
• Aybek, E. C., Kula Kartal, S. ve Yıldırım, Ö. (2022). Millî Eğitim Bakanlığı tarafından yayınlanan test maddelerinin madde yazım ilkelerine uygunluğunun incelenmesi . Boğaziçi Üniversitesi Eğitim Dergisi , Özel Sayı , 357-374 . doi: 10.52597/buje.1016634
• Atalmış, E., H. (2019). Eğitimde ölçülen özellikler ve aşamalı sınıflaması. Çetin, B. (Ed.). Eğitimde Ölçme ve Değerlendirme (s. 85-104) içinde. Ankara: Anı.
• Baykal, A. (2014). Sınav Hazırlayan Öğretmenler İçin Soru Yazım Kılavuzu. İstanbul: Bahçeşehir Üniversitesi Yayınları. https://www.academia.edu/9685890/SINAV_SORUSU_NASIL_YAZILMALI adresinden 15 Mart 2023 traihinde alınmıştır.
• Baykul, Y. (2000). Eğitimde ve psikolojide ölçme. Ankara: ÖSYM Yayınları.
• Başol, G. (2019). Geleneksel ölçme ve değerlendirme araçları. Eğitimde ölçme ve değerlendirme (6. Baskı, s. 25-69) içinde. Ankara: Pegem A Akademi.
• Berberoğlu, G. (2006). Sınıf içi ölçme ve değerlendirme teknikleri. İstanbul:Morpa
• Bloom, B.S. (Ed.), Engelhart, M. D., Furst, E. J., Hill, W. H. ve Krathwohl, D.R. (1956). Taxonomy of educational objectives: The classification of educational goals. Handbook 1: Cognitive domain. New York: David McKay
• Burton, S. J., Sudweeks, R. R., Merrill, P. F. ve Wood, B. (1991). How to Prepare Better Multiple Choice Test Items. Guidelines for university faculty (Doctoral dissertation, Brigham Young University. Department of Instructional Science).
• Daneshjou, R., Barata, C., Betz-Stablein, B., Celebi, M. E., Codella, N., Combalia, M., Guitera, P., Gutman, D., Halpern, A., Helba, B., Kittler, H., Kose, K., Liopyris, K., Malvehy, J., Seog H. S., Soyer, H. P., Tkaczyk, E. R., Tschandl, P. ve Rotemberg, V. (2022). Checklist for evaluation of image-based artificial intelligence reports in dermatology: CLEAR Derm consensus guidelines from the International Skin Imaging Collaboration Artificial Intelligence Working Group. JAMA dermatology, 158(1), 90-96.
• Doğan, N. (2020a). Geleneksel ölçme ve değerlendirme teknikleri I: Yanıtı seçmeyi gerektiren ölçme araçları. N. Doğan, (Ed.), Eğitimde ölçme ve değerlendirme (2. Baskı, s. 114-139) içinde. Ankara: Pegem A Yayıncılık.
• Doğan, N. (2020b). Geleneksel ölçme ve değerlendirme teknikleri II: Yanıtı yapılandırmayı gerektiren ölçme araçları. N. Doğan, (Ed.), Eğitimde ölçme ve değerlendirme (2. Baskı, s. 140-181) içinde. Ankara: Pegem A Yayıncılık.
• Downing, S. M. (2002). Construct-irrelevant variance and flawed test questions: Do multiple-choice item-writing principles make any difference? Academic Medicine, 77(10), 103-104.
• Downing, S. M. (2005). The effects of violating standard item writing principles on tests and students: the consequences of using flawed test items on achievement examinations in medical education. Advances in health sciences education, 10, 133-143.
• Downing, S.M. (2006a). Selected-response item formats in test development. S.M. Downing ve T.M. Haladyna (Ed.), Handbook of test development (s. 287–301) içinde. Mahwah, NJ: Erlbaum.
• Downing, S.M. (2006b). Twelve steps for effective test development. S. M. Downing ve T. M. Haladyna (Ed.), Handbook of test development (s. 3-25) içinde. Mahwah, NJ: Erlbaum.
• Downing, S. M. ve Haladyna, T. M. (2009). Validity and its threats. S.M. Downing ve R. Yudkowsky (Ed.), Assessment in health professions education (s. 21–55) içinde. New york, NY: Routledge.
• Ebel, R. L. (1951). Writing the test item. E. F. Linquist (Ed.), Educational measurement (5. Baskı, s. 185–249) içinde. Washington, DC: American Council on Education.
• Gierl, M. J., Bulut, O., Guo, Q. ve Zhang, X. (2017). Developing, analyzing, and using distractors for multiple-choice tests in education: A comprehensive review. Review of Educational Research, 87(6), 1082-1116.
• Gültekin, S. (2019). Testlerde kullanılacak madde türleri, hazırlama ilkeleri ve puanlaması. N. Çıkrıkçı, (Ed.), Eğitimde ölçme ve değerlendirme (5. Baskı,s. 145-222) içinde. Ankara: Anı Yayıncılık.
• Gündüz, T. & Aydoğan, S. (13 Aralık 2021). Sınıf içi değerlendirmelerde çoktan seçmeli madde yazımına ilişkin kontrol listesi. 11th International Congress on Social Sciences - Humanities and Education’da sunulan bildiri. İstanbul, Türkiye.
• Haladyna, T. M. (2004). Developing and validating multiple-choice test items. Routledge.
• Haladyna, T. M., & Downing, S. M. (1989). A taxonomy of multiple-choice item-writing rules. Applied measurement in education, 2(1), 37-50, doi: 10.1207/s15324818ame0201_3.
• Haladyna, T. M., Downing, S. M. ve Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309-333. doi: 10.1207/S15324818AME1503_5
• Haladyna, T. M., ve Rodriguez, M. C. (2013). Developing and validating test items. New York, NY: Routledge. Kan, A. (2020). Ölçme aracı geliştirme. S. Tekindal (Ed.), Eğitimde ölçme ve değerlendirme (6. Baskı, s. 241-277) içinde. Ankara: Pegem Akademi.
• Karakaya, İ. (2022). Açık uçlu maddelerin hazırlanması ve incelenmesi. Karakaya, İ. (Ed.) Açık uçlu soruların hazırlanması, uygulanması ve değerlendirilmesi (ss. 39-75) içinde. Pegem Akademi.
• Mayenga, C. (25 Mayıs 2009). Mapping item writing tasks on the item writing ability scale. CSSE-17th Annual Conference’da sunulan sözel bildiri, Carleton University, Ottawa, Canada.
• Milli Eğitim Bakanlığı (MEB), (2023, 7 Nisan). Akademik Becerilerin İzlenmesi ve Değerlendirilmesi Projesi. https://abide.meb.gov.tr/proje-hakkinda.asp
• Miller, M. D., Linn, R. L. ve Gronlund, N. E. (2009a). Constructing Objective Test Items: Simple Forms. Measurement and assessment in teaching (10. Baskı, s. 171-193) içinde. NY: Pearson.
• Miller, M. D., Linn, R. L. ve Gronlund, N. E. (2009b). Constructing Objective Test Items: Multiple-Choice Forms. Measurement and assessment in teaching (10. Baskı, s. 194-217) içinde. NY: Pearson.
• Miller, M. D., Linn, R. L. ve Gronlund, N. E. (2009c). Measuring Complex Achievement: Essay Questions. Measurement and assessment in teaching (10. Baskı, s. 236-259) içinde. NY: Pearson.
• Mutluer (2023). Geçerlik ve güvenirlik. A. İlğan ve A. Ekinci, (Ed.), Eği̇ti̇mde araştırma yöntemleri̇ (s. 169-210) içinde. Ankara: Pegem Akademi.
• Naeem, N., van der Vleuten, C. ve Alfaris, E. A. (2012). Faculty development on item writing substantially improves item quality. Advances in health sciences education, 17(3), 369-376.
• Nathan, R. G., & Smith, M. F. (1992). Students' evaluations of faculty members' teaching before and after a teacher-training workshop. Academic Medicine, 67(2), 134-135.
• Nitko, A. J., & Brookhart, S. M. (2014). Educational assessments of students (6. Baskı). Essex: Pearson International. Protogerou, C., & Hagger, M. S. (2020). A checklist to assess the quality of survey studies in psychology. Methods in Psychology, 3, 100031. https://doi.org/10.1016/j.metip.2020.100031
• Popham, J.W. (2014). Selected-response tests. Classroom assessment: What teachers need to know (7. Baskı, s. 155-180) içinde. Pearson Education Ltd., Boston.
• Russell, M. & Airasian, P.(2008). Designing, administering, and scoring achievement tests. Classroom assessment: Concepts and applications (7. Baskı, s. 144-175) içinde, McGraw-Hill Higher Education.
• Rodriguez, M. C. (1997). The art & science of item writing: A meta-analysis of multiple- choice item format effects. Paper presented at the annual meeting of the American Educational Research Association, Chicago, IL.
• Stufflebeam, D. L. (2000). Guidelines for developing evaluation checklists: the checklists development checklist (CDC). The Evaluation Center. https://wmich.edu/sites/default/files/attachments/u350/2014/guidelines_cdc.pdf Şahin, M. G. , Yıldırım, Y. & Boztunc Öztürk, N. (2023). Examining the achievement test development process in the educational studies . Participatory Educational Research, 10 (1), 251-274 . doi: 10.17275/per.23.14.10.1
• Thorndike, R. M., Thorndike-Christ, T. (2014). Principles of test development. Measurement and evaluation in psychology and education (8. Baskı, s. 183-226) içinde. Essex: Pearson International. Tyas, P. A. (2020). Promoting students' autonomous learning using portfolio assessment in EFL writing class. JEES (Journal of English Educators Society), 5(1), 75-81.