Investigation of the Test Items Published by Ministry of National Education According to the Item Writing Guidelines

Year 2022, Volume: 39-1 , 357 - 374, 31.12.2022

Eren Can Aybek , Seval Kula Kartal , Özen Yıldırım

https://doi.org/10.52597/buje.1016634

Cited By: 1

Abstract

The present study aims to investigate the consistency of the sample test items published by The Ministry of National Education of Turkey according to the item writing principles. The 120 items randomly selected from the items published for the seventh-grade science and social sciences courses. The selected items were examined by the researchers based on an item review form developed by the researchers, and the collected data were analyzed based on the descriptive statistics. The results of the study revealed that the items include clues referring to the correct answer, textual or visual materials unnecessary to answer the items. In addition, it was brought out that the complex multiple choice item format (e.g., I, II, II, IV etc.) are frequently used. When the items are analyzed to see if they meet the style concerns or item stem writing principles (such as the use of correct grammar or clear directions in the item stem), it was found that the items meet the grammatical principles, the main idea are generally presented in the item stem instead of the choices, items have clear instructions, and they are not opinion-based.

Keywords

multiple-choice item writing principles, measurement and evaluation, test development

Millî Eğitim Bakanlığı Tarafından Yayınlanan Test Maddelerinin Madde Yazım İlkelerine Uygunluğunun İncelenmesi

Abstract

Araştırmada Millî Eğitim Bakanlığı (MEB) Ölçme, Değerlendirme ve Sınav Hizmetleri Müdürlüğü tarafından yedinci sınıf düzeyi için sunulan maddelerin ölçme ve değerlendirme ilkelerine uygunluğunun incelenmesi amaçlanmıştır. Bu doğrultuda fen bilgisi ve sosyal bilgiler derslerinden tesadüfi olarak seçilen üçer üniteden toplam 120 madde incelenmiştir. Maddelerin incelenmesinde alanyazın taraması sonucunda araştırmacılar tarafından geliştirilen madde inceleme formu kullanılmıştır. Verilerin analizinde betimsel istatistiklerden yararlanılmıştır. Araştırma sonucunda maddelerde doğru yanıta yönlendirecek ipuçlarının bulunduğu, maddeyi yanıtlamak için gerekli olmayan metin ve görsellere yer verildiği, bileşik yanıt vermeyi gerektiren (I, II, III, IV gibi) maddelerin sıkça tercih edildiği belirlenmiştir. Bununla birlikte, maddelerde dilbilgisi kurallarına uyulduğu, ana fikrin seçeneklerde değil madde kökünde verildiği, maddelerin belirli bir görüşe ya da kanıya dayalı olmadığı, yönergelerin açık ve anlaşılır olduğu gözlemlenmiştir.

Keywords

Çoktan seçmeli madde yazım ilkeleri, ölçme ve değerlendirme, test geliştirme

References

• Adkins, D. C. (1947). Construction and Analysis of achievement tests. Government Printing Office.
• Anastasi, A. (1961). Psychological Testing. MacMillan Publishing Co., Inc.
• Anıl, D., ve Acar, M. (2008). Sınıf öğretmenlerinin ölçme ve değerlendirme sürecinde karşılaştıkları sorunlara ilişkin görüşleri. Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi, 5(2), 44-61.
• Bangchang, K. (2015). Factors Affecting Academic Performance of Undergraduate Students. International Journal of Multidisciplinary Approach & Studies, 2(6), 205-215.
• Cheung, D. (2003). Guidelines for writing multiple-choice items. Hong Kong Science Teachers’ Journal, 21(2), 1-11.
• Cohen, R. J., ve Swerdlik, M. E. (2010). Psychological testing and assessment. McGraw-Hill Companies, Inc.
• Bilican-Demir, S. (2021). Başarı testlerinin geliştirilmesi ve madde yazımı. Ö. Yıldırım, ve S. Kula-Kartal (Haz.), Eğitimde ölçme ve değerlendirme (s.124-164). Lisans Yayıncılık.
• Downing, S. M. (2002). Threats to the validity of locally developed multiple-choice tests in medical education: Construct-irrelevant variance and construct underrepresentation. Advances in Health Sciences Education, 7(3), 235-241.
• Downing, S. M. (2005). The effects of violating standard item writing principles on tests and students: The consequences of using flawed test items on achievement examinations in medical education. Advances in Health Sciences Education, 10,133-143.
• Elias, M. J., Zins, J. E., Weissberg, R. P., Frey, K. S., Haynes, N. M., Kessler, R., Shwab-Stone, M. E., ve Shriver, Y. (1997). Promoting social and emotional learning: Guideline for educators. Association for Supervision and Curriculum Development.
• Fraenkel, J. R., Wallen, N. E. ve Hyun, H. H. (2012). How to design and evaluate research in education. McGraw Hill.
• Gamer, M., Lemon, J., ve Puspendra Singh, I. F. (2019). irr: Various Coefficients of Interrater Reliability and Agreement. R package version 0.84.1. http://cran. r-project. org/web/packages/irr/irr. pdf.
• Gelbal, S. ve Kelecioğlu, H. (2007). Öğretmenlerin ölçme ve değerlendirme yöntemleri hakkındaki yeterlik algıları ve karşılaştıkları sorunlar. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 33(33), 135-145.
• Gronlund, N. E., ve Waugh, C. K. (2009). Assessment of student achievement. Pearson Education, Inc.
• Haahr, M. ve Haahr, S. (2021). True random number service. Random.org. https://www.random.org/
• Haladyna, T. M. (1997). Writing test items to evaluate higher order thinking. Allyn & Bacon.
• Haladyna, T. M. (2004). Developing and validating multiple-choice test items (3. baskı). Lawrence Erlbaum Associates Publishers.
• Haladyna, T. M., ve Downing, S. M. (1989). A taxonomy of multiple-choice item writing rules. Applied Measurement in Education, 1, 37–50.
• Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple choice item-writing guidelines for classroom assessment, Applied Measurement in Education, 15(3), 309-333.
• Kreiter, C. D. ve Frisbie, D. A. (1989). Effectiveness of multiple true-false items, Applied Measurement in Education, 2(3), 207-216, https://doi.org/10.1207/s15324818ame0203_2
• Kutlu Ö., Doğan, C. D., ve Karakaya, İ. (2014). Ölçme ve değerlendirme: Performansa ve portfolyoya dayalı durum belirleme. Pegem Akademi.
• Martínez, R. J., Moreno, R., Martín, I., ve Trigo, M. E. (2009). Evaluation of five guidelines for option development in multiple-choice item-writing. Psicothema, 21(2), 326-330.
• Messick S. (1989). Validity. R.L. Linn (Haz.) Educational Measurement (3. baskı.) (s.13-104). American Council on Education and Macmillan.
• Nitko, A., ve Brookhart, S. M. (2011). Educational assessment of students. Pearson Education, Inc.
• Popham, W. J. (2011). Classroom assessment: What teachers need to know. Pearson Education, Inc.
• R Core Team. (2021). R: A language and environment for statistical computing. R Foundation for Statistical Computing. R project. https://www.R-project.org/.
• Rush, B. R., Rankin, D. C., & White, B. J. (2016). The impact of item-writing flaws and item complexity on examination item difficulty and discrimination value. BMC Medical Education, 16(1), 1-10.
• Sireci, S. G., Wiley, A., ve Keller, L. A. (1998). An empirical evaluation of selected multiple-choice item writing guidelines. Annual Meeting of the Northeastern Educational Research Association.
• Şengül-Avşar, A. ve Barış-Pekmezci, F. (2020). Investigation of skill-based test items and sample items in the entrance examination for high schools for Turkish lesson. International Journal of Education Technology and Scientific Researches, 5(12), 677-718.
• Tarrant, M., Knierim, A., Hayes, S. K., ve Ware, J. (2006). The frequency of item writing flaws in multiple-choice questions used in high stakes nursing assessments. Nurse Education Today, 26, 662-671
• The jamovi project (2021). jamovi. (Version 1.8). https://www.jamovi.org.
• Turgut M. F. ve Baykul Y. (2010). Eğitimde ölçme ve değerlendirme. Pegem Akademi.
• Yıldırım, Ö. (2021). Geniş ölçekli testlerde madde yapıları ve hazırlanmasında dikkat edilmesi gerekenler (PISA ve TIMSS Örnekleri). İstanbul Ölçme ve Değerlendirme Dergisi. 1(2). 50-59.