The Effect of Whether the Item Contains Visuals or Not on Item and Test Statistics

Abstract

The aim of this study is to examine the effect of whether the items in the achievement test contain visuals or not on item and test statistics. In this context, a form consisting of items with visuals in the item stem and another form consisting of items with visuals removed or expressed in writing, which were considered equivalent, were created. These forms were administered to 237 sixth grade students studying in seven different secondary schools affiliated to the Ministry of National Education at three weeks intervals. The findings of the study show that as a result of the Exploratory Factor Analysis of the two forms, the structure of the items of the form with visuals changed compared to those without visuals. In addition, the reliability coefficient of the measurements of the form with visuals was significantly higher than the reliability coefficient of the measurements of the form without visuals. Moreover, it was concluded that the items in the form with visuals were significantly easier and more discriminating. In addition, it was found that the correct answer rates of the upper group students were higher for the items with visuals than those without visuals.

Keywords

• Achievement test
• Item writing
• Visual use

Maddenin Görsel İçerip İçermemesinin Madde ve Test İstatistiklerine Olan Etkisinin İncelenmesi

Abstract

Bu çalışmanın amacı başarı testinde yer alan maddelerin görsel içerip içermemesinin madde ve test istatistiklerine olan etkisini incelemektir. Bu doğrultuda madde kökünde görsel kullanılan maddelerden oluşan bir form ile görselleri çıkarılmış veya yazı ile ifade edilmiş; eşdeğer kabul edilen maddelerden oluşan başka bir form oluşturulmuştur. Bu formlar Millî Eğitim Bakanlığı’na bağlı yedi farklı ortaokulda öğrenim gören 237 altıncı sınıf öğrencisine üç hafta arayla uygulanmıştır. Çalışmanın bulguları iki formun Açımlayıcı Faktör Analizi sonucu görsel içeren formun maddelerin görsel içermeyenlere göre yapılarının değiştiği noktasında bulgu vermektedir. Ayrıca görsel içeren formun ölçümlerine ait güvenirlik katsayısı görsel içermeyen formun ölçümlerinin güvenirlik katsayısından anlamlı bir şekilde yüksek çıkmıştır. Dahası görsel içeren formdaki maddelerin anlamlı bir şekilde daha kolay ve daha ayırt edici olduğu sonucuna ulaşılmıştır. Ek olarak üst grupta görsel içeren maddelerin içermeyenlere göre doğru cevaplama oranlarının daha yüksek olduğu tespit edilmiştir.

Keywords

• Başarı testi
• Madde yazımı
• Görsel kullanımı

References

1. Alpayar, C. ve Gulleroglu, H. D. (2017). Examination of Test and Item Statistics from Visual and Verbal Mathematics Questions. Educational Research and Reviews, 12(17), 839-854. DOI: 10.5897/ERR2017.3304
2. Artut, P. D. ve Ildırı, U. A. (2013). Matematik ders ve çalışma kitabında yer alan problemlerin bazı kriterlere göre incelenmesi. Çukurova Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 22(2), 349-364.
3. Aybek, E. C., Kula-Kartal, S. ve Yıldırım, Ö. (2022). Millî Eğitim Bakanlığı tarafından yayınlanan test maddelerinin madde yazım ilkelerine uygunluğunun incelenmesi. Boğaziçi Üniversitesi Eğitim Dergisi, Özel Sayı, 357-374. DOI: 10.52597/buje.1016634
4. Baykul, Y. (1979). Örtük Özellikler ve Klasik Test Kuramları Üzerine Bir Karşılaştırma (Yayımlanmamış doktora tezi). Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü. Ankara
5. Beckmann, S. (2004). Solving algebra and other story problems with simple diagrams: a method demonstrated in grade 4–6 texts used in Singapore. The Mathematics Educator, 14(1), 42-46.
6. Bowen, G.M. ve Roth, W. M. (2002). Why Students May not Learn to Interpret Scientific Inscriptions. Research in Science Education 32, 303–327. https://doi.org/10.1023/A:1020833231966
7. Brooks, G. P. ve Johanson, G. A. (2003). TAP: Test analysis program. Applied Psychological Measurement, 27(4), 303-304.
8. Büyüköztürk, Ş. (2002). Faktör analizi: Temel kavramlar ve ölçek geliştirmede kullanımı. Kuram ve Uygulamada Eğitim Yönetimi, 32(32), 470-483.

9. Büyüköztürk, Ş., Çokluk, Ö. ve Köklü, N. (2012). Sosyal bilimler için istatistik. Ankara. Pegem Akademi
10. Cuoco, A. A. ve Curcio, F. R. (2001). The roles of representation in school mathematics: 2001 Yearbook. Reston, VA: National Council of Teachers of Mathematics.
11. Çakan M, Çelikten S. ve Gündüz T. (2020). Nicel veri analizi ve yorumlanması. B. Oral (Ed) ve A. Çoban (Ed), Kuramdan Uygulamaya Eğitimde Bilimsel Araştırma Yöntemleri içinde. Ankara. Pegem Akademi. 161-203.
12. Dalton, B., Morocco, C. C., Tivnan, T. ve Rawson, P. (1994). Effect of format on learning disabled and non-learning disabled students' performance on a hands-on science assessment. International Journal of Educational Research, 21(3), 299-316. DOI: 10.1016/S0883-0355(06)80021-2
13. Duran, M. ve Balta, N. (2014). The Influence of Figured and Non-Figured Questions on Secondary Students’ success at Science Exams. Pakistan Journal of Statistics, 30(6), 1279-1288.
14. Ebel, R. L. (1951). Writing the test item. In E. F. Lindquist (Ed.), Educational measurement (1st ed., pp. 185-249). Washington, DC: American Council on Education.
15. Edens, K. ve Potter E. (2007). The Relationship of Drawing and Mathematical Problem Solving: Draw for Math Tasks. Studies in Art Education, 48:3, 282-298
16. Frey, B. B., Petersen, S., Edwards, L. M., Pedrotti, J. T., & Peyton, V. (2005). Item-writing rules: Collective wisdom. Teaching and Teacher Education, 21(4), 357-364. DOI: 10.1016/j.tate.2005.01.008
17. Gelbal, S., ve Kelecioğlu, H. (2007). Öğretmenlerin ölçme ve değerlendirme yöntemleri hakkındaki yeterlik algıları ve karşılaştıkları sorunlar. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 33(33), 135-145. http://efdergi.hacettepe.edu.tr/yonetim/icerik/makaleler/1017-published.pdf adresinden 27.09.2022 tarihinde alınmıştır.
18. Green, S. B. ve Salkind, N. J. (2005). Using SPSS for windows and macintosh: Analyzing and understanding data (4th ed.). Pearson Education Inc.
19. Gronlund, N. E. (1985). Measurement and evaluation in teaching (5th ed.). New York: Macmillan.
20. Haladyna, T. M. ve Downing, S. M. (1989). A taxonomy of multiple-choice item-writing rules. Applied Measurement in Education, 1, 37–50.
21. Haladyna, T. M., Downing, S. M. ve Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309-333. DOI: 10.1207/S15324818AME1503_5
22. Holland, J., O'Sullivan, R. ve Arnett, R. (2015). Is a picture worth a thousand words: an analysis of the difficulty and discrimination parameters of illustrated vs. text-alone vignettes in histology multiple choice questions. BMC Medical Education, 15, 184. DOI: 10.1186/s12909-015-0452-9
23. Işık, C. (2008). İlköğretim ikinci kademesinde matematik öğretmenlerinin matematik ders kitabı kullanımını etkileyen etmenler ve beklentileri. Kastamonu Eğitim Dergisi, 16(1), 163-176.
24. İlhan, M. (2019). Madde analizi ve madde ile istatistikleri arasındaki ilişki. B. Çetin (Ed.), Eğitimde ölçme ve değerlendirme (1. Baskı) içinde (ss. 269- 298). Ankara: Anı Yayıncılık.
25. Inaltekin, T. ve Goksu, V. (2020). Analysing Science Questions in terms of Visual Content in Higher Education Entrance Exams in Turkey. International Journal of Progressive Education, 16(5), 472-493.
26. Karasar, N. (2012). Bilimsel araştırma yöntemi. Ankara: Nobel.
27. Kayretli, A. (2023). Liselere Giriş Sınavlarındaki Fen Bilimleri Sorularının Görsel İçerik Bakımından İncelenmesi. Yayınlanmamış yüksek lisans tezi. Kafkas Üniversitesi Fen Bilimleri Enstitüsü
28. Koğar R, H. ve Sayın, A. (2019). Grup Başarısına Göre Madde ve Kişi Parametreleri Arasındaki İlişkinin İncelenmesi. Gazi Üniversitesi Gazi Eğitim Fakültesi Dergisi, 39(1), 249-270.
29. Martinez, M. E. (1991). A comparison of multiple-choice and constructed figural response items. Journal of Educational Measurement, 28(2), 131-145. DOI: 10.1002/j.2333-8504.1990.tb01355.x
30. MEB (2024). İlköğretim ve ortaöğretim kurumları bursluluk sınavı (İOKBS) Başvuru ve Uygulama Kılavuzu. https://www.meb.gov.tr/meb_iys_dosyalar/2024_01/26095156_YOKBS_BaYvuru_ve_Uygulama_KYlavuzu_2024.pdf adresinden 14.05.2024 tarihinde alınmıştır.
31. MEB. (2013). Parasız Yatılılık ve Bursluluk Sınavı (PYBS) Sınav Kılavuzu. http://www.meb.gov.tr/sinavlar/dokumanlar/2013/kilavuz/2013_PYBS_2.pdf adresinden 27.09.2022 tarihinde alınmıştır.
32. MEB. (2023). 04/06/2023 tarihinde uygulanan Sınavla Öğrenci Alacak Ortaöğretim Kurumlarına İlişkin Merkezi Sınavın Sayısal Bölüm Soru Kitapçığı. https://cdn.eba.gov.tr/yardimcikaynaklar/2023/06/2023_sayisal.pdf adresinden Ekim 2023 tarihinde ulaşılmıştır.
33. Milton, O. ve Eison, J. A. (1983). Textbook tests: Guidelines for item writing. New York: Harper & Row.
34. NCTM (2000). Principles and Standards for School Mathematics. Reston, Va. NCTM.
35. Nunnally, J. C. (1972). Educational measurement and evaluation (2nd ed.). New York: McGraw-Hill.
36. Saß, S., Wittwer, J., Senkbeil, M. ve Köller, O. (2012). Pictures in test items: Effects on response time and response correctness. Applied Cognitive Psychology, 26(1), 70-81. DOI: 10.1002/acp.1798
37. Shorrocks‐Taylor, D. & Hargreaves, M. (1999) Making it clear: a review of language issues in testing with special reference to the National Curriculum mathematics tests at key stage 2. Educational Research. (41)2, 123-136, DOI: 10.1080/0013188990410201
38. Tan, Ş. (2012). Öğretimde ölçme ve değerlendirme KPSS el kitabı. Pegem Akademi.
39. Vorstenbosch, M. A., Klaassen, T. P., Kooloos, J. G., Bolhuis, S. M. ve Laan, R. F. (2013). Do images influence assessment in anatomy? Exploring the effect of images on item difficulty and item discrimination. Anatomical Sciences Education, 6(1), 29–41. DOI:10.1002/ase.1290