The Effect of Incorrect Questions in Multiple Choice Mathematics Exams on the Psychometric Properties of the Test / Çoktan Seçmeli Matematik Sınavlarındaki Hatalı Soruların Testin Psikometrik Özelliklerine Etkisi

Öz

The aim of this study is to determine and evaluate the effect of incorrect questions in multiple choice mathematics exams on the psychometric properties of the test in line with the opinions of the participants. In this study, convergent parallel mixed design was preferred since qualitative research data and quantitative data were collected together. In the quantitative dimension of research, an achievement test was applied to 100 eighth grade secondary school students attending three different public schools in the Southeastern Anatolia Region. The qualitative study part was conducted with 10 students with different success levels. Stratified sampling was used to collect quantitative data, and criterion sampling method was used to collect qualitative data. In the quantitative part of the study, the multiple choice mathematics achievement test prepared by the researchers was used. The achievement test consisted of a total of 30 questions, 10 at the easy level, 10 at the medium level, and 10 at the hard level, which were obtained in line with the opinions of experts working in the relevant field. After the achievement test application was completed, a semi-structured interview form developed by researchers was applied to participants. This form was used to determine the feelings and thoughts of the participants regarding the questions applied. Test Analysis Program (TAP) was used for the analysis of quantitative data. Content analysis was performed by creating codes, categories and themes for qualitative data analysis. When the findings were examined, it was seen that the presence of erroneous questions in multiple-choice tests positively affects item discrimination. Another finding obtained in the study is that the difficulty levels regarding the incorrect items were low. However, the participants stated that the incorrect questions among the questions made them think more and look at all the questions from different aspects with a questioning attitude.

Anahtar Kelimeler

• Multiple choice test
• Mathematics
• High-level cognitive features
• Incorrect question
• Çoktan seçmeli test
• Matematik
• Üst düzey bilişsel özellikler
• Hatalı soru

Proje Numarası

1919B012000694

Çoktan Seçmeli Matematik Sınavlarındaki Hatalı Soruların Testin Psikometrik Özelliklerine Etkisi / The Effect of Incorrect Questions in Multiple Choice Mathematics Exams on the Psychometric Properties of the Test

Öz

Bu araştırmanın amacı çoktan seçmeli matematik sınavlarındaki hatalı soruların o testin psikometrik özelliklerine etkisini belirleyip katılımcıların görüşleri doğrultusunda değerlendirmektir. Bu araştırma kapsamında nitel araştırma verileri ile nicel veriler birlikte toplandığından yakınsayan paralel karma desen tercih edilmiştir. Yapılan araştırmanın nicel boyutunda Güneydoğu Anadolu Bölgesinde üç farklı devlet okuluna devam eden 100 sekizinci sınıf öğrencisine başarı testi uygulanmıştır. Araştırmanın nitel kısmı ise akademik başarı düzeyi farklı 10 öğrenciyle yürütülmüştür. Nicel verilerin toplanmasında tabakalı örnekleme, nitel verilerin toplanması için ise ölçüt örnekleme yöntemi kullanılmıştır. Yapılan araştırmanın nicel kısmında, araştırmacılar tarafından hazırlanan çoktan seçmeli matematik başarı testi kullanılmıştır. Başarı testi ilgili alanda çalışan uzman görüşleri doğrultusunda elde edilen kolay düzeyde 10, orta düzeyde 10 ve zor düzeyde 10 soru olmak üzere toplam 30 sorudan oluşmuştur. Araştırmanın nitel kısmında, başarı testi uygulandığı sırada araştırmacılar tarafından gözlemlenen katılımcıların tepki ve davranışlarının yazıldığı gözlem formu kullanılmıştır. Başarı testi uygulaması bittikten sonra araştırmacılar tarafından geliştirilen yarı yapılandırılmış görüşme formu katılımcıların uygulanan sorulara yönelik duygu ve düşüncelerini belirlemek için uygulanmıştır. Nicel verilerin analizi için Test Analiz Programı (TAP) kullanılmıştır. Nitel veri analizi için kod, kategori ve temalar oluşturularak içerik analizi yapılmıştır. Elde edilen bulgular incelendiğinde çoktan seçmeli testlerde hatalı soruların bulunmasının madde ayırt ediciliğini olumlu yönde etkilediği görülmüştür. Araştırmada elde edilen bir diğer bulgu ise hatalı olan maddelere ilişkin güçlük düzeylerinin düşük çıkmasıdır. Bununla birlikte katılımcılar, sorular arasında hatalı soruların olmasının kendilerini daha fazla düşünmeye, bütün sorulara sorgulayıcı tavırla ve farklı yönleriyle bakmaya ittiğini belirtmişlerdir.

Anahtar Kelimeler

• Çoktan seçmeli test
• Matematik
• Üst düzey bilişsel özellikler
• Hatalı soru

Destekleyen Kurum

Tubitak

Proje Numarası

1919B012000694

Kaynakça

1. Adıgüzel, O. C., & Özdoğru, F. (2013). Üniversitelerde ortak zorunlu yabancı dil I dersine yönelik bir akademik başarı testinin geliştirilmesi. Trakya Üniversitesi Eğitim Fakültesi Dergisi, 3(2).
2. Allen, D. D., (2012). Validity and Reliability of the Movement Ability Measue: A Self-Report Instrument Proposed for Assessing Movement Across Diagnoses and Ability Levels. Physical Thearapy, 87(7), 899-916.
3. Atabek Yiğit, E. & Balkan Kıyıcı, F. (2018). Bilişsel stiller ve alternatif ölçme ve değerlendirme araçlarının kullanım yeterliği arasındaki ilişkinin incelenmesi. Scientific Educational Studies, 2 (1) , 39-55.
4. Baker, F. B. (2001). The basics of item response theory (2nd ed.). College Park, MD: University of Maryland, ERIC Clearinghouse on Assessment and Evaluation
5. Başol, G. (2018). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi.
6. Baştürk, S. (2014). Çoktan seçmeli testler. S. Baştürk (Ed.), Eğitimde ölçme ve değerlendirme (s. 119-154). Nobel Akademik Yayıncılık.
7. Baykul, Y. (2010). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması (2. Baskı). Pegem Akademi
8. Baykul, Y. (2015). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Pegem Akademi.

9. Beevers, C. E. & Paterson, J. S. (2003). Automatic assesment of problem solving skills in mathematics active learning in higher education. 4(2), 127-145. https://doi.org/10.1177%2F1469787403004002002
10. Ben-Hur, M. (2006). Concept-rich mathematics ınstruction. association for supervision and curriculum evelopment, Alexandria, Virginia, USA.
11. Birgin, O. & Baki, A. (2012). Sınıf öğretmenlerinin ölçme-değerlendirme uygulama amaçlarının yeni matematik öğretimi programı kapsamında incelenmesi. Eğitim ve Bilim, 37(165), 152-167
12. Boud, D. (2007). Reframing assessment as if learning were important. In D. Boud, & N. Falchikov (Ed.), Rethinking assessment in higher education: Learning for the longer term, London: Taylor & Francis Group.
13. Brookhart, S. M. (2010). How to Assess Higher-Order Thinking Skills ın Your Classroom. Virginia: ASCD.
14. Brooks, G. P., & Johanson, G. A. (2003). Test analysis program. Applied psychological measurement, 27, 305-306. https://doi.org/10.1177%2F0146621603027004007
15. Cansoy, R. (2018). Uluslararası çerçevelere göre 21. yüzyıl becerileri ve eğitim sisteminde kazandırılması. İnsan ve Toplum Bilimleri Araştırmaları Dergisi, 7(4), 3112-3134. https://doi.org/10.15869/itobiad.494286
16. Cohen, R.J. and Swerdlik, M.E. (2018). Psychological testing and assessment: An introduction to tests and measurement (9. Baskı). New York: McGraw-Hill Education.
17. Crocker, L. M., & Algina, J. (2006). Introduction to classical and modern test theory (2nd edth) .Victoria: Thomson Wadsworth (ed.)
18. Çelikkaya, T., Karakuş, U. & Öztürk Demirbaş, Ç. (2010). Sosyal bilgiler öğretmenlerinin ölçme-değerlendirme araçlarını kullanma düzeyleri ve karşılaştıkları sorunlar. Ahi Evran Üniversitesi Eğitim Fakültesi Dergisi, 11(1), 57–76.
19. Creswell, J. W., & Plano-Clark, V. (2014). Karma yöntem araştırmaları (Çev Edt: Dede, Y. ve Demir, SB), Anı Yayıncılık, Ankara.
20. Çetin, B. (2019). Eğitimde ölçme ve değerlendirme. Ankara: Anı Yayıncılık.
21. Çetin, T., Kuş, Z., & Karatekin, K. (2010). Sınıf ve sosyal bilgiler öğretmenlerinin gezi-gözlem yöntemine ilişkin görüşleri. Sosyal Bilimler Araştırmaları Dergisi, 158-180.
22. DeVellis, R. F., (2006). Quantitative and Issues and Approaches: Classical Test Theory (CTT) and Item Response Theory (IRT). Medical Care, 44(11), 50-59
23. Doğan, N. (2019). Eğitimde ölçme ve değerlendirme. İnsan Davranışları ve Ölçme Araçlarını Sınıflama. Ankara: Pegem Akademi Yayıncılık.
24. Doğruöz, E. (2022). Çoktan seçmeli testler. Uygulama örnekleri ile etkili üniversite eğitimi. (Ed. Yöntem, M. K.) Eğitim Yayınevi.
25. Dokumacı Sütçü, N., & Bulut, İ. (2016a). Ortaokul matematik öğretmenlerinin alternatif ölçme ve değerlendirme tekniklerine ilişkin yeterlik algıları ve bu teknikleri kullanma düzeyleri. Dicle Üniversitesi Ziya Gökalp Eğitim Fakültesi Dergisi, 290. https://doi.org/10.14582/DUZGEF.706
26. Dokumaci-Sütçü, N., & Bulut, İ. (2016b). Ortaokul Matematik Öğretmenlerinin Alternatif Ölçme ve Değerlendirme Tekniklerini Kullanma Düzeylerine İlişkin Yeterlik Algılarının Değerlendirilmesi/Assesment of Competency Perceptions of Secondary School Math Teachers about the Level of the Use of AMET. e-Uluslararası Eğitim Araştırmaları Dergisi, 6(3).
27. Duban, N., & Küçükyılmaz, E. A. (2008). Sınıf öğretmeni adaylarının alternatif ölçme-değerlendirme yöntem ve tekniklerinin uygulama okullarında kullanımına ilişkin görüşleri. İlköğretim online, 7(3), 769-784
28. Duman, B. (2011). Sınıf öğretmeni adaylarının bağıl değerlendirmeye ilişkin görüşleri. NWSA-E Journal of New World Sciences Academy, 6(1), 536-548
29. Erkuş, A. (2003). Psikometri üzerine yazılar. Türk Psikologlar Derneği Yayınları.
30. Estrada, E. (2018). Speeded test. In The SAGE encyclopedia of educational research, measurement, and evaluation, 1, s. 846-848). California
31. Filiz, Y. S. (2013). Öğrenme Öğretme Kuram ve Yaklaşımları. Ankara: Pegem Akademi.
32. Gelbal, S., (2013). Ölçme ve Değerlendirme. Selahattin Gelbal (Ed.). Eskişehir: Anadolu üniversitesi Web-Ofset.
33. Güler, N. (2011). Eğitimde Ölçme ve Değerlendirme. Ankara: PegemA.
34. Hasançebi, B., Terzi, Y., & Küçük, Z. (2020). Madde güçlük indeksi ve madde ayırt edicilik indeksine dayalı çeldirici analizi. Gümüşhane Üniversitesi Fen Bilimleri Dergisi, 10(1), 224-240. https://doi.org/10.17714/gumusfenbil.615465
35. Heritage, M. (2007). What do teachers need to know and do? Phi Delta Kappan, 89 (2), 140 – 145. https://doi.org/10.1177%2F003172170708900210
36. Karasar, N. (2010). Bilimsel araştırma yöntemi: kavramlar, ilkeler, teknikler. Ankara: Nobel Yayınevi
37. Karip, E. (Ed.). (2007). Ölçme ve değerlendirme. Pegem A Yayıncılık.
38. Kılıç, S. (2013). Örnekleme yöntemleri. Journal of Mood Disorders, 3(1), 44-6. https://doi.org/10.5455/jmood.20130325011730
39. Kline, R. B. (2005). Principles and practice of structural equation modeling (2nd ed.). New York, NY: Guilford
40. Kutlu, Ö., Doğan, C.H., Karakaya, İ. (2008). Öğrenci Başarısının Belirlenmesi: Performansa ve Portfolyoya Dayalı Durum Belirleme. Ankara: PegemA Yayıncılık.
41. Lord, F. & Novick, M. (1968). Statistical theories of mental test scores. Reading, Mass.: Addison-Wesley.
42. MacCallum, R. C., Widaman, K. F., Zhang, S., ve Hong, S. (1999). Sample Size in Factor Analysis. Psychological Methods, 4, 84-99
43. Marshall, C. & Rossman, G. B. (2014). Designing qualitative research. Sage.
44. Mor Dirlik, E. (2021). Farklı kuramlar kapsamında hesaplanan madde ayırt edicilik parametrelerinin karşılaştırılması. Trakya Eğitim Dergisi, 11(2), 732-744. https://doi.org/10.24315/tred.700445 National Council for Teachers of Mathematics[NCTM]. (2000). Principles and standards for school mathematics. Reston, VA: Author.
45. Orhan, T. A. (2007). Fen eğitiminde alternatif ölçme ve değerlendirme yöntemlerinin ilköğretim öğretmen adayı, öğretmen ve öğrenci boyutu dikkate alınarak incelenmesi. Yayınlanmamış Doktora Tezi, Ankara: Gazi Üniversitesi, Eğitim Bilimleri Enstitüsü.
46. Özdaş, F. (2019). Merkezi yerleştirme sınav sistemine ilişkin öğretmen ve öğrenci görüşlerinin değerlendirilmesi. Mukaddime, 10(2), 688-707 https://doi.org/10.19059/mukaddime.509244
47. Özdemir, A. (2022). Ayrık Seçenekli Çoktan Seçmeli Testlerin Uygulanabilirliği. (Yayınlanmamış Doktora Tezi) Hacettepe Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
48. Öztürk, H. (2015, Nisan 7). Nitel ve nicel araştırma nedir? Aralarındaki farklar nelerdir? https://haldunozturk.com/nitel-ve-nicel-arastirma-nedir-aralarindaki-farklar-nelerdir/
49. Pandey, T. & Smith, T. R. (1991). A sampler of mathematics assessment (Eric Ed: 341 553). URL:www.eric.com
50. Race, P., Brown, S., & Smith, B. (2005). 500 tips on assessment. (Second Ed.), Abingdon: Taylor & Francis Group.
51. Saraç, H. (2018). Fen bilimleri dersi ‘Maddenin değişimi’ ünitesi ile ilgili başarı testi geliştirme: Geçerlik ve güvenirlik çalışması. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 18 (1), 416-445. https://doi.org/10.17240/aibuefd.2018..-388815
52. Seheryeli, M. Y. (2018). Yazılı Anlatım Becerisi Puanlama Anahtarının Güvenirliğinin Klasik Test, Genellenebilirlik ve Madde Tepki Kuramlarına Göre İncelenmesi (Yüksek Lisans Tezi). Gazi Ünivesitesi Eğitim Bilimleri Enstitüsü, Ankara.
53. Semerci, Ç. (2011). Ölçme ve değerlendirme. E. Karip (Ed), Eğitimde ölçme ve değerlendirme. Pegem Akademi Yayıncılık.
54. Simkin, M.G., & Kuechler, W.L. (2005). Multiple ‐ choice tests and student understanding: What is the connection? Decision Sciences Journal of Innovative Education, 3 (1),73‐97.
55. Simonson, M., Smaldino, S., Albright, M. ve Zvacek, S. (2012). Teaching and learning at a distance: Foundations of distance education (3rd ed.). New Jersey: Prentice Hall.
56. Smith S. S. (2006). Early chilhood mathematics (3rd Ed.). Pearson Education
57. Sözbilir, M. (2010). Betimsel İstatistik. https://avys.omu.edu.tr/storage/app/public/yusuf.sisman/128524/6.Not.pdf
58. Tağrikulu, P., Bekdemir, Ü., & Omca Çobanoğlu, E. (2021). Üretim, dağıtım ve tüketim öğrenme alanına yönelik akademik başarı testi geliştirme: geçerlik ve güvenirlik çalışması. Kırşehir Eğitim Fakültesi Dergisi, 22(3), 1984-2004. DOI: 10.29299/kefad.953899
59. Tan, Ş. (2013). Öğretimde ölçme ve değerlendirme KPSS el kitabı. Pegem A Yayıncılık. 8. Baskı
60. Tekin, H. (2000). Eğitimde ölçme ve değerlendirme. Yargı Yayınevi.
61. Temizkan, M., & Sallabaş, M. E. (2011). Okuduğunu anlama becerisinin değerlendirilmesinde çoktan seçmeli testlerle açık uçlu yazılı yoklamaların karşılaştırılması. Dumlupınar Üniversitesi Sosyal Bilimler Dergisi, (30), 207-220.
62. Toprakçı, E. (2018). Sınıfa Dayalı Yönetim. (1. Baskı). Ankara: Pegem Yayınları
63. Toprakçı, E. (2017). Sınıf Yönetimi. (3. Baskı). Ankara: Pegem Yayınları
64. Toptaş, V. (2011). Sınıf öğretmenlerinin matematik dersinde alternatif ölçme ve değerlendirme yöntemlerinin kullanımı ile ilgili algıları. Eğitim ve Bilim, 207.
65. Tuncel, T., & Kazu, İ. Y. (2019). Ortaöğretim matematik öğretim programlarının ölçme ve değerlendirme boyutunda öğretmen görüşleri açısından incelenmesi. Fırat Üniversitesi Sosyal Bilimler Dergisi, 29(2), 163-179. https://doi.org/10.18069/firatsbed.549200
66. Tunç, T. (2020). Nicel Araştırma Yöntemi ve Aşamaları https://www.bilgiustam.com/nicel-arastirma-yontemi-ve-asamalari/
67. Turgut, M. F. (1986). Eğitimde ölçme ve değerlendirme. Saydam Yayınları.
68. Türkben, E. (2019). İşe alım sürecinde uygulanan seçme yerleştirme tekniklerinin iş tatmini ve işten ayrılma niyetine etkisi ve bir araştırma (Doctoral dissertation, Marmara Üniversitesi (Türkiye)).
69. Uyan, N. (2015, Aralık 8). Geleneksel ölçme ve değerlendi̇rme yöntemleri̇ https://www.slideshare.net/NuranUyan/geleneksel-lmevedeerlendirmeyntemleri
70. Üstüner, A. & Şengül, M. (2004). Çoktan seçmeli test tekniğinin Türkçe öğretimine olumsuz etkileri. Fırat Üniversitesi Sosyal Bilimler Dergisi, 14(2), 197–208.
71. Yaman, S. (2016). Çoktan seçmeli madde tipleri ve fen eğitiminde kulanılan örnekleri. Gazi Eğitim Bilimleri Dergisi, 2 (2) , 151-170
72. Yıldırım, A. & Şimşek, H. (2006). Sosyal bilimlerde nitel araştırma yöntemleri, (5. Baskı), Seçkin Yayıncılık.
73. Yıldırım, Y. & Şimşek, H. (2016). Sosyal Bilimlerde Nitel Araştırma Yöntemleri. Seçkin Yayıncılık.