Açık Uçlu ve Çoktan Seçmeli Başarı Testlerinin Psikometrik Özellikleri ve Öğrenci Performansı Açısından Karşılaştırılması

Abstract

Bu araştırmanın amacı açık uçlu başarı testi ile aynı testten yola çıkarak hazırlanan çoktan seçmeli başarı testini psikometrik özellikleri ve öğrenci performansı açısından karşılaştırmaktır. Bu amaçla ilkokul 4. Sınıf Fen Bilimleri ve Sosyal Bilgiler programlarında yer alan iki ünite kapsamında geliştirilen açık uçlu maddelerden oluşan testler dönüştürülerek çoktan seçmeli versiyonları oluşturulmuştur. Her ders için açık uçlu test ile çoktan seçmeli test madde güçlük, madde ayırıcılık, güvenirlik, öğrenci performansı ve bilişsel alan basamakları açısından karşılaştırılmıştır. Araştırmanın verileri 2016-2017 eğitim öğretim yılında Samsun ilinde öğrenim gören 5. Sınıf öğrencileri ile yürütülmüştür. Araştırma sonuçları aynı üniteye yönelik olarak geliştirilen farklı formatlardaki testler arasında madde güçlük, madde ayırıcılık, öğrenci performansı, cinsiyet açısından anlamlı farklılık olduğunu göstermektedir.

Keywords

• Açık uçlu test,çoktan seçmeli test,psikometrik,bilişsel basamak

Comparison of Open Ended Questions and Multiple Choice Tests in terms of Psychometric Features and Student Performance

Abstract

This study aimed to compare open-ended questions test and modified test based on multiple-choice questions in terms of psychometric features and student performance. Multiple-choice items tests were modified from open-ended items tests which were developed towards two units in 4th grade Science and Social Sciences lessons. Open-ended questions tests and multiple-choice questions tests for each lesson were compared in terms of item difficulty, item discrimination, reliability, student performance and cognitive levels. The research data was obtained from 5th grade secondary school students who study in Samsun at 2016-2017 academic year. The research results show that there were significant differences between different tests’ formats according to item difficulty, item discrimination, students’ performance, and gender.

Keywords

• Open ended questions test,multiple choice test,psychometric,cognitive domain

References

1. Akay, H., Soybaş, D. ve Argün, Z. (2006). Problem kurma deneyimleri ve matematik öğretiminde açık-uçlu soruların kullanımı. Kastamonu Eğitim Dergisi, 14(1), 129–146.
2. Badger, E. ve Thomas, B. (1992). Open-ended questions in reading. Practical Assessment, Research & Evaluation, 3(4), 03.
3. Bahar, M., Nartgün, Z., Durmuş, S. ve Bıçak, B. (2012). Geleneksel-Tamamlayıcı Ölçme ve Değerlendirme Teknikleri: Öğretmen El Kitabı. Pegem Akademi.
4. Baştürk, S. (2014). Çoktan seçmeli testler. İçinde Eğitimde Ölçme ve Değerlendirme. Nobel Akademik Yayıncılık.
5. Bektaş, M. ve Kudubeş, A. A. (2014). Bir Ölçme ve Değerlendirme Aracı Olarak: Yazılı Sınavlar. Dokuz Eylül Üniversitesi Hemşirelik Fakültesi Elektronik Dergisi, 7(4).
6. Beller, M. ve Gafni, N. (2000). Can item format (multiple choice vs. open-ended) account for gender differences in mathematics achievement? Sex Roles, 42(1–2), 1–21.
7. Birgili, B. (2014). Open Ended Questions As An Alternatıve To Multiple Choice: Dilemma In Turkish Examınation System. Mıddle East Technical University.
8. Bolger, N. ve Kellaghan, T. (1990). Method of measurement and gender differences in scholastic achievement. Journal of Educational Measurement, 27(2), 165–174.

9. Braun, H. I., Bennett, R. E., Frye, D. ve Soloway, E. (1990). Scoring constructed responses using expert systems. Journal of Educational Measurement, 27(2), 93–108.
10. Bush, M. (2001). A multiple choice test that rewards partial knowledge. Journal of Further and Higher Education, 25(2), 157–163.
11. Büyüköztürk, Ş., Çokluk, Ö. ve Köklü, N. (2010). Sosyal Bilimler İçin İstatistik (5. Baskı). Ankara: Pegem Akademi.
12. Büyükturan, E. B. ve Demirtaslı, N. Ç. (2013). Comparing the psychometric characteristics of multiple choice tests and structural communication grids. Egitim Bilimleri Fakultesi Dergisi, 46(1), 395.
13. Çelik, E. (2015). Psychometric Properties of Brief Sensation Seeking Scale (BSSS-4) in a Sample of Turkish Adolescents. Sakarya University Journal of Education, 5(3), 42–51.
14. Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (Second Edition). Lawrence Erlbaum Associates.
15. Cooney, T. J., Sanchez, W. B., Leatham, K. ve Mewborn, D. S. (2004). Open-ended assessment in math: A searchable collection of 450+ questions. Heinemann. Quotations taken from online version, books. heinemann. com/math.
16. Danili, E. ve Reid, N. (2005). Assessment formats: do they make a difference? Chemistry Education Research and Practice, 6(4), 204–212.
17. Demirbilek, S. (2015). Öğretmen Adaylarının Eğitimde Ölçme Ve Değerlendirme Dersindeki Kavram Yanılgılarının İncelenmesi (Yüksek Lisans). Hacettepe Üniversitesi.
18. Dochy, F., Janssens, S. ve Struyven, K. (2005). Students’ perceptions about evaluation and assessment in higher education: a review 1. Assessment & Evaluation in Higher Education, 30(4), 325–341.
19. Du Plessis, S. ve Du Plessis, S. (2009). A new and direct test of the ‘gender bias’ in multiple-choice questions.
20. Duran, E. ve Tufan, B. S. (2017). The Effect Of Open-Ended Questions And Multiple Choice Questions On Comprehension, International Journal of Languages’ Education and Teaching, 5(1), 242–254.
21. Duru, A., Akgün, L. ve Özdemir, M. E. (2005). İlköğretim Öğretmen Adaylarının Matematiğe Yönelik Tutumlarının İncelenmesi. Atatürk Üniversitesi Kazım Karabekir Eğitim Fakültesi Dergisi, (11).
22. Geer, J. G. (1988). What do open-ended questions measure? Public Opinion Quarterly, 52(3), 365–367.
23. Güler, N. (2017). Eğitimde Ölçme ve Değerlendirme (10.Baskı). Ankara: Pegem Akademi.
24. Gültekin, S. (2014). Performans dayanaklı değerlendirme. İçinde R. N. Demirtaşlı (Ed.), Eğitimde ölçme ve değerlendirme. Ankara: Edge Akademi.
25. Hair, J. F., Black, W. C., Babin, B. J., Anderson, R. E. ve Tatham, R. L. (2006). Multivariate data analysis 6th ed. Uppersaddle River: Pearson Prentice Hall.
26. Hancock, G. R. (1994). Cognitive complexity and the comparability of multiple-choice and constructed-response test formats. The Journal of Experimental Education, 62(2), 143–157.
27. Kan, A. ve Kayapınar, U. (2010). Yabancı Dil Eğitiminde Aynı Davranışları Yoklayan Çoktan Seçmeli ve Kısa Cevaplı İki Testin Madde ve Test Özelliklerinin Karşılaştırılması. Eğitim Ve Bilim, 32(142).
28. Karaca, E. (1996). Seçme Gerektiren, Kısa Cevaplı ve Doğru-Yanlış Testlerinin Madde ve Test Özelliklerinin Karşılaştırılması. Yayınlanmamış yüksek lisans tezi, Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü.
29. Karamustafaoğlu, S. ve Tutar, M. (2016). 6. Sınıf Dünya’mız, Ay ve Yaşam Kaynağımız Güneş Ünitesi’ne yönelik bir başarı testi geliştirme. Pegem Atıf İndeksi, 303–320.
30. Karataş, F. Ö., Köse, S., ve Coştu, B. (2003). Öğrenci Yanılgılarını Ve Anlama Düzeylerini Belirlemede Kullanılan İki Aşamalı Testler. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 13(13), 54–69.
31. Kılıç, A. F. ve Kelecioğlu, H. (2016). TEOG Ortak ve Mazeret Sınavındaki Türkçe ve Matematik Alt Testlerinin Psikometrik Özelliklerinin Karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 7(1).
32. Klufa, J. (2015). Multiple Choice Question Tests–Advantages and Disadvantages.
33. Ko, M. H. (2010). A Comparison of Reading Comprehension Tests: Multiple-Choice vs. Open-Ended. English Teaching, 65(1).
34. Koretz, D., Lewis, E., Skewes-Cox, T. ve Burstein, L. (1993). Omitted and Not-Reached Items in Mathematics in the 1990. National Assessment of Educational Progress.
35. Krippendorff, K. (2007). Computing Krippendorff’s alpha reliability. Departmental Papers (ASC), 43.
36. Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563–575.
37. Leaver, R. ve van Walbeek, C. (2006). “Gender bias” in Multiple-Choice Questions: DoES the type of question make a difference?
38. Lee, H.-S., Liu, O. L. ve Linn, M. C. (2011). Validating Measurement of Knowledge Integration in Science Using Multiple-Choice and Explanation Items. Applied Measurement in Education, 24(2), 115–136. https://doi.org/10.1080/08957347.2011.554604
39. Lenhard, W. ve Lenhard, A. (2016). Calculation of Effect Sizes. Psychometrica. https://doi.org/10.13140/RG.2.1.3478.4245
40. Morgil, F. İ., ve Yılmaz, A. (2001). Kimya eğitiminde farklı madde türlerinin psikometrik özellikleri ve öğrenci başarısı bakımından karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 20(20).
41. Organisation for Economic Cooperation and Development (OECD) (2007). PISA 2006 Science Competencies for Tomorrow's World. Retrieved February 17, 2018, from http://www.pisa.oecd.org.
42. Özalp, D. (1992). Kısa Cevaplı ve Çoktan Seçmeli Maddelerden Oluşan Testlerin Psikometrik Özelliklerinin Karşılıklı Olarak İncelenmesi. HÜ Sosyal Bilimler Enstitüsü, Yüksek Lisans Tezi, Ankara.
43. Ozuru, Y., Briner, S., Kurby, C. A. ve McNamara, D. S. (2013). Comparing comprehension measured by multiple-choice and open-ended questions. Canadian Journal of Experimental Psychology/Revue Canadienne de Psychologie Expérimentale, 67(3), 215.
44. Peker, M. ve Mirasyedioğlu, Ş. (2003). Lise 2. Sınıf Öğrencilerinin Matematik Dersine. Yönelik Tutumları ve Başarıları Arasındaki İlişki Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 14(14), 157–166.
45. PISA. (2015). Uluslararası Öğrenci Değerlendirme Programı PISA 2015 Ulusal Raporu. M.E.B. Ölçme Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğü.
46. Quaigrain, K. ve Arhin, A. K. (2017). Using reliability and item analysis to evaluate a teacher-developed test in educational measurement and evaluation. Cogent Education, 4(1), 1301013.
47. Rauch, D. P. ve Hartig, J. (2010). Multiple-choice versus open-ended response formats of reading test items: A two-dimensional IRT analysis. Psychological Test and Assessment Modeling, 52(4), 354–379.
48. Ringim, K. J., Razalli, M. R. ve Hasnan, N. (2012). A framework of business process re-engineering factors and organizational performance of Nigerian banks. Asian Social Science, 8(4), 203.
49. Simkin, M. G. ve Kuechler, W. L. (2005). Multiple-choice tests and student understanding: what is the connection? Decision Sciences Journal of Innovative Education, 3(1), 73–98.
50. Taib, F. ve Yusoff, M. S. B. (2014). Difficulty index, discrimination index, sensitivity and specificity of long case and multiple choice questions to predict medical students’ examination performance. Journal of Taibah University Medical Sciences, 9(2), 110–114. https://doi.org/10.1016/j.jtumed.2013.12.002
51. Tekin, H. (2016). Eğitimde Ölçme ve Değerlendirme. Ankara: Yargı Yayın Evi.
52. Tekindal, S. (2000). Klasik Yazılı Sınavla Ve Çok Sorulu Testle Elde Edilen Ölçümlerin Güvenirlik Ve Geçerliği. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 8(8), 38–46.
53. Temizkan, M., ve Sallabaş, M. E. (2011). Okuduğunu anlama becerisinin değerlendirilmesinde çoktan seçmeli testlerle açık uçlu yazılı yoklamaların karşılaştırılması. Dumlupınar Üniversitesi Sosyal Bilimler Dergisi, 30, 207–220.
54. Thawabieh, A. M. (2016). A Comparison Between Two Test Item Formats: Multıple-Choice Items And Completıon Items. British Journal of Education, 4(8), 32–43.
55. Traub, R. E. (1993). On the equivalence of the traits assessed by multiple-choice and constructed-response tests. Construction versus Choice in Cognitive Measurement: Issues in Constructed Response, Performance Testing, and Portfolio Assessment, 29–44.
56. Turgut, M. F. (1983). Eğitimde Ölçme ve Değerlendirme Metotları (İkinci Baskı). Ankara: Saydam Matbaacılık.
57. Turgut, M. F. ve Baykul, Y. (2012). Eğitimde ölçme ve değerlendirme. Pegem Akademi.
58. Uğurlu, N. (1996). Aynı Davranışı ölçmeye Yönelik Kısa Cevaplı, Çoktan Seçmeli ve Kompozisyon Tipi Maddelerden Oluşa Testlerin Özelliklerinin İncelenmesi. Yayımlanmamış Yüksek Lisans Tezi. Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
59. Üstüner, A. ve Şengül, M. (2004). Çoktan seçmeli test tekniğinin Türkçe öğretimine olumsuz etkileri. Fırat Üniversitesi Sosyal Bilimler Dergisi, 14(2), 197–208.
60. Vasan, M., Cheryl, A., DeFouw, D. O., Holland, B. K. ve Vasan, N. S. (2017). Analysis of testing with multiple choice versus open-ended questions: Outcome-based observations in an anatomy course. Anatomical Sciences Education.
61. Wilson, F. R., Pan, W. ve Schumsky, D. A. (2012). Recalculation of the Critical Values for Lawshe’s Content Validity Ratio. Measurement and Evaluation in Counseling and Development, 45(3), 197–210.
62. Wooten, M. M., Cool, A. M., Prather, E. E. ve Tanner, K. D. (2014). Comparison of performance on multiple-choice questions and open-ended questions in an introductory astronomy laboratory. Physical Review Special Topics-Physics Education Research, 10(2), 020103.
63. Wright, C. D., Eddy, S. L., Wenderoth, M. P., Abshire, E., Blankenbiller, M. ve Brownell, S. E. (2016). Cognitive difficulty and format of exams predicts gender and socioeconomic gaps in exam performance of students in introductory biology courses. CBE-Life Sciences Education, 15(2), ar23.
64. Yaman, S. (2016). Çoktan Seçmeli Madde Tipleri Ve Fen Eğitiminde Kulanılan Örnekleri. Gazi Eğitim Bilimleri Dergisi, 2(2).
65. Yazıcıoğlu, E. B. (2007). Çoktan Seçmeli Testler ile Yapılandırılmış Gridlerin Psikomotor Özellikler Açısından Karşılaştırılması. Yayımlanmamış Yüksek Lisans Tezi, Ankara Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.