Development of a knowledge test about scientists for secondary school students

Abstract

This study aims to develop a knowledge test to assess secondary school students' awareness of scientists. After determining the topics that the questions in the test would measure, 50 multiple-choice questions were prepared and presented to six experts in the field. Following the experts' feedback, the number of questions in the test was reduced to 44 due to issues related to question clarity, alignment with the curriculum, and cognitive appropriateness. The 44-question test underwent item analysis. The prepared test was subjected to a preliminary pilot application with 222 secondary school students. As a result of the preliminary pilot application, two questions with discrimination indices of 0.19 or lower were removed, and the final version of the test was arranged to consist of 42 questions for the pilot application. The pilot application was conducted with 211 secondary school students. In this application, secondary school students were administered the Knowledge Test of Scientists consisting of 42 questions, and item analysis was performed again. Two questions with discrimination indices of 0.19 or lower were removed from the pilot application. As a result of the pilot application, the Knowledge Test of Scientists had a KR-20 reliability coefficient of 0.94, and the Spearman Brown two-half test correlation coefficient was calculated as 0.92. The final version of the scale was arranged to consist of 40 items. These results demonstrate that the test is highly reliable, meaning that the test results accurately reflect the measured attribute and are replicable.

Keywords

• Scientists
• Knowledge test
• Secondary school students
• Scale development
• Reliability

References

1. Açıkgöz, M., & Karslı, F. (2015). Alternatif ölçme-değerlendirme yaklaşımları kullanılarak iş ve enerji konusunda geliştirilen başarı testinin geçerlilik ve güvenirlik analizi [Validity and reliability analysis of achievement test which developed for work and energy, using alternative measure-evaluation techniques]. Amasya Education Journal, 4(1), 1-25. Erişim adresi: https://dergipark.org.tr/en/download/article-file/19638
2. Ağgül Yalçın, F. (2012). Öğretmen adaylarının bilim insanı imajlarının bazı değişkenlere göre incelenmesi [Investigation of prospective teachers’ image of scientist with respect to some variables]. Elementary Education Online, 11(3), 611 628. https://dergipark.org.tr/tr/download/article-file/90555
3. Akbulut, H.İ., & Çepni, S. (2013). Bir üniteye yönelik başarı testi nasıl geliştirilir?: İlköğretim 7. sınıf kuvvet ve hareket ünitesine yönelik bir çalışma [How to develop an achievement test for a unit?: A study for grade 7 force and motion unit]. Amasya Education Journal, 2(1), 18-44. https://dergipark.org.tr/en/download/article-file/19600
4. Arabacı, S., & Dönel Akgül, G. (2022). Fen Bilimleri ders kitaplarına bir bakış: Türk İslam bilim insanları [A overview of science textbooks: Turkish Islamic scientists]. International Journal of Social Sciences Academy, 4(9), 386 404. https://doi.org/10.47994/usbad.1068516
5. Aymen Peker, E., & Taş, E. (2019). Üç aşamalı kavram tanı testi geliştirme ve geçerlik çalışması: 5. sınıf canlılar dünyasını gezelim tanıyalım ünitesi [Three tier concept diagnostic test development and validity study: Let’s travel and learn about the living world unit of fifth grade]. Journal of Computer and Education Research, 7(14), 515–539. https://doi.org/10.18009/jcer.602223
6. Bıçak, C.Y., & Bilir, V. (2023). Fen Bilimleri ders kitaplarında yer alan bilim insanları ile ilgili bilgilerin öğretmen gözünden değerlendirilmesi [Evaluation of the information regarding scientists in the science textbooks from the teacher's perspective]. Mehmet Akif Ersoy University Journal of Education Faculty, 65, 487 511. https://doi.org/10.21764/maeuefd.1107010
7. Bilir, V., Tatlı, A., Yıldız, C., Emiroğlu, B.B., Ertuğrul, D., & Sakmen, G. (2020). Argümantasyon tabanlı öğrenme yaklaşımında kullanılan argümantasyon tekniklerinin ortaokul sekizinci sınıf öğrencilerinin bilim insanı imajları üzerine etkisi [The effect of argumentation techniques used in argumentation based learning approach on 8th grade secondary school students’ image of scientist]. Journal of Gazi University Gazi Education Faculty, 40(2), 481-510. https://dergipark.org.tr/en/download/article-file/722283
8. Bolat, A., & Karamustafaoğlu, S. (2019). “Vücudumuzdaki sistemler” ünitesi başarı testi geliştirme: Geçerlik ve güvenirlik [Development achievement of test on the unit “systems in our body”: Validity and reability]. Gazi Journal of Education Sciences, 5(2), 131-159. https://doi.org/10.30855/gjes.2019.05.02.008

9. Can, A. (2014). SPSS ile bilimsel araştırma sürecinde nicel veri analizi [Quantitative data analysis in the scientific research process with SPSS] (2nd ed.). Pegem Akademi Yayıncılık.
10. Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. Holt, Rinehart and Winston.
11. Çardak, Ç.S., & Selvi, K. (2018). Öğretim ilke ve yöntemleri dersi için bir başarı testi geliştirilmesi [Developing an achievement test for the teaching principles and methods course]. Mediterranean Educational Research Journal, 12(26), 379 406. https://doi.org/10.29329/mjer.2018.172.19
12. Demir, N., Kızılay, E., & Bektaş, O. (2016). 7. sınıf çözeltiler konusunda başarı testi geliştirme: Geçerlik ve güvenirlik çalışması [Development of an achievement test about solutions for 7th graders: A validity and reliability study]. Necatibey Faculty of Education Electronic Journal of Science and Mathematics Education, 10(1). https://doi.org/10.17522/nefefmed.52947 Doğan, N. (2009). Çoktan seçmeli testler [Multiple choice tests]. H. Atılgan (Eds.), Eğitimde ölçme ve değerlendirme [Measurement and evaluation in education] içinde (3rd ed.) (pp. 223-268). Anı Yayıncılık.
13. Duran, E., & Bayar, A. (2019). İlkokul öğrencilerinin bilim ve bilim insanına ilişkin algıları [The perceptions of primary school students on science and scientist]. Social Sciences Research Journal, 8(4), 14-29. https://dergipark.org.tr/en/download/article-file/870418
14. Durukan, Ü. G. (2017). Fen Bilimleri ders kitaplarında yer alan bilim insanları [Scientists in science textbooks]. Karadeniz Sosyal Bilimler Dergisi, 9(Kadın özel sayısı), 321-344. https://search.trdizin.gov.tr/tr/yayin/detay/265362/
15. Ertürk, S. (1972). Eğitimde “program” geliştirme [Developing a “program” in education]. Hacettepe Üniversitesi Basımevi.
16. Karaçam, S., Aydın, F., & Digilli, A. (2014). Fen ders kitaplarında sunulan bilim insanlarının basmakalıp bilim insanı imajı açısından değerlendirilmesi [Evaluation of scientists represented in science textbooks in terms of stereotype scientist image]. Ondokuz Mayis University Journal of Faculty of Education, 33(2), 606 627. https://doi.org/10.7822/omuefd.33.2.19
17. Karasu, B. (2019). Ortaokul Fen Bilimleri derslerinde işlenen bilim insanlarına yönelik formüllü tişört yönteminin akademik başarıya etkisi [The effect on academic success of formulated t-shirt method for teaching scientists' studies in middle school science course] [Master's thesis]. Ağrı İbrahim Çeçen University.
18. Karip, E. (Ed.). (2012). Ölçme ve değerlendirme [Measurement and evaluation] (5th ed.). Pegem Akademi.
19. Keçeci, G., Yıldırım, P., & Kırbağ Zengin, F. (2019). Sistemler akademik başarı testi: Geçerlik ve güvenirlik çalışması [Systems academic achievement test: Validity and reliability study]. National Journal of Education Academy, 3(1), 96 114. https://doi.org/10.32960/uead.514188 Linn, R.L., & Gronlund, N.E. (2000). Measurement and assessment in teaching (8th ed.). Merrill/Prentice-Hall.
20. Mehrens, W.A., & Lehmann I.J. (1991). Measurement and evaluation in education and psychology (4th ed.). Harcourt Brace College.
21. Meydan, A., & Akkuş, A. (2014). Sosyal bilgiler öğretiminde müze gezilerinin tarihi ve kültürel değerlerin kazandırılmasındaki önemi [The importance of getting students adopt the historical and cultural values through museum visits in social studies teaching]. Marmara Coğrafya Dergisi, 29, 402-422. https://doi.org/10.14781/mcd.92390
22. Nunnally, J. C. (1978). Psychometric theory (2nd ed.). McGraw-Hill.
23. Özdemir, E. (2017). Ortaokul öğrencilerinin bilim insanı imajı hakkındaki görüşleri [Image of secondary school students' views of scientist] [Unpublished master's thesis]. Necmettin Erbakan University.
24. Özdemir, E. (2022). Ortaokul Fen Bilimleri ders kitaplarının bilim insanları bağlamında incelenmesi [Analysis of secondary school Science textbooks in the context of scientists]. Journal of Research in Education and Society, 9(2), 403 429. https://doi.org/10.51725/etad.1098860
25. Özdeş, S., & Aslan, O. (2019). Kız öğrencilerin bilim insanı cinsiyetine yönelik algılarını ve bilim insanı olma isteklerini etkileyen faktörler [The factors affecting the girl students’ perceptions about the gender of scientist and their willingness to become a scientist]. Ondokuz Mayis University Journal of Education Faculty, 38(1), 190-214. https://doi.org/10.7822/omuefd.501944
26. Saraç, H. (2018). Fen Bilimleri dersi ‘maddenin değişimi’ ünitesi ile ilgili başarı testi geliştirme: Geçerlik ve güvenirlik çalışması [Development of achievement test about science lesson ‘change of matter’ unit: Validity and reliability study]. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 18(1), 416-445. https://doi.org/10.17240/aibuefd.2018..-388815
27. Sarıbaş, S., & Babadağ, G. (2015). Temel eğitimin temel sorunları [Basic problems of primary education]. Anatolian Journal of Educational Leadership and Instruction, 3(1), 18-34.
28. Tekin, H. (2010). Eğitimde ölçme ve değerlendirme [Measurement and evaluation in education] (20th ed.). Yargı Yayınevi.
29. Turgut, M.F. (1992). Eğitimde ölçme ve değerlendirme [Measurement and evaluation in education]. Saydam Matbaacılık.
30. Turgut, M.F. (1997). Eğitimde ölçme ve değerlendirme metotları [Measurement and evaluation methods in education]. Gül Yayınevi.
31. Turgut, M.F., & Baykul, Y. (2012). Eğitimde ölçme ve değerlendirme [Measurement and evaluation in education] (4th ed.). Pegem Akademi.
32. Ülger, K. (2021). Uzaktan eğitim modelinde karşilaşilan sorunlar-fırsatlar ve çözüm önerileri [Problems-opportunities and solution suggestions encountered in the distance education model]. International Journal of Contemporary Educational Studies, 7(1), 393-412.
33. Yazıcı, F., Gül, Ş., & Sözbilir, M. (2022). “Bitki ve hayvanlarda üreme, büyüme ve gelişme” konusuna yönelik bir başarı testinin geliştirilmesi [The development of an achievement test towards “reproduction, growth and development in plants and animals” subject]. Journal of Atatürk University Kazım Karabekir Education Faculty, 46, 11-19. https://doi.org/10.5152/AUJKKEF.2022.837043
34. Yıldırım, A., Şimşek, H. (2008). Sosyal bilimlerde nitel araştırma yöntemleri [Qualitative research methods in the social sciences]. Seçkin Yayıncılık.
35. Yıldırım, P., & Keçeci, G. (2022). Türk-İslam alimlerinin Fen Bilimleri ders kitaplarında ve öğretim programında yeri [The place of Turkish-Islamic scholars in Science textbooks and curriculum]. Van Yüzüncü Yıl University Journal of Education, 19(2), 429-445. https://doi.org/10.33711/yyuefd.1064898