A Test Development Study Based On TIMSS Knowledge Application Reasoning Cognitive Domains in Force and Energy Unit

Abstract

In this study, the Force and Energy Unit Test (KET) was developed in alignment with the cognitive domains defined by TIMSS (2019), encompassing the learning objectives of the Force and Energy unit in the 7th grade Science curriculum. The test was constructed to assess students’ individual performance across the cognitive domains of knowing, applying, and reasoning. To ensure the content and construct validity of the test items, expert consultation was employed. A pilot implementation of the initial 35-item version of the test was conducted with a sample of 371 eighth-grade students from the central districts of Ankara. Confirmatory Factor Analysis (CFA) was utilized to evaluate the structure of the test, and item discrimination and difficulty indices were calculated. Based on these analyses, 8 items were excluded, resulting in a final test comprising 27 items equally distributed among the three cognitive domains (9 items per domain). Item discrimination index, calculated using the point-biserial correlation method, yielded an average discrimination value of 0.38, while the average item difficulty was found to be 0.42. In the pilot study of the test, the KR-20 reliability coefficient was computed as 0.86, and the Cronbach alpha reliability coefficient obtained as a result of the CFA was calculated as 0.85. The test was applied to a sample of 619 7th graders and the KR-20 reliability coefficient was computed as 0.86. As a result, a valid and reliable criterion-referenced assessment tool was developed to measure students' knowledge, application, and reasoning skills within the context of the Force and Energy unit.

Keywords

• Force and Energy
• test development
• TIMSS
• knowledge application and reasoning cognitive domains

Kuvvet ve Enerji Ünitesi Bilme Uygulama Akıl Yürütme TIMSS Bilişsel Alanları Temelinde Bir Test Geliştirme Çalışması

Abstract

Bu araştırmada 7. sınıf Fen Bilimleri öğretim programı ünitelerinden biri olan Kuvvet ve Enerji Ünitesi kazanımlarını içeren TIMSS bilişsel alanları temelinde Kuvvet Enerji Ünitesi Testi (KET) geliştirilmiştir. Testte öğrencilerin bireysel başarılarını belirlemek için kriter olarak TIMSS (2019) tarafından belirlenen “bilme”, “uygulama” ve akıl yürütme” bilişsel alanlarında hazırlanan maddeler kullanılmıştır. Test maddelerinin kapsam geçerliği ve yapı geçerliğinin sağlanmasında uzman görüşüne başvurulmuştur. 35 maddeden oluşan testin pilot uygulaması Ankara merkez ilçelerindeki 371 tane 8.sınıf öğrencisi ile gerçekleştirilmiştir. Test maddelerine DFA uygulanmış, madde ayırt ediciliği ile güçlük indeksleri hesaplanmış ve analizler sonucunda 8 madde testten çıkarılarak 9 bilme, 9 uygulama, 9 akıl yürütme bilişsel alanına ait 27 maddeden oluşan bir test elde edilmiştir. Test maddelerinin madde ayırt edicilik indeksi nokta çift serili korelasyon yöntemi hesaplanmış ve maddelerin ortalama ayırt edicilik değeri 0.38; güçlük düzeyi 0.42 olarak belirlenmiştir. Testin pilot uygulamada KR – 20 güvenirlik katsayısı 0.86 olarak, DFA sonucunda elde edilen Cronbach alfa güvenirlik katsayısı ise 0.85 olarak hesaplanmıştır. Test 7.sınıflardan oluşan 619 kişilik örnekleme grubuna uygulanmıştır ve KR- 20 güvenirlik katsayısı 0.86 olarak hesaplanmıştır. Çalışmada öğrencilerin Kuvvet ve Enerji Ünitesi’nde bilme, uygulama ve akıl yürütme düzeylerini belirlemede kullanılabilecek geçerli ve güvenilir kriter referanslı bir test elde edilmiştir.

Keywords

• Kuvvet ve enerji
• test geliştirme
• TIMSS
• bilme uygulama ve akıl yürütme bilişsel alanları

References

1. Açıkgöz, M., & Karslı, F. (2015). Alternatif ölçme-değerlendirme yaklaşımları kullanılarak iş ve enerji konusunda geliştirilen başarı testinin geçerlilik ve güvenirlik analizi. Amasya Üniversitesi Eğitim Fakültesi Dergisi, 4(1), 1-25.
2. Akbulut, H. İ., & Çepni, S. (2013). Bir üniteye yönelik başarı testi nasıl geliştirilir?: İlköğretim 7. sınıf kuvvet ve hareket ünitesine yönelik bir çalışma. Amasya Üniversitesi Eğitim Fakültesi Dergisi, 2(1), 18-44.
3. Akınoğlu, O., & Tandoğan, Ö. R. (2007). The effects of problem-based active learning in science education on students’ academic achievement, attitude and concept learning. Eurasia Journal of Mathematics, Science & Technology Education, 3(1), 71-81.
4. Anderson, L.W. (Ed.), Krathwohl, D.R. (Ed.), Airasian, P.W., Cruikshank, K.A., Mayer, R.E., Pintrich, P.R., Raths, J., & Wittrock, M.C. (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s Taxonomy of Educational Objectives (Kısaltılmış baskı). New York: Longman.
5. Ateş, S. (2019). Bilimsel Muhakeme (Akıl Yürütme). Ankara, Palme Yayınevi.
6. Atılgan, H., Kan, A., & Aydın, B. (2017). Eğitimde ölçme ve değerlendirme. (11. Baskı). Ankara, Anı Yayıncılık.
7. Aybek, E. C. (2021). "Data preparation for factor analysis." from https://shiny.eptlab.com/dp2fa/
8. Aydoğdu, B., Tatar, N., Yıldız, E., & Buldur, S. (2012). İlköğretim öğrencilerine yönelik bilimsel süreç becerileri ölçeğinin geliştirilmesi. Journal of Theoretical Educational Science, 5(3), 292-311.

9. Brown, T. A. (2015). Confirmatory factor analysis for applied research (2nd ed.). The Guilford Press. Bryman, A., & Cramer, D. (2001). Quantitative data analysis with SPSS release 10 for Windows: A guide for social scientists. Routledge.
10. Büyüköztürk, Ş. (2010). Veri Analizi El Kitabı (12. bs). Ankara, PegemA Yayıncılık.
11. Büyüköztürk, Ş., Akgün, Ö. E., Karadeniz, Ş., Demirel, F. ve Kılıç, E. (2013). Bilimsel araştırma yöntemleri. Ankara: Pegem Akademi
12. Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. Holt, Rinehart and Winston, 6277 Sea Harbor Drive, Orlando, FL 32887
13. Davis, F. B., & Diamond, J. J.(1974). The preparation of criterion-referencedtests for the CSE monograph series in evaluation. Los Angeles:CenterStudy of Evaluation, University of California
14. Fives, H., Huebner, W., Birnbaum, A. S., & Nicolich, M. (2014). Developing a measure of scientific literacy for middle school students. Science Education, 98(4), 549-580.
15. Fleiss, J. L., Levin, B., & Paik, M. C. (2003). Statistical methods for rates and proportions.
16. Fraenkel, J. R., Wallen, N. E., & Hyun, H. H. (2012). How to design and evaluate research in education.(8th ed.). New York: McGraw-Hill.
17. Gravetter, F. J., & Forzano, L., A., B. (2018). Research methods for the behavioral sciences (6th ed.). Boston: Cengage.
18. Güngörmez, H. G., & Akgün, A. (2018). Ortaokul Öğrencilerinin Fen Bilimleri Dersindeki Kuvvet ve Enerji Ünitesine Yönelik Akademik Başarı Testi Geliştirme Çalışması. Diyalektolog-Uluslararası Sosyal Bilimler Dergisi, (18).
19. Hambleton, R. K., & Eignor, D. R. (1979). A practitioner’s guide to criterion-referenced test development, validation, and test score usage (2. Baskı). University of Massachusetts, Amherst.
20. İdin, Ş., & Aydoğdu, C. (2016). Kuvvet ve hareket ünitesi başarı testi geçerlik ve güvenirlik araştırması. Eğitim Bilim ve Teknoloji Araştırmaları Dergisi, 1(1), 14-33.
21. Jackson, R. (1970). Developing criterion-referenced tests. ERIC Clearinghouse on Tests, Measurement, and Evaluation.
22. Karatay, R., & Doğan, F. (2016). Ortaokul 7. Sınıf Fen ve Teknoloji Dersi Bilimsel Süreç Becerileri Ölçeğinin Geliştirilmesi. Dicle Üniversitesi Ziya Gökalp Eğitim Fakültesi Dergisi, (27), 1-8.
23. Kıray, S. A. (2010). İlköğretim ikinci kademede uygulanan fen ve matematik entegrasyonunun etkililiği. (Doktora Tezi). Yüksek Öğretim Merkezi Ulusal Tez Merkezinden alınmıştır. (Tez No: 381067).
24. Kline, R. B. (2019). Yapısal eşitlik modellemesinin ilke ve uygulaması. Ankara: Nobel Akademi.
25. Koğar, H., & Yılmaz Koğar, E. (2016). Comparison of Different Estimation Methods for Categorical and Ordinal Data in Confirmatory Factor Analysis. Journal of Measurement and Evaluation in Education and Psychology, 6(2). https://doi.org/10.21031/epod.94857
26. Korkmaz, S., Göksülük, D., & Zararsiz, G. (2014). MVN: An R package for assessing multivariate normality. The R Journal 6(2): 151-162.
27. MEB (2018). Milli Eğitim Bakanlığı Fen Bilimleri Dersi Öğretim Programı (İlkokul ve Ortaokul3,4,5,6,7,8. Sınıflar). https://mufredat.meb.gov.tr/ Dosyalar/ 201812312311937-FEN%20B%C4%B0L%C4% B0MLER %C4%B0%20% C3%96%C4%9ERET %C4%B0M% 20 PROGRAMI 2018. pdf adresinden 06.01.2021 tarihinde edinilmiştir.
28. MEB (2006). Talim ve terbiye kurulu başkanlığı, ilköğretim fen ve teknoloji dersi (6, 7 ve 8. Sınıflar) öğretim programı. Ankara: Devlet Kitapları Müdürlüğü.
29. MEB (2013). Talim ve terbiye kurulu başkanlığı, ilköğretim kurumları fen bilimleri dersi (3, 4, 5, 6, 7 ve 8. Sınıflar) öğretim programı. Ankara: Devlet Kitapları Müdürlüğü.
30. MEB (2024), Türkiye Yüzyılı Maarif Modeli. Fen Bilimleri Öğretim Programı. https://tymm.meb.gov.tr/ogretim-programlari/fen-bilimleri-dersi/8 adresinden 29.10.2024 tarihinde edinilmiştir.
31. Miller, J. D. (1983). Scientific literacy: A conceptual and empirical review. Daedalus, 29-48.
32. Mullis, I. V.S., & Martin, M. O. (2017). TIMSS 2019 assessment frameworks. TIMSS and PIRLS In¬ternational Study Center. Chestnut Hill, MA: Lynch School of Education, Boston College.
33. NRC (2015) https://www.nagb.gov/content/dam/nagb/en/documents/publications /frameworks/science/2015-science-framework.pdf adresinden 30.10.2024 tarihinde edinilmiştir.
34. NSTA (2024) https://www.nsta.org/applying-knowledge-context adresinden 4.11.20024 tarihinde edinilmiştir. Nunnally, J. C. (1978). Psychometric theory (2. Bölüm). McGraw-Hill.
35. OECD (2019). PISA 2018 Assessment and Analytical Framework. Paris: OECD Publishing. doi:https://doi.org/10.1787/b25efab8-en.
36. O'Hearn, G. T. (1976). Science literacy and alternative futures. Science Education, 60(1), 103-114. DOI: 10.1002/sce.3730600114.
37. R Core Team. (2023). R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing. https://www.R-project.org/
38. Sarmento, R. P., & Costa, V. (2019). Confirmatory factor analysis--a case study. arXiv preprint arXiv:1905.05598.
39. Schumacker, R. E., & Lomax, R. G. (2004). A beginner's guide to structural equation modeling. (2. Baskı). Lawrence Erlbaum Assocıates, Publıshers Mahwah, New Jersey London.
40. Stevens, J. (2002). Applied multivariate statistics for the social sciences. (5. Baskı). Mahwah, NJ: Lawrence Erlbaum Associates.
41. Suna, H. E., Şensoy, S., Parlak, B. & Özdemir, E. (2020). TIMMS 2019 Türkiye Ön Raporu. Milli Eğitim Bakanlığı Eğitim Analiz ve Değerlendirme Raporları Serisi. No:15. Aralık.
42. Özçelik, D. A. (2010). Test Hazırlama Kılavuzu (4. baskı). Ankara, PegemA Yayıncılık.
43. Öztürk, M. (2014). 8. Sınıf kuvvet ve hareket ünitesine yönelik bilgisayar destekli öğretim uygulamalarının etkililiğinin araştırılması. Yüksek Lisans Tezi. Karadeniz Teknik Üniversitesi.
44. Özden, B., & Yenice, N. (2017). “Kuvvet ve Enerji” Ünitesine Yönelik Üç Aşamalı Kavramsal Anlama Testi Geliştirme Çalışması. Necatibey Eğitim Fakültesi Elektronik Fen ve Matematik Eğitimi Dergisi, 11(2), 432-463.
45. Tabachnick, B. G., & Fidell, L. S. (2012). Using Multivariate Statistics (Sixth ed.): Pearson.
46. Tierney, N. and D. Cook (2023). "Expanding Tidy Data Principles to Facilitate Missing Data Exploration, Visualization and Assessment of Imputations." Journal of Statistical Software 105(7): 1-31.
47. Uyumaz, G., & Sırgancı, G. (2020). Doğrulayıcı faktör analizi için gerekli örneklem büyüklüğü kaç kişidir?: Bayes Yaklaşımı ve maksimum olabilirlik kestirimi. OPUS International Journal of Society Researches, 16(32), 5302-5340.
48. Yüzbaşıoğlu, M. K., & Kurnaz, M. A. (2023). Fen Bilimleri Dersi" Kuvvetin Ölçülmesi ve Sürtünme" Ünitesine Yönelik Bağlam Temelli Öğrenme Durumları Testi Geliştirme Çalışması. Adıyaman Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, (45), 32-65.