Development of an Achievement Test for the ‘Journey into the Structure of Living Things’ Unit: Validity and Reliability Study

Abstract

The main purpose of this research is to design an achievement test aligned with the learning outcomes and process components outlined in the Century of Türkiye Education Model (TYMM) Science Curriculum for the 5th-grade unit titled “Journey into the Structure of Living Things.” In this context, the unit’s outcomes were systematically analyzed, and a preliminary measurement tool consisting of 48 items was created based on a comprehensive review of the literature. To establish content validity, a specification table was developed, and feedback from field experts was obtained. The 48-item draft of the Journey into the Structure of Living Things Achievement Test (CYYBT) was reviewed in line with expert feedback. In addition, student feedback obtained during a preliminary pilot study conducted with middle school students in the central district of Nevşehir during the 2024–2025 academic year was taken into consideration. Based on expert and student feedback, some items were revised, while others were removed, reducing the total number of items to 46. Following the preliminary pilot study, the test was administered to 404 fifth-grade students, and validity and reliability analyses were performed. The analysis revealed that the mean item discrimination index was 0.510, and the mean item difficulty index was 0.491. Furthermore, the KR-20 reliability coefficient of the final test was found to be 0.905. As a result of item analyses, three additional items with low discrimination were excluded, and a valid and reliable 43-item multiple-choice achievement test with four options was developed for the 5th-grade Journey into the Structure of Living Things unit. The developed test is considered a valuable instrument that can contribute to the literature and to future research in science education.

Keywords

• Journey into the structure of living things achievement test
• validity
• reliability
• test development
• achievement test.

Canlıların Yapısına Yolculuk Ünitesine Yönelik Başarı Testi Geliştirme: Geçerlik ve Güvenirlik Çalışması

Abstract

Bu araştırmanın temel amacı, 5. sınıf düzeyinde yer alan “Canlıların Yapısına Yolculuk” ünitesi kapsamında, Türkiye Yüzyılı Maarif Modeli (TYMM) Fen Bilimleri Dersi Öğretim Programı’nda (FBDÖP) belirtilen öğrenme çıktıları ve süreç bileşenlerine dayalı bir başarı testinin geliştirilmesidir. Bu doğrultuda, öncelikle üniteye ilişkin öğrenme çıktıları ayrıntılı olarak incelenmiş ve ilgili alanyazından yararlanılarak 48 maddeden oluşan bir taslak ölçme aracı oluşturulmuştur. Testin kapsam geçerliğini sağlamak amacıyla belirtke tablosu hazırlanmıştır ve alan uzmanlarının görüşlerine başvurulmuştur. Hazırlanan 48 maddelik Canlıların Yapısına Yolculuk Başarı Testi (CYYBT), alan uzmanlarının görüşleri doğrultusunda incelenmiştir. Ayrıca, 2024-2025 eğitim-öğretim yılı içerisinde Nevşehir ili merkezinde bulunan ortaokul öğrencileriyle gerçekleştirilen ön pilot uygulama kapsamında elde edilen öğrenci geri bildirimleri temelinde değerlendirilmiştir. Bu süreçte uzman ve öğrenci geri bildirimleri dikkate alınarak bazı maddeler revize edilmiş, bazıları ise testten çıkarılarak madde sayısı 46’ya düşürülmüştür. Ön pilot uygulamanın ardından test, 404 beşinci sınıf öğrencisine uygulanmış ve geçerlik-güvenirlik çalışmaları gerçekleştirilmiştir. Gerçekleştirilen madde analizleri sonucunda, testte yer alan soruların ortalama ayırt edicilik değeri 0.510, ortalama güçlük değeri ise 0.491 olarak saptanmıştır. Bununla birlikte, testin genel güvenirliğini gösteren KR-20 katsayısı 0.905 olarak bulunmuştur. Yapılan madde analizleri sonucunda düşük ayırt ediciliğe sahip üç maddenin daha çıkarılmasıyla, beşinci sınıf Canlıların Yapısına Yolculuk ünitesine yönelik geçerliği ve güvenirliği sağlanmış, dört seçenekli çoktan seçmeli 43 maddelik bir başarı testi geliştirilmiştir. Geliştirilen testin, fen eğitimi alanında yürütülecek araştırmalarda alanyazına katkı sağlayacak nitelikte olduğu değerlendirilmektedir.

Keywords

• Canlıların yapısına yolculuk başarı testi
• geçerlik
• güvenirlik
• test geliştirme
• başarı testi.

References

1. Anderson, L. W., & Krathwohl, D. R. (Eds.). (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s taxonomy of educational objectives (Complete ed.). Longman.
2. Atılgan, H. (Ed.). (2013). Eğitimde ölçme ve değerlendirme (6. baskı). Anı Yayıncılık.
3. Bloom, B. S. (Ed.). (1956). Taxonomy of educational objectives: The classification of educational goals. Handbook I: Cognitive domain. David McKay.
4. Büyüköztürk, Ş. (2014). Sosyal bilimler için veri analizi el kitabı: İstatistik, araştırma deseni, SPSS uygulamaları ve yorum. Pegem Akademi.
5. Can, A. (2014). SPSS ile bilimsel araştırma sürecinde nicel veri analizi (2. baskı). Pegem Akademi.
6. Fraenkel, J. R., Wallen, N. E., & Hyun, H. (2012). How to design and evaluate research in education (8th ed.). McGraw Hill.
7. Haladyna, T. M. (1997). Writing test items to evaluate higher order thinking. Allyn & Bacon.
8. Hasançebi, B., Terzi, Y., & Küçük, Z. (2020). Madde güçlük indeksi ve madde ayırt edicilik indeksine dayalı çeldirici analizi. Gazi Üniversitesi Fen Bilimleri Dergisi (GUFBED), 10(1), 224-240.

9. Karasar, N. (2012). Bilimsel araştırma yöntemi: Kavramlar, ilkeler, teknikler (23. baskı). Nobel Akademik Yayıncılık.
10. Karip, E. (Ed.). (2012). Ölçme ve değerlendirme (5. baskı). Pegem Akademi.
11. Keçeci, G., Yıldırım, P., & Kırbağ Zengin, F. (2019). Sistemler akademik başarı testi: Geçerlik ve güvenirlik çalışması. Ulusal Eğitim Akademisi Dergisi (UEAD), 3(1), 96-114.
12. Kılıç, Ç., & Girgin, S. (2022). 7. sınıf hücre ve bölünmeler ünitesi akademik başarı testi geliştirilmesi: Geçerlik ve güvenirlik analizi. Journal of Social and Humanities Sciences Research, 9(81), 407-420. https://doi.org/10.26450/jshsr.2997
13. Kızkapan, O., & Bektaş, O. (2018). Fen eğitiminde başarı testi geliştirilmesi: Hücre bölünmesi ve kalıtım örneği. Maarif Mektepleri Uluslararası Eğitim Bilimleri Dergisi, 2(1), 1-18.
14. Kurt, A., Aydın, M., & Bekereci, Ü. (2023). Achievement test development study for 6th grade sound and characteristics unit: Validity and reliability analysis. E-International Journal of Educational Research, 14(3), 20-33. https://doi.org/10.19160/e-ijer.1226568
15. Küçükahmet, L. (2002). Öğretimde planlama ve değerlendirme (13. baskı). Nobel Yayın Dağıtım.
16. Millî Eğitim Bakanlığı. (2024). Türkiye Yüzyılı Maarif Modeli fen bilimleri dersi öğretim programı (İlkokul ve Ortaokul 3, 4, 5, 6, 7 ve 8. sınıflar).
17. Ogan Bekiroğlu, F. (2004). Ne kadar başarılı? Klasik ve alternatif ölçme değerlendirme yöntemleri ve fizikte uygulamalar (1. baskı). Nobel Yayın Dağıtım.
18. Öner Armağan, F., & Demir, N. (2019). Astronomi başarı testi geliştirme: Geçerlik ve güvenirlik çalışması. Maarif Mektepleri Uluslararası Eğitim Bilimleri Dergisi, 3(1), 52-70. https://doi.org/10.46762/mamulebd.582883
19. Özcan, C., & Kaptan, F. (2019). 2018 Fen bilimleri öğretim programının fen bilimleri için uyarlanmış Bloom taksonomisine göre incelenmesi. Gaziantep Üniversitesi Eğitim Bilimleri Dergisi, 3(2), 78-90.
20. Özcan, H., Boz, C., & Özkaya, A. (2020). 7. sınıf öğrencilerinin hücre konusuyla ilgili anlayışlarını ölçmeye yönelik bir test geliştirme çalışması. Mustafa Kemal Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 17(46), 203-233.
21. Patton, M. Q. (1987). How to use qualitative methods in evaluation. Sage.
22. Seçer, İ. (2015). SPSS ve Lisrel ile pratik veri analizi. Anı Yayıncılık.
23. Soylu, Ü. İ., Karamustafaoğlu, S., & Karamustafaoğlu, O. (2020). 6. sınıf “Madde ve Isı” ünitesi başarı testi geliştirme: Geçerlik ve güvenirlik. Ihlara Eğitim Araştırmaları Dergisi, 5(2), 271-293. https://doi.org/10.47479/ihead.800620
24. Susongko, P. (2016). Validation of science achievement test with the Rasch model. Jurnal Pendidikan IPA Indonesia, 5(2), 268-277.
25. Tan, Ş. (2020). Eğitimde ölçme ve değerlendirme. Pegem Akademi.
26. Tekin, H. (2004). Eğitimde ölçme ve değerlendirme (19. baskı). Yargı Yayınevi.
27. Terry, W. S. (2011). Öğrenme ve bellek: Temel ilkeler, süreçler, işlemler (B. Cangöz, Çev. Ed.). Anı Yayıncılık.
28. Topay, N., & Yılmaz, M. (2023). Biyoloji ve fen bilgisi öğretmenlerine yönelik tamamlayıcı ölçme ve değerlendirme teknikleri başarı testi geliştirilmesi. Gazi Eğitim Bilimleri Dergisi, 9(2), 214-240. https://doi.org/10.30855/gjes.2023.09.02.005
29. Toprakçı, E. (2012). Rethinking classroom management: A new perspective, a new horizon. E-International Journal of Educational Research, 3(3), 84-110. http://www.e-ijer.com/tr/download/article-file/89768
30. Tosun, C., & Taşkesenligil, Y. (2011). Revize edilmiş Bloom’un taksonomisine göre çözeltiler ve fiziksel özellikleri konusunda başarı testinin geliştirilmesi: Geçerlik ve güvenirlik çalışması. Kastamonu Eğitim Dergisi, 19(2), 499–522. https://dergipark.org.tr/en/download/article-file/817458
31. Turgut, M. F. (1995). Eğitimde ölçme ve değerlendirme metotları (10. baskı). Yargıcı Matbaası.
32. Yılmaz, H. (2004). Eğitimde ölçme ve değerlendirme (7. baskı). Çizgi Kitabevi.