Developing an Achievement Test about 7th Grade “Solar System and Beyond” Unit: Analysis of Validity and Reliability

Year 2020, , 476 - 502, 20.10.2020

Fatih Doğan , Burcu Özdemir

https://doi.org/10.18009/jcer.719913

Abstract

The aim of this research is to develop a reliable and valid achievement test to measure academic success of pupils about 7th grade’s “Solar System and Beyond” unit. For this reason, depending on the objectives of “Solar System and Beyond” unit, which is included in middle school science program, which was published in 2018, 42 multiple-choice test questions were prepared. The clearness of the test questions, cohesion with the objectives and scientific knowledge were designed with the care of various sights of the authorities in teaching science field which depend on the technic which was suggested by Lawshe (1975). According to this, content validity score was calculated as .94. The pilot study for this test put into practice with 254 students who had studied 7th grade in 2018-2019 academic years. As a consequence of the item statistic which was realized in the process of test development by the answers of the students for each question, difficulty score and item discrimination were calculated for each of the item. As a consequence of item statistic, 8 items were excluded from the test and the last form of the “Solar System and Beyond Academic Achievement Test” was designed with 35 questions. As a result of the analysis, the last form’s KR-20 reliability co-efficient was calculated as .87. Average item difficulty index was calculated as .61 and average item discrimination index was calculated as .48. According to this outcome, average item difficulty was identified as midlevel, and average item discrimination was identified as high-level.

Keywords

Solar system and beyond achievement test,, test development, middle school

References

• Akçetin, E. (2017). Designing undergraduate curriculum for management information systems (MIS) education: a comparison of the mis programs of Turkish universities with those of global universities. Journal of Computer and Education Research, 5(9), 50-60.
• Albayrak, H., Yalçın, P., & Yalçın, S A. (2017). Astronomi konularında istasyon tekniğinin öğrencilerin akademik başarısına nasıl etki ettiğini belirlemek. Journal of Human Sciences, 14(4), 4561-4578
• Arıcı, V. A. (2013). Fen eğitiminde sanal gerçeklik programları üzerine bir çalışma: ''Güneş Sistemi ve Ötesi: Uzay Bilmecesi'' ünitesi örneği. Yüksek Lisans Tezi, Adnan Menderes Üniversitesi, Eğitim Bilimleri Enstitüsü, Aydın
• Bardar, E. M. (2006). Development and analysis of spectroscopic learning tools and the light and spectroscopy concept inventory for introductory college astronomy. Ph.D. Dissertation, Boston University. (Order No. 3214908).
• Bayrakçeken S., (2007). Test Geliştirme, Karip, E. (Ed). Ölçme ve Değerlendirme. (ss.241-272), Ankara: Pegem Akademi Yayıncılık
• Burton, S. J., Sudweeks, R. R., Merrill, P. F., & Wood, B. (1991). How to prepare better multiple-choice test items: Guidelines for university faculty. Brighaam young university testing.
• Büyüköztürk, Ş. (2010). Sosyal bilimler için veri analizi el kitabı (12th ed.). Ankara: Pegem Akademi Yayıncılık
• Can, A. (2017). Spss ile bilimsel araştırma sürecinde nicel veri analizi. 5. Baskı, Ankara:Pegem Akademi Yayıncılık
• Coşkun, M (2018). Mobil uygulama ve arttırılmış gerçeklik ile desteklenen öğretimin, güneş sistemi ve ötesi ünitesinde öğrencilerin akademik başarılarına, astronomiye yönelik tutumları ve fen dersine yönelik kaygı ve motivasyonlarına etkisi. Yüksek lisans Tezi, Hatay Mustafa Kemal Üniversitesi, Fen Bilimleri Enstitüsü, Hatay
• Çeliker, H.D. & Balım A.G. (2012), Effects of Project Based Learning of the “Solar System and Beyond: Space Puzzle” Unit on Student Achievement, Journal of Theoretical Educational Science, 5(3), 254-277
• Çepni, S. & Çoruhlu, T.Ş. (2014). “Güneş Sistemi ve Ötesi: Uzay Bilmecesi” Ünitesinde Zenginleştirilmiş 5E Öğretim Modeline Uygun Hazırlanan Öğrenme Ortamlarının Öğrenci Başarısı Üzerine Etkisinin İncelenmesi. Uludağ Üniversitesi Eğitim Fakültesi Dergisi, 27(2), 343-369.
• Çoban A., (2017), 3D bilgisayar modellerinin fen öğretiminde akademik başarıya etkisi: güneş sistemi ve ötesi, Yüksek lisans tezi, Akdeniz Üniversitesi, Eğitim Bilimleri Enstitüsü, Antalya
• Demir N. & Armağan F. (2019), Astronomi Başarı Testi Geliştirme: Geçerlik ve Güvenirlik Çalışması, Uluslararası Eğitim Bilimleri Dergisi, 3(1): 52-70
• Demirçalı S., (2016), Modellemeye dayalı fen öğretiminin öğrencilerin akademik başarılarına, bilimsel süreç becerilerine ve zihinsel model gelişimlerine etkisi: 7. sınıf “güneş sistemi ve ötesi - uzay bilmecesi” ünitesi örneği, Doktora Tezi, Gazi Üniversitesi, Eğitim Bilimleri Enstitüsü
• Düşkün, İ. (2011). Güneş-dünya-ay modeli geliştirilmesi ve fen bilgisi öğretmen adaylarının astronomi eğitimindeki akademik başarılarına etkisi. Yüksek lisans tezi. İnönü Üniversitesi Eğitim Bilimleri Enstitüsü. Malatya
• Fraenkel, J. R., Wallen, N. E., & Hyun, H. H. (2012). How to design and evaluate research in education (8th ed.). New York: Mc Graw HIll, USA
• Gökçe Y. (2019), Fen Bilimleri Dersi Güneş Sistemi Ve Ötesi Ünitesinde Stem Uygulamalarının Akademik Başarıya ve Kalıcılığa Etkisi, Yüksek Lisans Tezi, Bayburt Üniversitesi Lisansüstü Eğitim Enstitüsü, Bayburt
• Göndoğdu T. (2014), 8. sınıf öğrencilerinin astronomi konusundaki başarı ve kavramsal anlama düzeyleri ile fen dersine yönelik tutumları arasındaki ilişkinin incelenmesi, Yüksek lisans Tezi, Marmara Üniversitesi, Eğitim Bilimleri Enstitüsü, İstanbul
• Gülen, S. & Demirkuş, N. (2014). “Güneş Sistemi Ve Ötesi: Uzay Bilmecesi” Ünitesinde, Görsel Materyalin Öğrenci Başarısına Etkisi. Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi, 11(1),1-20.
• Hanson R. A., Behr G. E., Meguro B. T. & Bailey J. D., 1980. Verification of Instructionally Sensitive Achievement Test. SWRL Educational Research And Development.(ERIC No: ED250387).
• Jayanthi, J. (2014). Development and validation of an achievement test in mathematics. International Journal of Mathematics and Statistics Invention, 2(4), 40-46.
• Kalkan K, (2018), 7. sınıf güneş sistem ve ötesi ünite kazanımlarının materyal ve model destekli etkinliklerle öğretiminin etkililiğinin incelenmesi, Yüksek lisans tezi, Bolu Abant İzzet Baysal Üniversitesi, Eğitim Bilimleri Enstitüsü, Bolu
• Kaya E. (2015), “Güneş sistemi ve ötesi: uzay bilmecesi” ünitesi için bilişsel yük kuramı ilkelerine göre geliştirilen teknoloji destekli rehber materyallerin etkililiğinin belirlenmesi, Doktora Tezi, Karadeniz Teknik Üniversitesi, Eğitim Bilimleri Enstitüsü, Trabzon
• Keller, J. M. (2006). Part I. development of a concept inventory addressing students' beliefs and reasoning difficulties regarding the greenhouse effect, part II. distribution of chlorine measured by the mars odyssey gamma ray spectrometer. Ph. D. Dissertation University of Arizona, USA. (Order No. 3237466).
• Kempa, R. (1986). Assessment in Science. Cambridge University Press, Cambridge, London.
• Kırıkkaya, E.B, & Şentürk, M. (2018). Güneş sistemi ve ötesi ünitesinde artırılmış gerçeklik teknolojisi kullanılmasının öğrenci akademik başarısına etkisi. Kastamonu Eğitim Dergisi, 26(1), 181-189
• Küçüközer H. (2010), Bostan A, & Işıldak R.S., (2010), İlköğretim matematik öğretmeni adaylarının bazı astronomi kavramlarına ilişkin fikirlerine öğretimin etkileri, Ondokuz Mayıs Üniversitesi Eğitim Fakültesi Dergisi, 29 (1), 105-124
• Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28, 563–575.
• Lindell, R. S., & Sommer, S. R. (2004, September). Using the lunar phases concept inventory to investigate college students’ pre-instructional mental models of lunar phases. In 2003 Physics Education Research Conferences: 2003 Physics Education Conference (Vol. 720, No. 1, pp. 73-76). AIP Publishing.
• Marx, R. W. (2004). Inquiry-based science in the middle grades: Assessment of learning in urban systemic reform. Journal of Research in Science Teaching, 41(10),1063-1080.
• Saipanish, R., Hiranyatheb, T. & Lotrakul, M. (2015). Reliability and validity of the thai version of the Florida obsessive-compulsive inventory. The Scientific World Journal, 1-7.
• Schoon, K. J. 1992, Students Alternative Conceptions of Earth and Space, Journal of Geological Education, 40(3), 209
• Slater, J.S. (2014). The Development and Validation of The Test of Astronomy Standards (TOAST), Journal of Astronomy & Earth Sciences Education, 1, 1, 1-22
• Sözbilir, M. (2010). Madde analizi ve test geliştirme. Retrieved June 6, 2015, from https://olcmevedegerlendirme.files.wordpress.com/2010/09/7-madde-analizi-ve-test-gelistirme.pdf
• Sözen, M., & Bolat, M. (2016). Developing an Achievement Test for the Subject of Sound in Science Education. Journal of Education and Learning, 5(2), 149.
• Şahin R. (2016), Bilgisayar destekli öğretimin 7. sınıf fen ve teknoloji dersi güneş sistemi ve ötesi uzay bilmecesi ünitesindeki öğrenci başarısı ve tutumuna etkisi, Yüksek lisans tezi, Kafkas Üniversitesi, Fen Bilimleri Enstitüsü, Kars
• Şekercioğlu, A. & Akkuş, G. (2019). Drama yönteminin 7. sınıf öğrencilerinin güneş sistemi ve ötesi: uzay bilmecesi ünitesindeki başarılarına etkisi. Bolu Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 19(1), 125146.
• Şen, H. C. & Eryılmaz, A. (2011). Bir başarı testi geliştirme çalışması: Basit elektrik devreleri başarı testi geçerlik ve güvenirlik araştırması. Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi, 8 (I), 1-39.
• Tan Ş., (2005). Öğretimi Planlama ve Değerlendirme (9. Basım). Ankara: Pegem Akademi
• Taşcan M. & Ünal İ. (2016), An investigation of science teachers’ knowledge levels of basic astronomy contents in terms of demographic variables, Necatibey Faculty of Education Electronic Journal of Science and Mathematics Education, 10(1), 60-84.
• Tekin, H. (2010). Eğitimde ölçme ve değerlendirme (20. Baskı). Ankara: Yargı Yayınevi. Trumper, R. 2000, University Students’ Conceptions of Basic Astronomy Concepts, Physics Education, 35(1), 9.
• Trumper, R. 2001c, A Cross-Age Study of Junior High School Students’ Conceptions of Basic Astronomy Concepts, International Journal of Science Education, 23(11), 1111.
• Trumper, R. 2001b, A Cross-Age Study of Senior High School Students’ Conceptions of Basic Astronomy Concepts, Research in Science and Technological Education, 19(1), 97, 2001b.
• Trumper, R. 2001c, A Cross-College Age Study of Science and Nonscience Students’ Conceptions of Basic Astronomy Concepts in Preservice Training for High-School Teachers, Journal of Science Education and Technology, 10(2), 189, 2001c
• Türk C. (2010), İlköğretim Temel Astronomi Kavramlarının Öğretimi, Yüksek lisans Tezi, Ondokuz Mayıs Üniversitesi, Fen Bilimleri Enstitüsü, Samsun
• Uçar R. & Aktamış H. (2019), Astronomi’ye Yönelik Tutum Ölçeği ve 7. Sınıf “Güneş Sistemi ve Ötesi” Ünitesine Yönelik Başarı Testi Geliştirme Çalışması, Batı Anadolu Eğitim Bilimleri Dergisi, 10 (1), 57-79
• Ürün N., (2015), Süreç değerlendirme yönteminin 7. sınıf “güneş sistemi ve ötesi: uzay bilmecesi” ünitesinde öğrencilerin akademik başarıları ve tutumları üzerine etkisi, Yüksek lisans tezi, Ağrı İbrahim Çeçen Üniversitesi, Fen Bilimleri Enstitüsü, Ağrı
• Veneziano L, & Hooper J. A method for quantifying content validity of health-related questionnaires. American Journal of Health Behavior, 1997;21(1):67-70
• Williamson, K. E. (2013). Development and calibration of a concept inventory to measure introductory college astronomy and physics students' understanding of Newtonian gravity. Ph. D. Dissertation Montana State University, USA (Order No. 3608801).
• Zeilik, M. 2002, Birth of the Astronomy Diagnostic Test: Prototest Evolution, Astronomy Education Review, 1(2), 46