Achievement Test Development Study for Informatics Lesson: Reliability and Validity

Year 2020, Volume: 28 Issue: 1, 549 - 557, 31.01.2020

Murat Meriçelli Tolga Güyer

https://doi.org/10.24106/kefdergi.3980

Cited By: 2

Abstract

The purpose of this study is to develop an Informatics course achievement test that validity and reliability studies have been carried out. First, 80 multiple choice questions were determined in a content tree, which is 2 times for each sub-subject. Questions were asked to 8 experts and the content validity index was calculated on the questions and the units to which the questions be-long. The content validity index calculated for the test was 0.91. The achievement test was applied to 21 CEIT 3rd-grade students. Item analysis was carried out with the help of the TAP program. Kuder-Richardson-20 Reliability coefficient value was calculated as 0.858. In each sub-item, item discrimination and item difficulty values were determined and a total of 40 questions were reached as a result. In the obtained test, the mean item difficulty value was found to be 0.638. This means that the item difficulty is average. The mean item discrimination was found to be 0.444. This value means that the item discrimination is very good. Since the validity and reliability processes reduced to 40 multiple-choice questions have been conducted, the test is reliable and valid can be used as an achievement test for different informatics courses.

Keywords

Achievement Test, Content Validity İndex, Reliability, Informatic Lesson

Enformatik Dersi için Başarı Testi Geliştirme Çalışması: Güvenilirlik ve Geçerlilik İşlemleri

Abstract

Bu çalışmanın amacı geçerlilik ve güvenilirlik çalışma-larının yapıldığı bir enformatik dersi başarı testi geliş-tirmektir. İlk olarak, 25 alt konuya, her birine 2 katı so-ru olacak şekilde, bir içerik ağacında 80 çoktan seçmeli soru belirlenmiştir. 8 uzmana sorular sorulmuş ve soru-lar ve soruların ait olduğu birimler üzerinde kapsam geçerlilik indeksi hesaplanmıştır. Test için hesaplanan kapsam geçerlilik endeksi 0,91'dir. Başarı testi 21 BÖTE 3. sınıf öğrencisine uygulanmıştır. TAP programı yardı-mıyla madde analizi yapılmıştır. Kuder-Richardson-20 Güvenilirlik katsayısı değeri 0,858 olarak hesaplanmış-tır. Her alt konuda madde ayırt edicilik ve madde zorluk değerleri uygun olan maddeler belirlenerek toplamda 40 soruluk teste ulaşılmıştır. Elde edilen testte ortalama madde zorluk değeri 0.638 olarak bulunmuştur. Bu du-rum madde zorluğunun orta düzeyde olduğu anlamına gelmektedir. Ortalama madde ayırt ediciliği 0.444 ola-rak bulunmuştur. Bu değer madde ayırt edicilik özelliği-nin çok iyi düzeyde olduğu anlamına gelmektedir. 40 çoktan seçmeli soruya indirgenmiş geçerlilik ve güveni-lirlik süreçleri yapıldığı için, test güvenilir ve geçerlidir, farklı enformatik dersleri için bir başarı testi olarak kul-lanılabilir.

Keywords

Başarı Testi, İçerik Geçerlilik İndeksi, Güvenilirlik, Bilişim Dersi

References

• Ayhan, İ. (2010). Eğitimcilere Yol Göstermesi Açısından Tab Analiz Programı Kullanarak Başarı Testi Hazırlama Sürecinde İzlenecek Adımlar. Gümüşhane Üniversitesi Sosyal Bilimler Enstitüsü Elektronik Dergisi, 1(2).
• Baykul, Y. (2015). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması: Pegem Akademi.
• Brooks, G. P., & Johanson, G. A. (2003). TAP: Test analysis program. Applied Psychological Measurement, 27(4), 303-304.
• Büyüköztürk, Ş., Akgün, Ö. E., Demirel, F., Karadeniz, Ş., & Çakmak, E. K. (2015). Bilimsel araştırma yöntemleri: Pegem Akademi.
• Carmines, E. G., & Zeller, R. A. (1979). Reliability and validity assessment (Vol. 17): Sage publications.
• Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory: ERIC.
• Eng, T. S. (2005). The impact of ICT on learning: A review of research. International Education Journal, 6(5), 635-650.
• Çakan, M. (2017). Eğitim sistemimizde yaygın olarak kullanılan sınav türleri. Pegem Atıf İndeksi, 87-122.
• Garrett, H. E. (1937). Statistics in psychology and education. Karasar, N. (2005). Bilimsel araştırma yöntemleri. Ankara: Nobel Yayın Dağıtım, 15.
• Kozma, R. B. (2005). Monitoring and evaluation of ICT for education impact: A review. Monitoring and Evaluation of ICT in Education Projects, 19.
• Lawshe, C. H. (1975). A quantitative approach to content validity 1. Personnel psychology, 28(4), 563-575.
• McDougall, A., & Jones, A. (2006). Theory and history, questions and methodology: current and future issues in research into ICT in education. Technology, Pedagogy and Education, 15(3), 353-360.
• Oliver, R. (2002). The role of ICT in higher education for the 21st century: ICT as a change agent for education. Retrieved April, 14, 2007.
• Özçelik, D. A. (1992). Ölçme ve Değerlendirme. Ankara: ÖSYM Yayınları.
• Rubio, D. M., Berg-Weger, M., Tebb, S. S., Lee, E. S., & Rauch, S. (2003). Objectifying content validity: Conducting a content validity study in social work research. Social work research, 27(2), 94-104.
• Sönmez, V., & Alacapınar, G. (2016). Sosyal bilimlerde ölçme aracı hazırlama: Anı Yayıncılık.
• Sözbilir, M. (2010). Madde analizi ve test geliştirme. Content Analysis and Test Development]. Alıntı Tarihi, 16, 2013.
• Şencan, H. (2005). Güvenilirlik ve geçerlilik: Hüner Şencan.
• Toro, U., & Joshi, M. (2012). ICT in higher education: Review of literature from the period 2004-2011. International Journal of Innovation, Management and Technology, 3(1), 20-23.
• Treagust, D. (1986). Evaluating students' misconceptions by means of diagnostic multiple choice items. Research in Science education, 16(1), 199-207.
• Veneziano, L., & Hooper, J. (1997). A method for quantifying content validity of health-related questionnaires. American Journal of Health Behavior, 21(1), 67-70.
• Verhelst, N. (2014). Test Theory: Some Basic Notions Test Teorisi: Bazı Temel Kavramlar. Education and Science, 39(72), 3-19.
• Yaşar, M. (2017). Ölçme ve değerlendirme ile ilgili temel kavramlar. Pegem Atıf İndeksi, 9-40.
• Yıldırım, C. (1999). Eğitimde Ölçme ve Değerlendirme. ÖSYM Yayınları, 4.
• Yurdugül, H. (2005). Ölçek geliştirme çalışmalarında kapsam geçerliği için kapsam geçerlik indekslerinin kullanılması. XIV. Ulusal Eğitim Bilimleri Kongresi, 1, 771-774.