Educational Video Design Evaluation Rubric According to Nine Events of Teaching

Abstract

The aim of this study is to develop a rubric for evaluating educational videos that are used, intended to be used, or are in the preparation stage within open and distance learning processes. In this context, the study is primarily based on Robert Gagné’s “Nine Events of Instruction” model. The rubric prepared according to this framework aims to assess the pedagogical effectiveness of educational videos as well as the user experience in a more objective manner. In the rubric development process, a comprehensive literature review was first conducted. Based on this review, the criteria that form the rubric and the corresponding items were created. To ensure the validity and reliability of these items, the draft rubric was evaluated by 16 subject-matter experts. In line with the expert feedback, the content validity ratios (CVR) and content validity index (CVI) of the rubric were calculated using the Lawshe technique. According to the results obtained, the questions included in the rubric were revised and finalized. After its development, the rubric underwent a pilot implementation process. In this phase, a group consisting of 34 teachers working in different provinces of Türkiye, 2 graduate students, and 1 faculty member used the rubric to evaluate educational videos of their choice. These participants were selected to test both the ease of use and the accuracy of the rubric. The data obtained from the implementation were analyzed using quantitative analysis methods. The analysis results showed that the rubric can be used as a reliable and valid tool in the evaluation of educational materials. In conclusion, this study offers an innovative tool that enables the systematic evaluation of educational videos and provides an important contribution toward improving the quality of educational videos in open and distance learning environments. The results of the study are expected to serve as a valuable resource for instructional designers, teachers, and opendistance learning specialists.

Keywords

• Open and Distance Learning
• Educational Video
• Rubric
• Nine Events of Learning.

Öğretimin Dokuz Olayına Göre Eğitsel Video Tasarımı Değerlendirme Rubriği

Abstract

Bu çalışmanın amacı, açık ve uzaktan öğrenme süreçlerinde kullanılan, kullanılmak istenen veya hazırlık aşamasında olan eğitsel videoların değerlendirilmesine yönelik bir rubrik geliştirmektir. Bu bağlamda, çalışma temel olarak Robert Gagné’nin "Öğretimin Dokuz Olayı" modeline dayanmaktadır. Bu çerçeveye göre hazırlanan rubrik, eğitsel videoların hem pedagojik açıdan etkinliğini hem de kullanıcı deneyimini daha objektif bir şekilde değerlendirmeyi hedeflemektedir. Rubrik geliştirme sürecinde öncelikle kapsamlı bir literatür taraması gerçekleştirilmiştir. Literatür taraması sonucunda, rubriği oluşturan ölçütler ve bunlara yönelik maddeler hazırlanmıştır. Bu maddelerin geçerliliğini ve güvenilirliğini sağlamak amacıyla, taslak rubrik 16 alan uzmanı tarafından değerlendirilmiştir. Uzman görüşleri doğrultusunda, rubriğin kapsam geçerlilik oranları (KGO) ve kapsam geçerlilik indeksi (KGİ) Lawshe tekniği kullanılarak hesaplanmıştır. Elde edilen sonuçlara göre, rubrikte yer alan sorular gözden geçirilmiş ve nihai hale getirilmiştir. Rubrik, geliştirilmesinin ardından ön uygulama sürecine tabi tutulmuştur. Bu süreçte, Türkiye’nin farklı illerinde görev yapan 34 öğretmen, 2 yüksek lisans öğrencisi ve 1 öğretim üyesinden oluşan bir grup, rubriği kullanarak seçtikleri eğitsel videoları değerlendirmiştir. Bu katılımcılar, rubriğin hem kullanım kolaylığını hem de değerlendirme doğruluğunu test etmeye yönelik olarak seçilmiştir. Uygulama sürecinden elde edilen veriler, nicel analiz yöntemleri kullanılarak değerlendirilmiştir. Analiz sonuçları, rubriğin eğitim materyallerinin değerlendirilmesinde güvenilir ve geçerli bir araç olarak kullanılabilir olduğunu göstermiştir. Sonuç olarak bu çalışma, eğitsel videoların sistematik bir şekilde değerlendirilmesini mümkün kılan yenilikçi bir araç sunmakta ve açık ve uzaktan öğrenme ortamlarındaki eğitsel videoların kalitesini artırmaya yönelik önemli bir katkı sağlamaktadır. Çalışmanın sonuçlarının, eğitim tasarımcıları, öğretmenler ve açıkuzaktan öğrenme uzmanları için önemli bir kaynak oluşturması beklenmektedir.

Keywords

• Açık ve Uzaktan Öğrenme
• Eğitsel Video
• Rubrik
• Öğrenmenin Dokuz Olayı

References

1. Andrade, H. G. (1997). Understanding rubrics. Educational Leadership, 54(4),14-17.
2. Aslan, C., & Bayraktar, A. (2016). Dereceli puanlama anahtarı kullanan öğrencilerin başarıları üzerine bir araştırma. Ana Dili Eğitimi Dergisi, 4(4), 504-517.
3. Aslanoğlu, A., & Kutlu, Ö. (2003). Öğretimde sunu becerilerinin değerlendirilmesinde dereceli puanlama anahtarı (rubrik) kullanılmasına ilişkin bir araştırma. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 36(1-2), 25-36.
4. Ateş, A., & Karaağaçlı, M. (2020). Gagne’nin öğretim etkinlikleri modeline göre yapılan öğretimin akademik başarıya etkisi. Eğitimde Teknoloji Uygulamaları Dergisi, 1(1), 47-57. https://doi.org/10.29329/jtae.2020.283.4
5. Aytaç, N. (2006). Üniversite öğrencilerinin Newton’un hareket yasalarını anlamalarının değerlendirilmesinde dereceli puanlama anahtarı geliştirilmesi ve kullanımı [Yüksek lisans tezi, Balıkesir Üniversitesi].
6. Çalışkan, F. Z., & Çalışkan, İ. (2024). Fen eğitiminde çevreye yönelik araştırmaların meta-analizi sürecinde kodlama protokolü (rubrik) oluşturma. Trakya Eğitim Dergisi, 14(3), 2225-2244. https://doi.org/10.24315/tred.1493173
7. Deniz, J. (2020). Gagne’nin öğretim kuramı temelinde yapılandırılmış piyano derslerinde işbirlikli öğrenme yönteminin işlevselliği. OPUS International Journal of Society Researches, 16(31), 4097-4137. https://doi.org/10.26466/opus.680488
8. Gagné, R. M. (1965). The conditions of learning and theory of instruction (1st ed.). Holt, Rinehart & Winston.

9. Gagné, R. M., & Driscoll, M. P. (1988). Essentials of learning for instruction. Prentice Hall.
10. Hüseyin, E., & Kocasarac, H. (2022). Uzaktan eğitimin dünyadaki tarihsel gelişiminin incelenmesi. Uluslararası Eğitim Bilim ve Teknoloji Dergisi, 8(3), 191-213.
11. İnan Yıldız, F., & Karadağ, Ö. (2023). İlkokul düzeyinde yapılandırmacılık temelli öykü değerlendirmeye yönelik rubrik geliştirme çalışması. Ana Dili Eğitimi Dergisi, 11(4), 936-950.
12. Kan, A. (2007). Performansa dayalı değerlendirme araçları: Portfolyo, proje ve dereceli puanlama anahtarları. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 32(2), 96-105.
13. Koçdar, S., Karadeniz, A., Bozkurt, A., & Büyük, K. (2017). Açık ve uzaktan öğrenmede sorularla zenginleştirilmiş etkileşimli video kullanımı. Eskişehir Osmangazi Üniversitesi Sosyal Bilimler Dergisi, 18(2). https://doi.org/10.17494/ogusbd.371441
14. Korkmaz, Y. (2009). Fen öğretiminde rubrik kullanma eğitiminin öğretmenlerin ölçme ve değerlendirmeye ilişkin görüş ve uygulamalarına etkisi [Yüksek lisans tezi, Selçuk Üniversitesi].
15. Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174.
16. Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563-575.
17. Marşap, A., Yıldırım, E., & Akalp, G. (2010). Uzaktan eğitim sisteminde e-öğrenim süreci bilgi güvenliği. In G. Telli Yamamoto, U. Demiray, & M. Kesim (Eds.), Türkiye’de e-öğrenme: Gelişmeler ve uygulamalar (pp. 347-373). Pegem Akademi.
18. Mayer, R. E. (2021). Multimedia learning (3rd ed.). Cambridge University Press.
19. Mertler, C. A. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, 7(25), 1-10.
20. Minez, T. (2012). Piyano eğitiminde rubrik ile geleneksel değerlendirme yöntemlerinin karşılaştırılması [Yüksek lisans tezi, İnönü Üniversitesi].
21. Neumann, M. M., & Herodotou, C. (2020). Evaluating YouTube videos for young children. Education and Information Technologies, 25, 4459–4475. https://doi.org/10.1007/s10639-020-10183-7
22. Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric theory (3rd ed.). New York: McGraw-Hill.
23. Ozan, Ö. (2015). e-Öğrenme için eğitsel video geliştirme. AUAd, 1(4), 59-80.
24. Özkaş, S. (2010). Eğitim içerikleri hazırlamada interaktif uygulamalar. In G. Telli Yamamoto, U. Demiray, & M. Kesim (Eds.), Türkiye’de e-öğrenme: Gelişmeler ve uygulamalar (pp. 203-236). Pegem Akademi.
25. Parlak, B., & Doğan, N. (2014). Dereceli puanlama anahtarı ve puanlama anahtarlarından elde edilen puanların uyum düzeyleri. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 29(2), 189-197.
26. Putra, I. G. W., Warpala, I. W. S., Sudatha, I. G. W., & Utami, N. P. R. S. (2022). Developing a Gagne theory-based learning video for thematic subject in elementary school. International Research Journal of Management, IT and Social Sciences, 9(4), 666-675. https://doi.org/10.21744/irjmis.v9n4.2149
27. Şentürk, H., & Kurşun, E. (2021). Öğretmenlerin eğitsel videoları tercih etme nedenleri ve derslerinde kullanım biçimleri. Atatürk Üniversitesi Kazım Karabekir Eğitim Fakültesi Dergisi, 42, 164-184.
28. Tabachnick, B. G., & Fidell, L. S. (2013). Using multivariate statistics (6th ed.). Boston: Pearson.
29. Tekin, E., & Sallabaş, M. E. (2022). Yabancı dil olarak Türkçe öğretiminde A2 seviyesi yazma becerisine yönelik analitik rubrik. Anasay, 0(22), 81-95. https://doi.org/10.33404/anasay.1181729
30. Turgut, H., Kılıç, F. E., Aycan, R., & Ünal, C. E. (2024). Ortaokul öğrencilerinin eleştirel düşünme ve problem çözme becerilerinin ölçümü: Bir analitik rubrik geliştirme çalışması. Uluslararası Sosyal Bilimler ve Eğitim Dergisi, 6(10), 107-126. https://doi.org/01.04.2024
31. Uğur, S., & Okur, M. R. (2016). Açık ve uzaktan öğrenmede etkileşimli video kullanımı. Açık Öğretim Uygulamaları ve Araştırmaları Dergisi, 2(4), 104-126