Development of an Achievement Test for the Course of Teaching Principles and Methods: a validity and reliability study

Abstract

The aim of this study is to develop a valid and reliable achievement test for the Teaching Principles and Methods course, which is one of the professional knowledge courses taught in education faculties. A total of 142 education faculty students from two universities located in two different regions of Turkey participated in the study. Learning outcomes were determined by taking into account the content determined by the Council of Higher Education for this course and draft form consisting of 63 items were prepared. Following the opinion of the experts, adjustments were made to the test and a trial application was carried out with 40 items. As a result of the application, the discrimination, difficulty of the test items, validity and reliability were investigated. The test was given its final version of 24 items by removing inappropriate items. Exploratory factor analysis showed that the test was unidimensional. It is seen that item difficulties vary between .25-.90, and corrected item-total score correlations vary between .21-.64. In the reliability analysis, the McDonald Omega coefficient was found to be .86 and the KR-20 coefficient was .85.

Keywords

• Teaching Principles and Methods
• Achievement test
• Test development

Öğretim İlke ve Yöntemleri Dersine Yönelik Başarı Testi Geliştirme: Geçerlik ve Güvenirlik Çalışması

Abstract

Bu çalışmanın amacı eğitim fakültelerinde okutulan ve meslek bilgisi derslerinden birisi olan Öğretim İlke ve Yöntemleri dersine yönelik geçerli ve güvenilir puanlar sunan bir başarı testi geliştirmektir. Türkiye’nin iki farklı bölgesinde bulunan iki üniversiteden toplam 142 eğitim fakültesi öğrencisi çalışmaya katılmıştır. Yükseköğretim Kurulu’nun bu ders için belirlediği içerik tanımı dikkate alınarak öğrenme çıktıları belirlenmiş ve 63 maddelik taslak form hazırlanmıştır. Uzmanların görüşü doğrultusunda testte düzenlemeler yapılarak 40 madde ile deneme uygulaması gerçekleştirilmiştir. Uygulama sonucunda test maddelerinin ayırt ediciliği, güçlüğü incelenmiş, geçerlik ve güvenirlik çalışmaları yapılmış; geçerlik, güvenirlik, güçlük ve ayırt edicilik referans değerlerini karşılamayan maddeler çıkarılarak teste 24 maddelik nihai hali verilmiştir. Açımlayıcı faktör analizi testin tek boyutlu olduğunu göstermiştir. Madde güçlüklerinin .25-.90 aralığında, düzeltilmiş madde-toplam puan korelasyonlarının .21-.64 aralığında değiştiği bulunmuştur. Güvenirlik analizlerinde McDonald Omega katsayısı .86 ve KR-20 katsayısı ise .85 olarak elde edilmiştir.

Keywords

• Öğretim İlke ve Yöntemleri
• Başarı testi
• Test geliştirme

References

1. Akdeniz, C. (2013). Kişilik profillerine göre öğretmenlerin öğrenme stratejisi tercihleri ve öğretim stratejilerini kullanma durumları (Eskişehir ili örneği) [Doktora tezi, Anadolu Üniversitesi]. https://tez.yok.gov.tr/UlusalTezMerkezi/
2. Altman, D. G. (1991). Practical statistics for medical research. CRC.
3. Baştürk, S. (2014). Çoktan seçmeli testler. S. Baştürk (Ed.), Eğitimde ölçme ve değerlendirme (ss. 119-154). Nobel Akademik.
4. Bécu-Robinault, K. (2007). Connaissances mobilisées pour préparer un cours de sciences physiques. Aster, 45, 165-188. https://doi.org/10.4267/2042/16822
5. Bianco, M., & Bressoux, P. Effet-classe et effet-maître dans l’enseignement primaire: Vers un enseignement efficace de la compréhension? In X. Dumay & V. Dupriez (Eds.), L’efficacité dans l’enseignement: Promesses et zones d’ombre (pp. 35-54). De Boeck Supérieur.
6. Brown, D. H. (1990). Language assessment: Principles and classroom practices. London: Longman.
7. Büyüköztürk, Ş. (2020). Sosyal bilimler için veri analizi el kitabı (28. baskı). Pegem Akademi.
8. Çardak, C. S. & Selvi, K. (2018). Öğretim ilke ve yöntemleri dersi için bir başarı testi geliştirme süreci. Akdeniz Eğitim Araştırmaları Dergisi, 12(26), 379-406. https://doi.org/10.29329/mjer.2018.172.19

9. Cicchetti, D. V., & Feinstein, A. R. (1990). High agreement but low kappa: II. Resolving the paradoxes. Journal of Clinical Epidemiology, 43(6), 551-558. https://doi.org/10.1016/0895-4356(90)90159-m
10. Creswell, J. W. (2019). Educational research: Planning, conducting, and evaluating quantitative and qualitative research (6th ed.). Pearson Education.
11. Cusset, P. Y. (2011). Que disent les recherches sur l’“effet enseignant” ? La Note D’Analyse, 232, 1-11.
12. Daniel, L. G., & King, D. A. (1998). Knowledge and use of testing and measurement literacy of elementary and secondary teachers. Journal of Educational Research, 91(6), 331-344. https://doi.org/10.1080/00220679809597563
13. Darling-Hammond, L. (2006). Assessing teacher education: The usefulness of multiple measures for assessing program outcomes. Journal of Teacher Education, 57(2), 120-138.
14. Debbağ, M. (2018). Öğretim ilke ve yöntemleri dersi öğretim programı için hazırlanan ters-yüz edilmiş sınıf modelinin etkililiği [Doktora tezi]. Bolu Abant İzzet Baysal Üniversitesi Eğitim Bilimleri Enstitüsü, Bolu. https://tez.yok.gov.tr/UlusalTezMerkezi/
15. Dikmen, M. (2020). Öğrenme stillerine göre yapılandırılmış öğretim ilke ve yöntemleri dersinin öğretmen adaylarının epistemolojik inançlarına, üstbiliş düşünme becerilerine, akademik öz-yeterliklerine ve akademik başarılarına etkisi [Doktora tezi]. Fırat Üniversitesi Eğitim Bilimleri Enstitüsü, Elazığ. https://tez.yok.gov.tr/UlusalTezMerkezi/
16. Ebel, R. L., & Frisbie, D. A. (1991). Essentials of educational measurement (5th ed.). Prentice-Hall.
17. Esen Aygün, H. & Şahin Taşkın, Ç. (2020). Öğretmen adaylarının öğretim ilke ve yöntemleri dersine ilişkin algıları: Metafor analizi. Sakarya University Journal of Education, 10(1), 67-89. https://doi.org/10.19126/suje.565036
18. Guskey, T.R. (2000). Grading policies that workagainst standards … and how to fix them. NASSP Bulletin, 84(620), 20-29.
19. Guskey, T.R. (2001). Backward planning: Anoutcomes-based strategy for professional development. Curriculum in Context, 28(2), 18-20.
20. Gwet, K. L. (2014). Handbook of inter-rater reliability: The definitive guide to measuring the extent of agreement among raters. Advanced Analytics.
21. Gwet, K. L. (2019). irrCAC: Computing chance-corrected agreement coefficients (CAC) (Version 1.0) [Computer software]. https://CRAN.R-project.org/package=irrCAC
22. Hair, J. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2019). Multivariate data analysis (8th ed.). Cengage Learning.
23. Hedge, T., (2000). Teaching and learning in the language classroom. Oxford University Press.
24. Jöreskog, K. G. (2003). Factor analysis by MINRES. To the memory of Harry Harman and Henry Kaiser. http://www.ssicentral.com/lisrel/techdocs/minres.pdf
25. JASP Team (2023). JASP (Version 0.17.1) [Computer software]. https://jasp-stats.org/
26. Kara, Y., & Cepni, S. (2011). Investigation the alignment between school learning and entrance examinations through item analysis. Journal of Baltic Science Education, 10(2), 73-86.
27. Kuzu, S. & Demir, S. (2015). Öğretmen adayları için “Öğretim İlke ve Yöntemleri Dersi Öz Yeterlilik Ölçeği”nin geliştirilmesi. Mustafa Kemal Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 12(32), 401-415.
28. Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174. https://doi.org/10.2307/2529310
29. Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563–575. https://doi.org/10.1111/j.1744-6570.1975.tb01393.x
30. Lorenzo-Seva, U., & Ferrando, P. J. (2022). Factor (Version 12.02.01) [Computer software]. Tarragona: Universitat Rovira i Virgili.
31. Mills, G. E., & Gay, L. R. (2019). Educational research: Competencies for analysis and applications (12th ed.). Pearson.
32. Nunnally, J., & Bernstein, I. (1994). Psychometric theory (3rd ed.). McGraw-Hill.
33. Oral, B. (2004) Eğitim fakültesi öğrencilerinin öğretmenlik mesleğine ilişkin tutumları. Eğitim Araştırmaları,15, 88-98.
34. Pallant, J. (2020). SPSS survival manual: A step by step guide to data analysis using IBM SPSS. McGraw-Hill.
35. Perrenoud, P., Altet M., Lessard C. & Paquay L. (dir.). 2008. Conflits de savoirs en formation des enseignants. Entre savoirs issus de la recherche et savoirs issus de l’expérience. Bruxelles : De Boeck.
36. Price, L. R. (2017). Psychometric methods: Theory into practice. Guilford.
37. RStudio Team (2021). RStudio: Integrated development environment for R [Computer software]. http://www.rstudio.com
38. Revelle, W. (2023). psych: Procedures for psychological, psychometric, and personality research (Version 2.3.9) [Computer software]. https://CRAN.R-project.org/package=psych
39. Shulman, L. S. (1986). Those who understand: Knowledge growth in teaching. Educational Researcher, 15(2), 4-14.
40. Stassen, M., Doherty, K., & Poe, M. (2001). Program-based review and assessment: Tools and techniques for program improvement. Office of Academic Planning and Assessment (OAPA), University of Massachusetts, Amherst.
41. Tabachnick, B. G., & Fidell, L. S. (2019). Using multivariate statistics (7th ed.). Pearson.
42. Taşlıbeyaz, H.F. (2021). Development of a evaluation tool for identifying students who are in the risk group in terms of learning disability [Unpublished doctoral dissertation]. Ankara University
43. Timmerman, M. E. & Lorenzo-Seva, U. (2011). Dimensionality assessment of ordered polytomous items with parallel analysis. Psychological Methods, 16(2), 209-220. https://doi.org/10.1037/a0023353
44. Timperley, H. (2009, August 17). Using assessment data for improving teaching practice [Paper presentation]. 2009 - Assessment and Student Learning : Collecting, Interpreting and Using Data to Inform Teaching. https://research.acer.edu.au/research_conference/RC2009/17august/7
45. Worthen, B. R., Borg, W. R., & White, K. R. (1993). Measurement and evaluation in the schools. Longman.
46. Velicer, W. F. (1976). Determining the number of components from the matrix of partial correlations. Psychometrika, 41(3), 321–327. https://doi.org/10.1007/BF02293557
47. Yaralı, D. (2017). Öğretmen adaylarının Öğretim İlke ve Yöntemleri dersine ilişkin tutumlarının incelenmesi. Uluslararası Eğitim Bilimleri Dergisi, 4(11), 96-115.
48. YÖK (Yüksek Öğretim Kurumu). (2007). Öğretmen Yetiştirme ve Eğitim Fakülteleri. (1982–2007). Ankara: Yükseköğretim Kurulu.