Öğretmen Adaylarının Bilimsel Araştırma Becerilerinin Değerlendirilmesinde Yeni Yaklaşımlar: Çok Boyutlu-Çok Yüzeyli Rasch Modeli UygulamasıÖğretmen Adaylarının Bilimsel Araştırma Becerilerinin Değerlendirilmesinde Yeni Yaklaşımlar: Çok Boyutlu-Çok Yüzeyli Rasch Modeli Uygulaması

Year 2024, , 1 - 16, 31.10.2024

Mahmut Sami Koyuncu , Mehmet Şata

https://doi.org/10.33709/ictimaiyat.1536427

Abstract

Araştırmada öğretmen adaylarının bilimsel araştırma sürecini yürütme ve sunma becerilerini belirlemek, ayrıca öğrencilerin (akran) puanlama davranışlarını incelemek amaçlandığından nicel araştırma yaklaşımlarından betimsel model ile yürütülmüştür. Araştırmanın çalışma grubu 36 öğretmen adayı ve yedi akran puanlayıcıdan oluşmaktadır. Veri toplama araçları olarak araştırmacılar tarafından geliştirilen analitik dereceli puanlama anahtarı perfromans görevi kullanılmıştır. Veri analizinde çok boyutlu çok yüzeyli Rasch ölçme modeli kullanılmıştır. Rasch analizi tamamen çaprazlanmış desen ile gerçekleştirilmiştir. Yapılan analizler sonucunda, öğretmen adaylarının bilimsel araştırma sürecini yürütme boyutunda en az zorladıkları ölçütün veri analizini gerçekleştirme, en fazla zorlandıkları kriterin ise araştırma modelini ve örneklemini belirleme iken sözlü sunum yapma boyutunda ise en az zorlandıkları ölçüt dinleyicilerin ilgi ve katılımını sağlama iken en fazla zorlandıkları ölçüt ise etkili başlangıç yapma olduğu belirlenmiştir. Puanlayıcı yüzeyine ait analizler incelendiğinde ise en katı puanlayıcının R3 numaralı punlayıcı iken en cömert puanlayıcı ise R4 numaralı puanlayıcı olduğu tespit edilmiştir. Araştırmanın bulgularından hareketle çok boyutlu performans değerlendirmelerinde güvenirlik ve geçerlik kanıtlarının sunulmasında çok boyutlu çok yüzeyli Rasch modelinin kullanılabilir niteliğe sahip olduğu söylenebilir.

Keywords

Performans değerlendirme, Çok boyutlu Rasch, Güvenirlik, Bilimsel araştırma becerisi, Geçerlik.

Ethical Statement

Bu çalışmanın hazırlanma sürecinde etik ilkelere uyulmuştur.

New Approaches in the Assessment of Pre-Service Teachers' Scientific Research Skills: Multidimensional-Many Facet Rasch Model Application

Abstract

This survey study aimed to determine pre-service teachers’ skills in conducting and presenting scientific research process and to examine their peer-scoring behaviors. The participants consisted of 36 pre-service teachers and seven peer raters. The analytical rubric developed by the researchers and the performance task were used to collect data. The multidimensional many-facet Rasch measurement model was employed in data analysis. Rasch analysis was carried out with a fully crossed design. The analyses revealed that the least difficult criterion in the dimension of conducting the scientific research process was to perform data analysis while the most challenging criterion was to determine the research model and sample. In addition, the least difficult criterion in the dimension of making an oral presentation was to ensure the interest and participation of the audience, while the most challenging criterion was to make an effective start. The analysis of the rater facet demonstrated that the most severity rater was R3, while the most leniency rater was R4. The study argues that the multidimensional many-facet Rasch model can be used to present reliability and validity evidence in multidimensional performance evaluations.

Keywords

Performance assessment, Multi-dimensional Rasch, Reliability, Scientific Research Skills, Validity.

References

• Aryadoust, V. (2015). Self-and-peer assessments of oral presentations by first-year university students. Educational Assessment, 20(3), 199-225. https://doi.org/10.1080/10627197.2015.1061989
• Aslanoğlu, A. E. (2022). Akran ve öz değerlendirme uygulamalarının yazma becerilerine etkisinin incelenmesi. International Journal of Assessment Tools in Education, 9 (özel sayı), 179-196. https://doi.org/10.21449/ijate.1127815
• Aslanoğlu, A. E., Karakaya, İ., & Şata, M. (2020). Evaluation of university students' rating behaviors in self and peer rating process via many facet Rasch model. Eurasian Journal of Educational Research, 89, 25-46.
• Bauman, S. (2004). School counselor and research revisited. Professional School Counseling, 7, 141–151.
• Behnke, R. R., & Sawyer, C. R. (2004). Public speaking anxiety as a function of sensitization and habituation processes. Communication Education, 53(2), 164–173. https://doi.org/10.1080/03634520410001682429
• Brunetti, F., Matt, D. T., Bonfanti, A., De Longhi, A., Pedrini, G., & Orzes, G. (2020). Digital transformation challenges: strategies emerging from a multi-stakeholder approach. The TQM Journal, 32(4), 697-724.
• Büyüköztürk, Ş. (1996). Türk yüksek öğretiminde araştırma eğitimi [Yayımlanmamış Doktora Tezi]. Ankara Üniversitesi.
• Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö. E., Karadeniz, Ş., & Demirel, F. (2018). Eğitimde bilimsel araştırma yöntemleri. Pegem Akademi. https://doi.org/10.14527/9789944919289
• De Grez, L., Valcke, M., & Roozen, I. (2009). The impact of aninnovative instructional intervention on the acquisition of oral presentation skills in higher education. Computers & Education, 53, 112–120. https://doi.org/10.1016/j.compedu.2009.01.005
• Gagne, R. M. (1985). The conditions of learning and theory of instruction. Holt, Rinehart & Winston.
• Hafdahl, A. R. (2004, June, 14-17). Refinements for random-effects meta-analysis of correlation matrices [Oral presentation]. The meeting of the Psychometric Society, Monterey, California.
• Koyuncu, M. S., & Şata, M. (2023). Using ACER ConQuest program to examine multidimensional and many-facet models. International journal of assessment tools in education, 10(2), 279-302. https://doi.org/10.21449/ijate.1238248
• Kutlu, Ö., Doğan, C.D., & Karakaya, İ. (2014). Öğrenci başarısının belirlenmesi: Performansa ve portfolyoya dayalı durum belirleme. Pegem Akademi Yayıncılık.
• Langan, A., Wheater, C., Shaw, E., Haines, B., Cullen, W., Boyle, J., ... Preziosi, R. F. (2005). Peer assessment of oral presentations: Effects of student gender, university affiliation and participation in the development of assessment criteria. Assessment and Evaluation in Higher Education, 30, 21–34. https://doi.org/10.1080/0260293042003243878
• Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel psychology, 28(4), 563–575. https://doi.org/10.1111/j.1744-6570.1975.tb01393.x
• Messick, S. (1995). Validity of psychological assessment. American Psychologist, 50(9), 741–749. https://doi.org/10.1037/0003-066X.50.9.741
• Nartgün, Z., Uluman, M., Akın, Ç., Çelik, T. & Çevik, C. (2008, Eylül, 1-3). Öğretmen adaylarının bilimsel araştırma öz-yeterliklerinin incelenmesi [Sözlü sunum]. XVII. Ulusal Eğitim Bilimleri Kongresi, Sakarya, Türkiye.
• Öztürk, M. A. (2010). An exploratory study on measuring educators’ attitudes toward educational research. Educational Research and Reviews, 5(12), 758-769.
• Papanastasiou, E. C. (2005). Factor structure of the attitudes toward research scale. Statistic Education Research Journal, 4(1), 16-26. https://doi.org/10.52041/serj.v4i1.523
• Salvucci, S., Walter, E., Conley, V., Fink, S., & Saba, M. (1997). Measurement Error Studies at the National Center for Education Statistics.
• Şata, M., & Karakaya, İ. (2021). Investigating the Effect of Rater Training on Differential Rater Function in Assessing Academic Writing Skills of Higher Education Students. Journal of Measurement and Evaluation in Education and Psychology, 12(2), 163-181. https://doi.org/10.21031/epod.842094
• Şata, M., & Karakaya, İ. (2022). Investigating the impact of rater training on rater errors in the process of assessing writing skill. International journal of assessment tools in education, 9(2), 492-514. https://doi.org/10.21449/ijate.877035
• Topping, K. J. (2009). Peer Assessment. Theory Into Practice, 48(1), 20–27. https://doi.org/10.1080/00405840802577569
• Wilson, F. R., Pan, W., & Schumsky, D. A. (2012). Recalculation of the critical values for Lawshe’s content validity ratio. Measurement and Evaluation in Counseling and Development, 45(3), 197–210. https://doi.org/10.1177/0748175612440286
• Yaşar, M. (2014). Bilimsel araştırma yöntemleri dersine yönelik tutum ölçeği geliştirme çalışması: Geçerlik ve güvenirlik. Eğitim Bilimleri Araştırmaları Dergisi, 4(2), 109-129. http://dx.doi.org/10.12973/jesr.2014.42.7