Scale for Teachers’ Self-efficacy Beliefs in the Use of Artificial Intelligence in Education: A Validity and Reliability Study

Abstract

In recent years, advancements in the field of artificial intelligence have had significant implications across various sectors, including education. Particularly, the role of large language models in content generation, autonomous tools, and different disciplines is also impacting educational processes. The purpose of this study is to develop a valid and reliable scale to measure teachers' self-efficacy beliefs regarding the use of artificial intelligence in education. The research was conducted with 221 teachers working in various branches in the Melikgazi district of Kayseri. Designed using a quantitative research approach, the study began with the development of a draft scale based on the scale development stages outlined in the literature. After the draft scale was administered to teachers, the obtained data were subsequently analyzed through exploratory and confirmatory factor analysis. To determine the reliability of the scale, Cronbach's Alpha, Spearman-Brown, and Guttman Split-Half internal consistency coefficients were calculated, and the results were compared with the literature. As a result of these analyses, a valid and reliable scale consisting of 17 items and three factors was developed. This scale serves as an important resource for evaluating teachers' self-efficacy beliefs about the use of artificial intelligence in education.

Keywords

• “Artificial intelligence.”, “self-efficacy beliefs.”, “scale development.”, “educational technologies.”

Project Number

316

Eğitimde Yapay Zekâ Kullanımına Yönelik Öğretmenlerin Öz Yeterlik İnancı: Geçerlik ve Güvenirlik Çalışması

Abstract

Son yıllarda yapay zekâ alanında kaydedilen ilerlemeler, eğitim dâhil olmak üzere birçok sektörde önemli yansımalar oluşturmuştur. Özellikle büyük dil modellerinin içerik üretimi, özerk araçlar ve farklı disiplinlerdeki rolü, eğitim süreçlerine de etki etmektedir. Bu çalışmanın amacı, öğretmenlerin eğitimde yapay zekâ kullanımı konusundaki öz yeterlik inançlarını ölçmek amacıyla güvenilir ve geçerli bir ölçek geliştirmektir. Araştırma, Kayseri ili Melikgazi ilçesinde, farklı branşlarda görev yapan 221 öğretmenle yürütülmüştür. Nicel araştırma yaklaşımı ile tasarlanan çalışma, alanyazında belirtilen ölçek geliştirme aşamalarına dayanarak, bir taslak ölçeğin oluşturulmasıyla başlamıştır. Taslak ölçek katılımcılara uygulandıktan sonra, elde edilen veriler sırasıyla açımlayıcı ve doğrulayıcı faktör analizi ile incelenmiştir. Ölçeğin güvenirliğini belirlemek amacıyla Cronbach Alfa, Spearman Brown ve Guttman Split Half iç tutarlılık katsayısı hesaplanmış ve sonuçlar alanyazın ile karşılaştırılmıştır. Bu analizler sonucunda, 17 maddeden ve üç bileşenden oluşan güvenilir ve geçerli bir ölçek ortaya konmuştur. Bu ölçek, eğitimde yapay zekâ kullanımı konusunda öğretmenlerin öz yeterlik inançlarını değerlendirmek için önemli bir kaynak teşkil etmektedir.

Keywords

• Yapay zekâ.”
• “öz yeterlik inancı.”
• “ölçek geliştirme.”
• “eğitim teknolojileri.”

Project Number

316

Ethical Statement

Bu çalışmanın etik kurul izin belgesi Erciyes Üniversitesi Sosyal ve Beşeri Bilimler Etik Kurulundan 316 numaralı başvuru ile 30.07.2024 tarihinde alınmıştır.

Thanks

Çalışmamıza gönüllü olarak katkı sunan sevgili öğretmenlerimize teşekkürü borç biliriz.

References

1. Aksekili, E., & Kan, A. (2024). Öğretmenlerin eğitimde yapay zekâ kullanımına yönelik tutum ölçeği geliştirme: Geçerlik ve güvenirlik çalışması. 21. Yüzyılda Eğitim ve Toplum, 13(39), 525–542.
2. Aktay, S., Gök, S., & Yıldırım, A. (2024). Artificial intelligence attitude scale. International Technology and Education Journal, 8(2), 14–24. http://itejournal.com/
3. Aktürk, A. O., & Delen, A. (2020). Öğretmenlerin teknoloji kabul düzeyleri ile öz-yeterlik inançları arasındaki ilişki. Bilim Eğitim Sanat ve Teknoloji Dergisi, 4(2), 67–80.
4. Alharbi, S., & Drew, S. (2019). The role of self-efficacy in technology acceptance. In K. Arai, R. Bhatia, & S. Kapoor (Eds.), Proceedings of the Future Technologies Conference (FTC) 2018 (pp. 1111–1124). Springer.
5. Arseven, A. (2016). Öz yeterlilik: Bir kavram analizi. Electronic Turkish Studies, 11(19), 63–80.
6. Balcı, A. (2006). Sosyal bilimlerde araştırma yöntem teknik ve ilkeler (6. baskı). PegemA Yayıncılık.
7. Bandura, A. (1989). Human agency in social cognitive theory. American Psychologist, 44(9), 1175–1184.
8. Bandura, A. (1997). Self-efficacy: The exercise of control. W. H. Freeman and Company.

9. Bandura, A. (2006). Guide for constructing self-efficacy scales. In F. Pajares & T. Urdan (Eds.), Self-efficacy beliefs of adolescents (Vol. 5, pp. 307–337). Information Age Publishing.
10. Browne, M. W., & Cudeck, R. (1993). Alternative ways of assessing model fit. In K. A. Bollen & J. S. Long (Eds.), Testing structural equation models (pp. 136–162). Sage.
11. Büyüköztürk, Ş. (2002). Sosyal bilimler için veri analizi el kitabı. PegemA Yayıncılık.
12. Büyüköztürk, Ş. (2005). Anket geliştirme süreci. Türk Eğitim Bilimleri Dergisi, 3(2), 1–19.
13. Büyüköztürk, Ş., Çakmak, E., Akgün, Ö. E., Karadeniz, Ş., & Demirel, F. (2009). Bilimsel araştırma yöntemleri. Pegem Akademi.
14. Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö. E., Karadeniz, Ş., & Demirel, F. (2015). Bilimsel araştırma yöntemleri (19. baskı). Pegem Akademi.
15. Charow, R., Jeyakumar, T., Younus, S., Dolatabadi, E., Salhia, M., Al-Mouaswas, D., & Wiljer, D. (2021). Artificial intelligence education programs for health care professionals: Scoping review. JMIR Medical Education, 7(4), e31043.
16. Child, D. (2006). The essentials of factor analysis. Continuum.
17. Chou, C.-M., Shen, T.-C., & Shen, C.-H. (2022). Influencing factors on students’ learning effectiveness of AI-based technology application: Mediation variable of the human-computer interaction experience. Education and Information Technologies, 27, 8723–8750.
18. Comrey, A. L., & Lee, H. B. (1992). Interpretation and application of factor analytic results. In A. L. Comrey & H. B. Lee (Eds.), A first course in factor analysis (pp. 199–218). Lawrence Erlbaum Associates.
19. Çokluk, Ö., Şekercioğlu, G., & Büyüköztürk, Ş. (2010). Sosyal bilimler için çok değişkenli istatistik. Pegem Akademi.
20. Demir, O., & Aslan, S. A. (2021). Öğretmenlerin benimsedikleri eğitim felsefelerinin çeşitli değişkenler açısından incelenmesi. Muğla Sıtkı Koçman Üniversitesi Eğitim Fakültesi Dergisi, 8(1), 307–321. Demiralp, D. (2016). Öğretmen yetiştirme programlarının yaşam boyu öğrenme yetkinliğini kazandırmadaki etkililiğinin değerlendirilmesi [Yayımlanmış doktora tezi, Fırat Üniversitesi]. Ulusal Tez Merkezi. (Tez No. 423418)
21. Deniz, L., & Algan, C. (2007). Eğitimde bilgi teknolojileri kullanımı öz-yeterlilikleri ölçeğinin geçerlilik ve güvenilirlik çalışmaları. Marmara Üniversitesi Atatürk Eğitim Fakültesi Eğitim Bilimleri Dergisi, 25(25), 87–107.
22. DeVellis, R. F., & Thorpe, C. T. (2021). Scale development: Theory and applications (5th ed.). Sage.
23. Dülger-Demir, E. D., & Gümüşeli, A. İ. (2023). Okul müdürleri ve öğretmenlerin eğitimde yapay zekâ kullanılmasına ilişkin görüşleri. ISPEC International Journal of Social Sciences & Humanities, 7(1), 133–153.
24. Ekici, E., Ekici, F. T., & Kara, İ. (2012). Öğretmenlere yönelik bilişim teknolojileri öz-yeterlik algısı ölçeğinin geçerlik ve güvenirlik çalışması. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 31(1), 53–65.
25. Er, K., & Ünal, T. (2016). Ortaokul öğrencilerine yönelik dil bilgisi tutum ölçeği geliştirilmesi: Geçerlilik ve güvenirlik çalışması. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 1(40), 343–356.
26. Ertmer, P. A., & Ottenbreit-Leftwich, A. T. (2010). Teacher technology change: How knowledge, confidence, beliefs, and culture intersect. Journal of Research on Technology in Education, 42(3), 255–284.
27. Erümit, A. K., Çetin, İ., Kokoç, M., Kösa, T., Nabiyev, V., & Aygün, E. S. (2019). Designing a usability assessment process for adaptive intelligent tutoring systems: A case study. Turkish Online Journal of Qualitative Inquiry, 10(1), 141–179.
28. Ferikoğlu, D., & Akgün, E. (2022). An investigation of teachers’ artificial intelligence awareness: A scale development study. Malaysian Online Journal of Educational Technology, 10(3), 215–231.
29. Fornell, C., & Larcker, D. F. (1981). Evaluating structural equation models with unobservable variables and measurement error. Journal of Marketing Research, 28(1), 39–50.
30. Güneş, A. M., & Buluç, B. (2017). Sınıf öğretmenlerinin teknoloji kullanımları ve öz yeterlilik inançları arasındaki ilişki. TÜBAV Bilim Dergisi, 10(1), 94–113.
31. Hair, J. F., Black, W. C., Babin, B. J., Anderson, R. E., & Tatham, R. L. (2006). Multivariate data analysis (6th ed.). Pearson Prentice Hall.
32. Hamrah, Z. S. (2012). Role of virtual education in higher education from the view of existence philosophy. Journal of Social Sciences, 8(2), 207–215.
33. Hooper, C. J., & Mullen, M. R. (2008). Structural equation modeling: Guidelines for determining model fit. The Electronic Journal of Business Research Methods, 6(1), 53–60.
34. Hu, L. T., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1–55.
35. Jöreskog, K. G., & Sörbom, D. (1993). LISREL 8: Structural equation modeling with the SIMPLIS command language. Scientific Software International.
36. Khan, Z. H., & Abid, M. I. (2021). Distance learning in engineering education: Challenges and opportunities during COVID-19 pandemic crisis in Pakistan. International Journal of Electrical Engineering & Education. Advance online publication.
37. Mcdonald, R. P., & Marsh, H. W. (1990). Choosing a multivariate model: Noncentrality and goodness of fit. Psychological bulletin, 107(2), 247.
38. MEB. (2023). FEYZA (Fırsatları Artıran Eğitimde Yapay Zekâ) Projesi. Din Öğretimi Genel Müdürlüğü. https://dogm.meb.gov.tr/www/feyza-firsatlari-artiran-egitimde-yapay-zek-projesi/icerik/2050
39. Meral, Y. D. (2014). Ortaöğretim matematik öğretmenlerinin eğitim felsefesi görüşleri ve öğretme-öğrenme anlayışlarının yapılandırmacı öğrenme ortamı düzenleme becerilerine etkisi [Yayımlanmış yüksek lisans tezi, Kocaeli Üniversitesi]. Ulusal Tez Merkezi. (Tez No. 370168)
40. Merjovaara, O., Eklund, K., Nousiainen, T., & Tahvanainen, V. (2024). Early childhood pre-service teachers’ attitudes towards digital technologies and their relation to digital competence. Education and Information Technologies, 29, 14647–14662.
41. Özer, S., Akgül, S., & Yıldırım, A. (2023). Okullarda yapay zekâ kullanımına ilişkin öğretmen görüşleri. Ulusal Eğitim Dergisi, 3(10), 1776–1794.
42. Pallant, J. (2017). SPSS kullanma kılavuzu. Anı Yayıncılık.
43. Pallant, J. (2020). SPSS survival manual: A step by step guide to data analysis using IBM SPSS (S. Balcı & B. Ahi, Çev.). Anı Yayıncılık.
44. Pan, X. (2020). Technology acceptance, technological self-efficacy, and attitude toward technology-based self-directed learning: Learning motivation as a mediator. Frontiers in Psychology, 11, 564294.
45. Pekmez, S., Çoban, T. C., Kılıç, M., & Duman, Y. M. (2024). Eğitimde yapay zeka teknolojilerinin kullanımına yönelik öğretmen görüşleri. Ulusal Eğitim Dergisi, 4(2), 601–619.
46. Raykov, T. (1998). Coefficient alpha and composite reliability with interrelated nonhomogeneous items. Applied Psychological Measurement, 22(4), 375–385.
47. Seçer, İ. (2015). SPSS ve LISREL ile pratik veri analizi (2. baskı). Anı Yayıncılık.
48. Seçer, İ. (2017). SPSS ve LISREL ile pratik veri analizi. Anı Yayıncılık.
49. Seçer, İ. (2018). Psikolojik test geliştirme ve uyarlama süreci: SPSS ve LISREL uygulamaları. Anı Yayıncılık.
50. Sevil, Ş., & Gökoğlu, S. (2024). Yapay zeka uygulamalarının eğitimdeki rolü ve etkileri. 17th International Computer and Instructional Technologies Symposium (ICITS 2024). https://icits2024.kastamonu.edu.tr
51. Schepman, A., & Rodway, P. (2020). Initial validation of the general attitudes towards Artificial Intelligence Scale. Computers in Human Behavior Reports, 1, 100014.
52. Schumacher, R. E., & Lomax, R. G. (2004). A beginner’s guide to structural equation modeling. Lawrence Erlbaum Associates.
53. Schwarzer, R., & Jerusalem, M. (1995). Generalized Self-Efficacy Scale. In J. Weinman, S. Wright, & M. Johnston (Eds.), Measures in health psychology: A user’s portfolio (pp. 35–37). NFER-Nelson.
54. Tabachnick, B. G., & Fidell, L. S. (2013). Using multivariate statistics (6th ed.). Pearson. Terzi, A. R. (2010). Eğitim bilimine giriş (2. baskı). Detay Yayıncılık.
55. Tezbaşaran, A. A. (1996). Likert tipi ölçek geliştirme kılavuzu. Türk Psikologlar Derneği.
56. Tondeur, J., Aesaert, K., Prestridge, S., & Consuegra, E. (2018). A multilevel analysis of what matters in the training of pre-service teacher’s ICT competencies. Computers and Education, 122, 32–42.
57. Uyan, U., & Gültekin, S. U. (2024). Yapay zeka öz-yeterlilik ölçeğinin Türkçe’ye uyarlanması: Geçerlik ve güvenirlik çalışması. Journal of Research in Business, 9(1), 135–148.
58. Vosough-Matin, M. (2023). Investigation of special education teachers' technology integration self-efficacy levels. International Journal of Technology in Education and Science, 7(3), 290–305.
59. Wang, Y. Y., & Chuang, Y. W. (2023). Artificial intelligence self-efficacy: Scale development and validation. Education and Information Technologies, 28(12), 1–24.
60. Yang, Y., & Green, S. B. (2011). Coefficient alpha: A reliability coefficient for the 21st century? Journal of Psychoeducational Assessment, 29(4), 377–392.
61. Yıldırım, A., & Şimşek, H. (2006). Sosyal bilimlerde nitel araştırma yöntemleri (6. baskı). Seçkin Yayıncılık.
62. Yurdabakan, İ., & Çüm, S. (2017). Davranış bilimlerinde ölçek geliştirme (keşifsel faktör analizine dayalı). Türkiye Aile Hekimliği ve Birincil Bakım Dergisi, 11(2), 108–126.