Adequacy of the Scales Developed for the Use of Artificial Intelligence in Education

Abstract

The study aims to examine the scales for the use of artificial intelligence in education in terms of validity and reliability. The 24 scales in the study were analyzed by considering the types of scales, the purposes of their development, the validity and reliability analyses used, and the study groups. One third of the scales were adapted from different languages into Turkish and two thirds were developed independently. Most of the scales focus on artificial intelligence literacy and attitudes. University students were generally preferred as the study group, and the number of scales for teachers and K12 students is limited. In the study, four themes regarding artificial intelligence in education were created; the purpose, sampling, validity and reliability analyses of the scales were determined. The most used method in validity analyses is construct validity, and especially exploratory (EFA) and confirmatory factor analyses (CFA) are used together. However, in these analyses, it was found that studies with different samples were not conducted, and discriminant validity was not paid enough attention. In reliability analyses, Cronbach's alpha coefficient was calculated for the majority of the scales and high reliability rates were obtained. However, the test-retest method was used less frequently. As a result, although the scales developed for the use of artificial intelligence in education are generally considered sufficient in terms of validity and reliability, it is recommended that the study groups be diversified, and the missing analyzes be completed. There is a need for scale development studies especially for K12 level students and teachers.

Keywords

• Use of artificial intelligence in education
• Ccale development
• Content analysis.

Eğitimde Yapay Zekâ Kullanımına İlişkin Geliştirilen ve Uyarlanan Ölçeklerin İncelenmesi

Abstract

Bu çalışmada, eğitimde yapay zekâ kullanımına yönelik ölçeklerin geçerlik ve güvenirlik açısından incelenmesi amaçlanmıştır. Çalışmada yer alan 24 ölçek, ölçeklerin türleri, geliştirilme amaçları, kullanılan geçerlik ve güvenirlik analizleri ile çalışma grupları dikkate alınarak analiz edilmiştir. Ölçeklerin üçte biri farklı dillerden Türk kültürüne uyarlanmış, üçte ikisi ise bağımsız olarak geliştirilmiştir. Ölçeklerin büyük kısmı yapay zekâ okuryazarlığı ve tutum konularına odaklanmaktadır. Çalışma grubu olarak genellikle üniversite öğrencileri tercih edilmiş olup öğretmenler ve K12 öğrencilerine yönelik ölçeklerin sayısı sınırlıdır. Araştırmada eğitimde yapay zekâya dair dört tema oluşturulmuş; ölçeklerin amacı, örneklem, geçerlik ve güvenirlik analizleri belirlenmiştir. Geçerlik analizlerinde en yaygın kullanılan yöntem yapı geçerliği olup, özellikle açımlayıcı (AFA) ve doğrulayıcı faktör analizlerinin (DFA) birlikte kullanıldığı görülmektedir. Ancak, bu analizlerde farklı örneklemlerle çalışma yapılmadığı ve ayırt edicilik özelliğinin yeterince araştırılmadığı tespit edilmiştir. Güvenirlik analizlerinde, ölçeklerin büyük çoğunluğunda Cronbach alfa katsayısı hesaplanmış ve yüksek güvenirlik oranları elde edilmiştir. Ancak test tekrar test yöntemine daha az başvurulmuştur. Sonuç olarak, eğitimde yapay zekâ kullanımına yönelik geliştirilen ölçekler genel olarak geçerlik ve güvenirlik açısından yeterli görülmektedir. Ancak, çalışma gruplarının çeşitlendirilmesi ve eksik analizlerin tamamlanması önerilmektedir. Özellikle K12 düzeyindeki öğrenciler ve öğretmenler için ölçek geliştirme çalışmalarına ihtiyaç duyulmaktadır.

Keywords

• Eğitimde yapay zekâ kullanım
• Ölçek geliştirme
• Betimsel analiz.

Ethical Statement

“Eğitimde Yapay Zekâ Kullanımına İlişkin Geliştirilen Ölçeklerin Yeterlilikleri” başlıklı çalışmamızda konuyla ilgili alanyazında geliştirilmiş 24 ölçeğe dönük bir meta-sentez gerçekleştirilmiş olup, süreçte insan katılımcı bulunmadığından etik kurulu izni alınmasına gereksinim duyulmamıştır. Ayrıca yazarlar olarak araştırma sürecinde tüm akademik etik ilkelerine titizlikle uyduğumuzu beyan ederiz.

References

1. Acar Güvendir, M., & Özer Özkan, Y (2015). Türkiye’deki eğitim alanında yayımlanan bilimsel dergilerde ölçek geliştirme ve uyarlama konulu makalelerin incelenmesi. Elektronik Sosyal Bilimler Dergisi, 14(52), 23-33. doi: 10.17755/esosder.54872
2. Acar Güvendir, M. ve Özer Özkan, Y. (Editörler). (2022). Tüm yönleriyle ölçek geliştirme süreci. Pegem Akademi.
3. Akkaya, B., Özkan, A. & Özkan, H. (2021). Yapay zekâ kaygı (YZK) ölçeği: Türkçeye uyarlama, geçerlik ve güvenirlik çalışması. Alanya Akademik Bakış, 5(2), 1125-1146. https://doi.org/10.29023/alanyaakademik.833668
4. Ayyıldız, P. (2022). Eğitim yönetimi alanında “liderlik, okul yönetimi, okul müdürü” temalı ölçek geliştirme/uyarlama çalışmalarının tematik içerik analizi ile incelenmesi, International Journal of Eurasia Social Sciences (IJOESS), 13(49), 968-983. Doi: 10.35826/ijoess.3189
5. Başol, G. (2019). Eğitimde ölçme ve değerlendirme. (6. Baskı). Pegem Akademi.
6. Büyüköztürk, Ş. (2023). Sosyal bilimler için veri analizi el kitabı. Pegem Akademi.
7. Cabrera-Nguyen, P. (2010). Author guidelines for reporting scale development and validation results in the Journal of the Society for Social Work and Research. Journal of the Society for Social Work and Research, 1(2), 99-103. Doi: 10.5243/jsswr.2010.8
8. Chan, C. K. Y. & Zhou, W. (2023). An expectancy value theory (EVT) based instrument for measuring student perceptions of generative AI. Smart Learn. Environ. 10(1), 64. https://doi.org/10.1186/s40561-023-00284-4

9. Chan, K. S. & Zary, N. (2019). Applications and challenges of ımplementing artificial ıntelligence in medical education: Integrative review. JMIR Medical Education, 5(1), e13930. doi: 10.2196/13930
10. Chen, L., Chen P. & Lin, Z. (2020). Artificial ıntelligence in education: A review, in IEEE Access, 8, 75264-75278. doi: 10.1109/ACCESS.2020.2988510
11. Chen, X., Xie, H., Zou, D. & Hwang, G. J. (2020). Application and theory gaps during the rise of artificial ıntelligence in education. Computers and Education: Artificial Intelligence, 1 (July),1-20, 100002. https://doi.org/10.1016/j.caeai.2020.100002
12. Chen, X., Zou, D., Xie, H., Cheng, G. & Liu, C. (2022). Two decades of artificial ıntelligence in education. Educational Technology & Society, 25(1), 28-47. https://www.jstor.org/stable/48647028
13. Churchill, G. A. (1979). A paradigm for developing better measures of marketing constructs. Journal of Marketing Research, 16(1), 64–73. https://doi.org/10.2307/3150876
14. Cin Şeker, Z. ve Yücel Çetin, D. (2022). Okuma eğitimi alanında yapılan ölçek geliştirme çalışmalarının incelenmesi: Bir meta-sentez çalışması. Uluslararası Türkçe Edebiyat Kültür Eğitim Dergisi, 11(3), 1193- 1209.
15. Çalık, M. & Sözbilir, M. (2014). İçerik analizinin parametreleri. Eğitim ve Bilim, 39 (174), 33-38. http://dx.doi.org/10.15390/EB.2014.3412
16. Çelebi, C., Yılmaz, F., Demir, U. & Karakuş, F. (2023). Artificial ıntelligence literacy: An adaptation study. Instructional Technology and Lifelong Learning, 4(2), 291-306. https://doi.org/10.52911/itall.1401740
17. Çelen, Ü., & Aybek, E. C. (2022). A novel approach for calculating the item discrimination for Likert type of scales. International Journal of Assessment Tools in Education, 9(3), 772-786. https://doi.org/10.21449/ijate.1173356
18. Çoban, E. & Uzun H. (2022). Endüstri 4.0'ın eğitim alanına etkileri. Fırat Üniversitesi Uluslararası İktisadi ve İdari Bilimler Dergisi, 6(1), 97-124.
19. Cukurova, M., Luckin, R. & Kent, C. (2020). Impact of an artificial intelligence research frame on the perceived credibility of educational research evidence. International Journal of Artificial Intelligence in Education, 30(2), 205-235. https://doi.org/10.1007/s40593-019-00188-w
20. Demirel, Ö. (2020). Eğitimde program geliştirme: Kuramdan uygulamaya. (29. Baskı). Pegem Akademi.
21. DeVellis, R. F. (2014). Ölçek geliştirme: Kuram ve uygulamalar. Nobel Akademik Yayıncılık.
22. DeVellis, R. F. (2017). Scale development: Theory and applications (4th ed.). Sage Publications.
23. Dülger, E. D. & Köklü, M. (2023). Okul yöneticilerinin ve öğretmenlerin eğitimde yapay zekâ kullanımına ilişkin görüşlerini belirlemeye yönelik bir ölçek geliştirme çalışması. ISPEC International Journal of Social Sciences & Humanities, 7(1), 154-174. https://doi.org/10.5281/zenodo.7767140
24. Eminoğlu Özmercan, E. ve Kemer, B. (2024). Ölçek geliştirme konulu tezlerin ölçek geliştirme standartlarına göre incelenmesi. Marmara Üniversitesi Atatürk Eğitim Fakültesi Eğitim Bilimleri Dergisi, 60(60), 190-206. DOI: 10.15285/maruaebd.1486846
25. Ergene, Ö. (2020). Matematik eğitimi alanında ölçek geliştirme ve ölçek uyarlama makaleleri: Betimsel içerik analizi. Yaşadıkça Eğitim, 34(2), 360-383. https://doi.org/10.33308/26674874.2020342207
26. Erkuş, A. (2012). Psikolojide ölçme ve ölçek geliştirme. Pegem Akademi.
27. Erkuş, A. (2017). Ölçek geliştirme ve uyarlama çalışmalarındaki sorunlar ile yazım ve değerlendirilmesi. Eğitim Bilimlerinde Yenilikler ve Nitelik Arayışı, 1211–1224. doi: 10.14527/9786053183563.075
28. Erkuş, A. (2019). Psikolojide ölçme ve ölçek geliştirme-I: Temel kavramlar ve işlemler. (4. Baskı). Pegem Akademi.
29. Erol, A., Yurdakal, H. İ. & Tekin Karagöz, C. (2023). Metaverse/meta-education belief scale. Malaysian Online Journal of Educational Technology, 11(2), 94-107. http://dx.doi.org/10.52380/mojet.2023.11.2.461
30. Eyüp, B., & Kayhan, S. (2023). Pre-service turkish language teachers' anxiety and attitudes toward artificial intelligence. International Journal of Education and Literacy Studies, 11(4), 43-56. https://doi.org/10.7575/aiac.ijels.v.11n.4p.43
31. Ferikoğlu, D. & Akgün, E. (2022). An investigation of teachers’ artificial intelligence awareness: a scale development study. Malaysian Online Journal of Educational Technology, 10(3), 215-231. https://doi.org/10.52380/mojet.2022.10.3.407
32. Frey, C. B. & Osborne, M. (2013). The future of employment. Published by the Oxford Martin Programme on Technology and Employment. https://sep4u.gr/wp-content/uploads/The_Future_of_Employment_ox_2013.pdf
33. Guan, C., Mou, J. & Jiang, Z. (2020). Artificial intelligence innovation in education: a twenty-year data-driven historical analysis. International Journal of Innovation Studies, 4(4), 134-147. https://doi.org/10.1016/j.ijis.2020.09.001
34. Gül, Ş., & Sözbilir, M. (2015). Fen ve matematik eğitimi alanında gerçekleştirilen ölçek geliştirme araştırmalarına yönelik tematik içerik analizi. Eğitim ve Bilim, 40(178), 85-102. http://dx.doi.org/10.15390/EB.2015.4070
35. Hair, J. F., Black, W. C., Babin, B. J. & Anderson, R. E. (2014). Multivariate data analysis (7th ed.). Pearson.
36. Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory (Vol. 2). Sage.
37. Holmes, W., Bialik, M., & Fadel, C. (2019). Artificial Intelligence in Education: Promises and Implications for Teaching and Learning. Center for Curriculum Redesign.
38. Hwang, H. S., Zhu, L. C. & Cui, Q. (2023). Development and validation of a digital literacy scale in the artificial intelligence era for college students. KSII Transactions on Internet and Information Systems (TIIS), 17(8), 2241-2258. https://doi.org/10.3837/tiis.2023.08.016
39. Jang, Y., Choi, S. & Kim, H. (2022). Development and validation of an instrument to measure undergraduate students’ attitudes toward the ethics of artificial intelligence (AT-EAI) and analysis of its difference by gender and experience of AI education. Educ Inf Technol 27, 11635–11667. https://doi.org/10.1007/s10639-022-11086-5
40. Kahraman, A., Aytekin, M. Ş., & Alparslan, Ö. (2021). Türkiye’de emzirme ile ilgili ölçeklerin ölçek uyarlama adımlarının incelenmesi. Cumhuriyet Üniversitesi Sağlık Bilimleri Enstitüsü Dergisi, 6(3), 173-180. https://doi.org/10.51754/cusbed.901407
41. Karaca, O., Çalışkan, S. A. & Demir, K. (2021). Medical artificial intelligence readiness scale for medical students (MAIRS-MS) – Development, validity and reliability study. BMC Med Educ 21, 1-9. https://doi.org/10.1186/s12909-021-02546-6
42. Karaoğlan Yılmaz, F. G. & Yılmaz, R. (2023). Yapay zekâ okuryazarlığı ölçeğinin Türkçeye uyarlanması. Bilgi ve İletişim Teknolojileri Dergisi, 5(2), 172-190. https://doi.org/10.53694/bited.1376831
43. Kaya, F., Aydin, F., Schepman, A., Rodway, P., Yetişensoy, O. & Demir Kaya, M. (2024). The roles of personality traits, ai anxiety, and demographic factors in attitudes toward artificial intelligence, International Journal of Human–Computer Interaction, 40(2), 497-514. https://doi.org/10.1080/10447318.2022.2151730
44. Kılıç, A. F. (2023). (Ed.). R programlama diliyle A’dan Z’ye ölçek geliştirme. Nobel Akademik Yayıncılık.
45. Kılıç, A. F., & Uysal, İ. (2022). To what extent are item discrimination values realistic? A new index for two-dimensional structures. International Journal of Assessment Tools in Education, 9(3), 728-740. https://doi.org/10.21449/ijate.1098757
46. Koğar, H. (2021). R ile geçerlik ve güvenirlik analizleri. Pegem Akademi.
47. Konu Kadirhanoğulları, M. (2024). Biyoloji eğitiminde gerçekleştirilen ölçek geliştirme araştırmalarına bir bakış. Yaşadıkça Eğitim, 38(1), 184–198. https://doi.org/10.33308/26674874.2024381544
48. Laupichler, M. C., Aster, A., Haverkamp, N. & Raupach, T. (2023). Development of the “scale for the assessment of non-experts’ ai literacy” –An exploratory factor analysis. Computers in Human Behavior Reports, 12, 100338. https://doi.org/10.1016/j.chbr.2023.100338
49. Laupichler, M. C., Aster, A., Perschewski, J.-O. & Schleiss, J. (2023). Evaluating ai courses: A valid and reliable instrument for assessing artificial-intelligence learning through comparative self-assessment. Educ. Sci., 13(10), 978. https://doi.org/10.3390/educsci13100978
50. Long, D., Magerko, B. (2020). What is AI literacy? Competencies and design considerations. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–16. Honolulu, HI, USA, https://doi.org/10.1145/3313831.3376727
51. Lord, F. M. (2012). Applications of item response theory to practical testing problems. Routledge.
52. Luckin, R. (2017). Towards Artificial Intelligence-based Assessment Systems. Pearson Education.
53. Morales-García, W.C., Sairitupa-Sanchez, L.Z., Morales-García, S.B. & Morales-García, M. (2024). Adaptation and psychometric properties of a brief version of the general self-efficacy scale for use with artificial intelligence (GSE-6AI) Among University Students. In Frontiers in Education (Vol. 9, p. 1293437). Frontiers Media SA. https://doi.org/10.3389/feduc.2024.1293437
54. Morales-García, W. C., Sairitupa-Sanchez, L. Z., Morales-García, S. B. & Morales-García, M. (2024). Development and validation of a scale for dependence on artificial intelligence in university students. In Frontiers in Education. 9:1323898. Frontiers Media SA. https://doi.org/10.3389/feduc.2024.1323898
55. Nazaretsky, T., Cukurova, M. & Alexandron, G. (2022). An instrument for measuring teachers’ trust in aı-based educational technology. In LAK22: 12th international learning analytics and knowledge conference, 56-66. https://doi.org/10.1145/3506860.3506866
56. Ng, D. T. K., Wu, W., Leung, J. K. L., Chiu, T. K. F., & Chu, S. K. W. (2024). Design and validation of the AI literacy questionnaire: The affective, behavioural, cognitive and ethical approach. British Journal of Educational Technology. https://doi.org/10.1111/bjet.13411
57. Nunnally, J. C. & Bernstein, I. H. (1994). Psychometric theory (3rd ed.). McGraw-Hill. Olgun, G. & Alatlı, B. (2021). Türkiye’de ergenlere yönelik ölçek geliştirme ve uyarlama çalışmalarının incelenmesi. TEBD, 19(1), 568-592. https://doi.org/10.37217/tebd.849954
58. Öztemel, E. (2018). Eğitimde yeni yönelimlerin değerlendirilmesi ve eğitim 4.0. Üniversite Araştırmaları Dergisi, 1(1), 25-30. Doi: 10.26701/uad.371662
59. Pedro, F., Subosa, M., Rivas, A. & Valverde, P. (2019). Artificial intelligence in education: challenges and opportunities for sustainable development. United Nations Educational, Scientific and Cultural Organization (UNESCO).
60. Polat, S., & Ay, O. (2016). Meta-sentez: Kavramsal bir çözümleme. Eğitimde Nitel Araştırmalar Dergisi, 4(2), 52-64. https://doi.org/10.14689/issn.2148-2624.1.4c2s3m
61. Polatgil, M. & Güler, A. (2023). Yapay zekâ okuryazarlığı ölçeğinin Türkçeye uyarlanması. Sosyal Bilimlerde Nicel Araştırmalar Dergisi, 3(2), 99-114.
62. Roll, I. & Wylie, R. (2016). Evolution and revolution in artificial intelligence in education. International Journal of Artificial Intelligence in Education 26(2), 582–599. Doi:10.1007/s40593-016-0110-3
63. Savaş, H., & Pazar, B. (2021). Cerrahi hastalıkları hemşireliği lisansüstü tezlerinde geliştirilen ölçeklerin analizi. Türk Hemşireler Derneği Dergisi, 2(2), 111-124.
64. Schepman, A., & Rodway, P. (2023). The general attitudes towards artificial intelligence scale (GAAIS): confirmatory validation and associations with personality, corporate distrust, and general trust. International Journal of Human–Computer Interaction, 39(13), 2724–2741. https://doi.org/10.1080/10447318.2022.2085400
65. Suh, W. & Ahn, S. (2022). Development and validation of a scale measuring student attitudes toward artificial intelligence. Sage Open, 12(2), 1-12. https://doi.org/10.1177/21582440221100463
66. Şahin, M. G., & Boztunç Öztürk, N. (2018). Eğitim alanında ölçek geliştirme süreci: Bir içerik analizi çalışması. Kastamonu Eğitim Dergisi, 26(1), 191-199. doi:10.24106/kefdergi.375863
67. Tan, Ş. (2020). Öğretimde ölçme ve değerlendirme. (14. Baskı). Pegem Akademi.
68. Terzi, R. (2020). An adaptation of artificial ıntelligence anxiety scale into turkish: Reliability and validity study. International Online Journal of Education and Teaching, 7(4), 1501-1515. http://iojet.org/index.php/IOJET/article/view/1031
69. Timms, M. J. (2016). Letting artificial intelligence in education out of the box: Educational cobots and smart classrooms. Int J Artif Intell Educ 26, 701–712. https://doi.org/10.1007/s40593-016-0095-y
70. Wang, B., Rau, P. L. P. & Yuan, T. (2023). Measuring user competence in using artificial intelligence: validity and reliability of artificial intelligence literacy scale. Behaviour & information technology, 42(9), 1324-1337. https://doi.org/10.1080/0144929X.2022.2072768
71. Wang, Y. Y. & Wang, Y. S. (2019). Development and validation of an artificial intelligence anxiety scale: an initial application in predicting motivated learning behavior, Interactive Learning Environments, DOI:10.1080/10494820.2019.1674887
72. Wang, Y. Y. & Chuang, Y. W. (2024). Artificial ıntelligence self-efficacy: Scale development and validation. Education and Information Technologies, 29(4), 4785-4808. https://doi.org/10.1007/s10639-023-12015-w
73. Xie, X. & Wang, T. (2024). Artificial intelligence: A help or threat to contemporary education. should students be forced to think and do their tasks independently?. Educ Inf Technol 29, 3097–3111. https://doi.org/10.1007/s10639-023-11947-7
74. Yavuz Aksakal, N. & Ülgen, B. (2021). Artificial ıntelligence and jobs of the future. TRT Akademi, 6(13), 834-852. https://doi.org/10.37679/trta.969285
75. Yıldırım, A. & Şimşek, H. (2021). Sosyal bilimlerde nitel araştırma yöntemleri (12. baskı). Pegem Akademi.
76. Yılmaz, A., & Özgül, İ. (2023). An examination of scale development studies in the field of educational sciences within the scope of international standards. International Journal of Eurasian Education and Culture, 8(24), 2895-2920. http://dx.doi.org/10.35826/ijoecc.1810
77. Yilmaz, F. G. K., Yilmaz, R., & Ceylan, M. (2023). Generative artificial ıntelligence acceptance scale: A validity and reliability study. International Journal of Human–Computer Interaction, 1-13. https://doi.org/10.1080/10447318.2023.2288730
78. Yurdugül, H. (2005, 28–30 Eylül). Ölçek geliştirme çalışmalarında kapsam geçerliği için kapsam geçerlik indekslerinin kullanılması. XIV. Ulusal Eğitim Bilimleri Kongresi, Pamukkale Üniversitesi Eğitim Fakültesi, 1, 771-774. Denizli, Türkiye.
79. Zawacki-Richter, O., Marín, V. I., Bond, M., & Gouverneur, F. (2019). Systematic review of research on artificial intelligence applications in higher education. International Journal of Educational Technology in Higher Education, 16(1), 39.