Adequacy of the Scales Developed for the Use of Artificial Intelligence in Education

Year 2025, Volume: 25 Issue: 3, 1567 - 1585, 15.09.2025

Nursen Yılmaz , Özgen Korkmaz

https://doi.org/10.17240/aibuefd.2025..-1563316

Abstract

The study aims to examine the scales for the use of artificial intelligence in education in terms of validity and reliability. The 24 scales in the study were analyzed by considering the types of scales, the purposes of their development, the validity and reliability analyses used, and the study groups. One third of the scales were adapted from different languages into Turkish and two thirds were developed independently. Most of the scales focus on artificial intelligence literacy and attitudes. University students were generally preferred as the study group, and the number of scales for teachers and K12 students is limited. In the study, four themes regarding artificial intelligence in education were created; the purpose, sampling, validity and reliability analyses of the scales were determined. The most used method in validity analyses is construct validity, and especially exploratory (EFA) and confirmatory factor analyses (CFA) are used together. However, in these analyses, it was found that studies with different samples were not conducted, and discriminant validity was not paid enough attention. In reliability analyses, Cronbach's alpha coefficient was calculated for the majority of the scales and high reliability rates were obtained. However, the test-retest method was used less frequently. As a result, although the scales developed for the use of artificial intelligence in education are generally considered sufficient in terms of validity and reliability, it is recommended that the study groups be diversified, and the missing analyzes be completed. There is a need for scale development studies especially for K12 level students and teachers.

Keywords

Use of artificial intelligence in education , Ccale development , Content analysis.

Eğitimde Yapay Zekâ Kullanımına İlişkin Geliştirilen ve Uyarlanan Ölçeklerin İncelenmesi

Abstract

Bu çalışmada, eğitimde yapay zekâ kullanımına yönelik ölçeklerin geçerlik ve güvenirlik açısından incelenmesi amaçlanmıştır. Çalışmada yer alan 24 ölçek, ölçeklerin türleri, geliştirilme amaçları, kullanılan geçerlik ve güvenirlik analizleri ile çalışma grupları dikkate alınarak analiz edilmiştir. Ölçeklerin üçte biri farklı dillerden Türk kültürüne uyarlanmış, üçte ikisi ise bağımsız olarak geliştirilmiştir. Ölçeklerin büyük kısmı yapay zekâ okuryazarlığı ve tutum konularına odaklanmaktadır. Çalışma grubu olarak genellikle üniversite öğrencileri tercih edilmiş olup öğretmenler ve K12 öğrencilerine yönelik ölçeklerin sayısı sınırlıdır. Araştırmada eğitimde yapay zekâya dair dört tema oluşturulmuş; ölçeklerin amacı, örneklem, geçerlik ve güvenirlik analizleri belirlenmiştir. Geçerlik analizlerinde en yaygın kullanılan yöntem yapı geçerliği olup, özellikle açımlayıcı (AFA) ve doğrulayıcı faktör analizlerinin (DFA) birlikte kullanıldığı görülmektedir. Ancak, bu analizlerde farklı örneklemlerle çalışma yapılmadığı ve ayırt edicilik özelliğinin yeterince araştırılmadığı tespit edilmiştir. Güvenirlik analizlerinde, ölçeklerin büyük çoğunluğunda Cronbach alfa katsayısı hesaplanmış ve yüksek güvenirlik oranları elde edilmiştir. Ancak test tekrar test yöntemine daha az başvurulmuştur. Sonuç olarak, eğitimde yapay zekâ kullanımına yönelik geliştirilen ölçekler genel olarak geçerlik ve güvenirlik açısından yeterli görülmektedir. Ancak, çalışma gruplarının çeşitlendirilmesi ve eksik analizlerin tamamlanması önerilmektedir. Özellikle K12 düzeyindeki öğrenciler ve öğretmenler için ölçek geliştirme çalışmalarına ihtiyaç duyulmaktadır.

Keywords

Eğitimde yapay zekâ kullanım , Ölçek geliştirme , Betimsel analiz.

Ethical Statement

“Eğitimde Yapay Zekâ Kullanımına İlişkin Geliştirilen Ölçeklerin Yeterlilikleri” başlıklı çalışmamızda konuyla ilgili alanyazında geliştirilmiş 24 ölçeğe dönük bir meta-sentez gerçekleştirilmiş olup, süreçte insan katılımcı bulunmadığından etik kurulu izni alınmasına gereksinim duyulmamıştır. Ayrıca yazarlar olarak araştırma sürecinde tüm akademik etik ilkelerine titizlikle uyduğumuzu beyan ederiz.

References

• Acar Güvendir, M., & Özer Özkan, Y (2015). Türkiye’deki eğitim alanında yayımlanan bilimsel dergilerde ölçek geliştirme ve uyarlama konulu makalelerin incelenmesi. Elektronik Sosyal Bilimler Dergisi, 14(52), 23-33. doi: 10.17755/esosder.54872
• Acar Güvendir, M. ve Özer Özkan, Y. (Editörler). (2022). Tüm yönleriyle ölçek geliştirme süreci. Pegem Akademi.
• Akkaya, B., Özkan, A. & Özkan, H. (2021). Yapay zekâ kaygı (YZK) ölçeği: Türkçeye uyarlama, geçerlik ve güvenirlik çalışması. Alanya Akademik Bakış, 5(2), 1125-1146. https://doi.org/10.29023/alanyaakademik.833668
• Ayyıldız, P. (2022). Eğitim yönetimi alanında “liderlik, okul yönetimi, okul müdürü” temalı ölçek geliştirme/uyarlama çalışmalarının tematik içerik analizi ile incelenmesi, International Journal of Eurasia Social Sciences (IJOESS), 13(49), 968-983. Doi: 10.35826/ijoess.3189
• Başol, G. (2019). Eğitimde ölçme ve değerlendirme. (6. Baskı). Pegem Akademi.
• Büyüköztürk, Ş. (2023). Sosyal bilimler için veri analizi el kitabı. Pegem Akademi.
• Cabrera-Nguyen, P. (2010). Author guidelines for reporting scale development and validation results in the Journal of the Society for Social Work and Research. Journal of the Society for Social Work and Research, 1(2), 99-103. Doi: 10.5243/jsswr.2010.8
• Chan, C. K. Y. & Zhou, W. (2023). An expectancy value theory (EVT) based instrument for measuring student perceptions of generative AI. Smart Learn. Environ. 10(1), 64. https://doi.org/10.1186/s40561-023-00284-4
• Chan, K. S. & Zary, N. (2019). Applications and challenges of ımplementing artificial ıntelligence in medical education: Integrative review. JMIR Medical Education, 5(1), e13930. doi: 10.2196/13930
• Chen, L., Chen P. & Lin, Z. (2020). Artificial ıntelligence in education: A review, in IEEE Access, 8, 75264-75278. doi: 10.1109/ACCESS.2020.2988510
• Chen, X., Xie, H., Zou, D. & Hwang, G. J. (2020). Application and theory gaps during the rise of artificial ıntelligence in education. Computers and Education: Artificial Intelligence, 1 (July),1-20, 100002. https://doi.org/10.1016/j.caeai.2020.100002
• Chen, X., Zou, D., Xie, H., Cheng, G. & Liu, C. (2022). Two decades of artificial ıntelligence in education. Educational Technology & Society, 25(1), 28-47. https://www.jstor.org/stable/48647028
• Churchill, G. A. (1979). A paradigm for developing better measures of marketing constructs. Journal of Marketing Research, 16(1), 64–73. https://doi.org/10.2307/3150876
• Cin Şeker, Z. ve Yücel Çetin, D. (2022). Okuma eğitimi alanında yapılan ölçek geliştirme çalışmalarının incelenmesi: Bir meta-sentez çalışması. Uluslararası Türkçe Edebiyat Kültür Eğitim Dergisi, 11(3), 1193- 1209.
• Çalık, M. & Sözbilir, M. (2014). İçerik analizinin parametreleri. Eğitim ve Bilim, 39 (174), 33-38. http://dx.doi.org/10.15390/EB.2014.3412
• Çelebi, C., Yılmaz, F., Demir, U. & Karakuş, F. (2023). Artificial ıntelligence literacy: An adaptation study. Instructional Technology and Lifelong Learning, 4(2), 291-306. https://doi.org/10.52911/itall.1401740
• Çelen, Ü., & Aybek, E. C. (2022). A novel approach for calculating the item discrimination for Likert type of scales. International Journal of Assessment Tools in Education, 9(3), 772-786. https://doi.org/10.21449/ijate.1173356
• Çoban, E. & Uzun H. (2022). Endüstri 4.0'ın eğitim alanına etkileri. Fırat Üniversitesi Uluslararası İktisadi ve İdari Bilimler Dergisi, 6(1), 97-124.
• Cukurova, M., Luckin, R. & Kent, C. (2020). Impact of an artificial intelligence research frame on the perceived credibility of educational research evidence. International Journal of Artificial Intelligence in Education, 30(2), 205-235. https://doi.org/10.1007/s40593-019-00188-w
• Demirel, Ö. (2020). Eğitimde program geliştirme: Kuramdan uygulamaya. (29. Baskı). Pegem Akademi.
• DeVellis, R. F. (2014). Ölçek geliştirme: Kuram ve uygulamalar. Nobel Akademik Yayıncılık.
• DeVellis, R. F. (2017). Scale development: Theory and applications (4th ed.). Sage Publications.
• Dülger, E. D. & Köklü, M. (2023). Okul yöneticilerinin ve öğretmenlerin eğitimde yapay zekâ kullanımına ilişkin görüşlerini belirlemeye yönelik bir ölçek geliştirme çalışması. ISPEC International Journal of Social Sciences & Humanities, 7(1), 154-174. https://doi.org/10.5281/zenodo.7767140
• Eminoğlu Özmercan, E. ve Kemer, B. (2024). Ölçek geliştirme konulu tezlerin ölçek geliştirme standartlarına göre incelenmesi. Marmara Üniversitesi Atatürk Eğitim Fakültesi Eğitim Bilimleri Dergisi, 60(60), 190-206. DOI: 10.15285/maruaebd.1486846
• Ergene, Ö. (2020). Matematik eğitimi alanında ölçek geliştirme ve ölçek uyarlama makaleleri: Betimsel içerik analizi. Yaşadıkça Eğitim, 34(2), 360-383. https://doi.org/10.33308/26674874.2020342207
• Erkuş, A. (2012). Psikolojide ölçme ve ölçek geliştirme. Pegem Akademi.
• Erkuş, A. (2017). Ölçek geliştirme ve uyarlama çalışmalarındaki sorunlar ile yazım ve değerlendirilmesi. Eğitim Bilimlerinde Yenilikler ve Nitelik Arayışı, 1211–1224. doi: 10.14527/9786053183563.075
• Erkuş, A. (2019). Psikolojide ölçme ve ölçek geliştirme-I: Temel kavramlar ve işlemler. (4. Baskı). Pegem Akademi.
• Erol, A., Yurdakal, H. İ. & Tekin Karagöz, C. (2023). Metaverse/meta-education belief scale. Malaysian Online Journal of Educational Technology, 11(2), 94-107. http://dx.doi.org/10.52380/mojet.2023.11.2.461
• Eyüp, B., & Kayhan, S. (2023). Pre-service turkish language teachers' anxiety and attitudes toward artificial intelligence. International Journal of Education and Literacy Studies, 11(4), 43-56. https://doi.org/10.7575/aiac.ijels.v.11n.4p.43
• Ferikoğlu, D. & Akgün, E. (2022). An investigation of teachers’ artificial intelligence awareness: a scale development study. Malaysian Online Journal of Educational Technology, 10(3), 215-231. https://doi.org/10.52380/mojet.2022.10.3.407
• Frey, C. B. & Osborne, M. (2013). The future of employment. Published by the Oxford Martin Programme on Technology and Employment. https://sep4u.gr/wp-content/uploads/The_Future_of_Employment_ox_2013.pdf
• Guan, C., Mou, J. & Jiang, Z. (2020). Artificial intelligence innovation in education: a twenty-year data-driven historical analysis. International Journal of Innovation Studies, 4(4), 134-147. https://doi.org/10.1016/j.ijis.2020.09.001
• Gül, Ş., & Sözbilir, M. (2015). Fen ve matematik eğitimi alanında gerçekleştirilen ölçek geliştirme araştırmalarına yönelik tematik içerik analizi. Eğitim ve Bilim, 40(178), 85-102. http://dx.doi.org/10.15390/EB.2015.4070
• Hair, J. F., Black, W. C., Babin, B. J. & Anderson, R. E. (2014). Multivariate data analysis (7th ed.). Pearson.
• Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory (Vol. 2). Sage.
• Holmes, W., Bialik, M., & Fadel, C. (2019). Artificial Intelligence in Education: Promises and Implications for Teaching and Learning. Center for Curriculum Redesign.
• Hwang, H. S., Zhu, L. C. & Cui, Q. (2023). Development and validation of a digital literacy scale in the artificial intelligence era for college students. KSII Transactions on Internet and Information Systems (TIIS), 17(8), 2241-2258. https://doi.org/10.3837/tiis.2023.08.016
• Jang, Y., Choi, S. & Kim, H. (2022). Development and validation of an instrument to measure undergraduate students’ attitudes toward the ethics of artificial intelligence (AT-EAI) and analysis of its difference by gender and experience of AI education. Educ Inf Technol 27, 11635–11667. https://doi.org/10.1007/s10639-022-11086-5
• Kahraman, A., Aytekin, M. Ş., & Alparslan, Ö. (2021). Türkiye’de emzirme ile ilgili ölçeklerin ölçek uyarlama adımlarının incelenmesi. Cumhuriyet Üniversitesi Sağlık Bilimleri Enstitüsü Dergisi, 6(3), 173-180. https://doi.org/10.51754/cusbed.901407
• Karaca, O., Çalışkan, S. A. & Demir, K. (2021). Medical artificial intelligence readiness scale for medical students (MAIRS-MS) – Development, validity and reliability study. BMC Med Educ 21, 1-9. https://doi.org/10.1186/s12909-021-02546-6
• Karaoğlan Yılmaz, F. G. & Yılmaz, R. (2023). Yapay zekâ okuryazarlığı ölçeğinin Türkçeye uyarlanması. Bilgi ve İletişim Teknolojileri Dergisi, 5(2), 172-190. https://doi.org/10.53694/bited.1376831
• Kaya, F., Aydin, F., Schepman, A., Rodway, P., Yetişensoy, O. & Demir Kaya, M. (2024). The roles of personality traits, ai anxiety, and demographic factors in attitudes toward artificial intelligence, International Journal of Human–Computer Interaction, 40(2), 497-514. https://doi.org/10.1080/10447318.2022.2151730
• Kılıç, A. F. (2023). (Ed.). R programlama diliyle A’dan Z’ye ölçek geliştirme. Nobel Akademik Yayıncılık.
• Kılıç, A. F., & Uysal, İ. (2022). To what extent are item discrimination values realistic? A new index for two-dimensional structures. International Journal of Assessment Tools in Education, 9(3), 728-740. https://doi.org/10.21449/ijate.1098757
• Koğar, H. (2021). R ile geçerlik ve güvenirlik analizleri. Pegem Akademi.
• Konu Kadirhanoğulları, M. (2024). Biyoloji eğitiminde gerçekleştirilen ölçek geliştirme araştırmalarına bir bakış. Yaşadıkça Eğitim, 38(1), 184–198. https://doi.org/10.33308/26674874.2024381544
• Laupichler, M. C., Aster, A., Haverkamp, N. & Raupach, T. (2023). Development of the “scale for the assessment of non-experts’ ai literacy” –An exploratory factor analysis. Computers in Human Behavior Reports, 12, 100338. https://doi.org/10.1016/j.chbr.2023.100338
• Laupichler, M. C., Aster, A., Perschewski, J.-O. & Schleiss, J. (2023). Evaluating ai courses: A valid and reliable instrument for assessing artificial-intelligence learning through comparative self-assessment. Educ. Sci., 13(10), 978. https://doi.org/10.3390/educsci13100978
• Long, D., Magerko, B. (2020). What is AI literacy? Competencies and design considerations. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–16. Honolulu, HI, USA, https://doi.org/10.1145/3313831.3376727
• Lord, F. M. (2012). Applications of item response theory to practical testing problems. Routledge.
• Luckin, R. (2017). Towards Artificial Intelligence-based Assessment Systems. Pearson Education.
• Morales-García, W.C., Sairitupa-Sanchez, L.Z., Morales-García, S.B. & Morales-García, M. (2024). Adaptation and psychometric properties of a brief version of the general self-efficacy scale for use with artificial intelligence (GSE-6AI) Among University Students. In Frontiers in Education (Vol. 9, p. 1293437). Frontiers Media SA. https://doi.org/10.3389/feduc.2024.1293437
• Morales-García, W. C., Sairitupa-Sanchez, L. Z., Morales-García, S. B. & Morales-García, M. (2024). Development and validation of a scale for dependence on artificial intelligence in university students. In Frontiers in Education. 9:1323898. Frontiers Media SA. https://doi.org/10.3389/feduc.2024.1323898
• Nazaretsky, T., Cukurova, M. & Alexandron, G. (2022). An instrument for measuring teachers’ trust in aı-based educational technology. In LAK22: 12th international learning analytics and knowledge conference, 56-66. https://doi.org/10.1145/3506860.3506866
• Ng, D. T. K., Wu, W., Leung, J. K. L., Chiu, T. K. F., & Chu, S. K. W. (2024). Design and validation of the AI literacy questionnaire: The affective, behavioural, cognitive and ethical approach. British Journal of Educational Technology. https://doi.org/10.1111/bjet.13411
• Nunnally, J. C. & Bernstein, I. H. (1994). Psychometric theory (3rd ed.). McGraw-Hill. Olgun, G. & Alatlı, B. (2021). Türkiye’de ergenlere yönelik ölçek geliştirme ve uyarlama çalışmalarının incelenmesi. TEBD, 19(1), 568-592. https://doi.org/10.37217/tebd.849954
• Öztemel, E. (2018). Eğitimde yeni yönelimlerin değerlendirilmesi ve eğitim 4.0. Üniversite Araştırmaları Dergisi, 1(1), 25-30. Doi: 10.26701/uad.371662
• Pedro, F., Subosa, M., Rivas, A. & Valverde, P. (2019). Artificial intelligence in education: challenges and opportunities for sustainable development. United Nations Educational, Scientific and Cultural Organization (UNESCO).
• Polat, S., & Ay, O. (2016). Meta-sentez: Kavramsal bir çözümleme. Eğitimde Nitel Araştırmalar Dergisi, 4(2), 52-64. https://doi.org/10.14689/issn.2148-2624.1.4c2s3m
• Polatgil, M. & Güler, A. (2023). Yapay zekâ okuryazarlığı ölçeğinin Türkçeye uyarlanması. Sosyal Bilimlerde Nicel Araştırmalar Dergisi, 3(2), 99-114.
• Roll, I. & Wylie, R. (2016). Evolution and revolution in artificial intelligence in education. International Journal of Artificial Intelligence in Education 26(2), 582–599. Doi:10.1007/s40593-016-0110-3
• Savaş, H., & Pazar, B. (2021). Cerrahi hastalıkları hemşireliği lisansüstü tezlerinde geliştirilen ölçeklerin analizi. Türk Hemşireler Derneği Dergisi, 2(2), 111-124.
• Schepman, A., & Rodway, P. (2023). The general attitudes towards artificial intelligence scale (GAAIS): confirmatory validation and associations with personality, corporate distrust, and general trust. International Journal of Human–Computer Interaction, 39(13), 2724–2741. https://doi.org/10.1080/10447318.2022.2085400
• Suh, W. & Ahn, S. (2022). Development and validation of a scale measuring student attitudes toward artificial intelligence. Sage Open, 12(2), 1-12. https://doi.org/10.1177/21582440221100463
• Şahin, M. G., & Boztunç Öztürk, N. (2018). Eğitim alanında ölçek geliştirme süreci: Bir içerik analizi çalışması. Kastamonu Eğitim Dergisi, 26(1), 191-199. doi:10.24106/kefdergi.375863
• Tan, Ş. (2020). Öğretimde ölçme ve değerlendirme. (14. Baskı). Pegem Akademi.
• Terzi, R. (2020). An adaptation of artificial ıntelligence anxiety scale into turkish: Reliability and validity study. International Online Journal of Education and Teaching, 7(4), 1501-1515. http://iojet.org/index.php/IOJET/article/view/1031
• Timms, M. J. (2016). Letting artificial intelligence in education out of the box: Educational cobots and smart classrooms. Int J Artif Intell Educ 26, 701–712. https://doi.org/10.1007/s40593-016-0095-y
• Wang, B., Rau, P. L. P. & Yuan, T. (2023). Measuring user competence in using artificial intelligence: validity and reliability of artificial intelligence literacy scale. Behaviour & information technology, 42(9), 1324-1337. https://doi.org/10.1080/0144929X.2022.2072768
• Wang, Y. Y. & Wang, Y. S. (2019). Development and validation of an artificial intelligence anxiety scale: an initial application in predicting motivated learning behavior, Interactive Learning Environments, DOI:10.1080/10494820.2019.1674887
• Wang, Y. Y. & Chuang, Y. W. (2024). Artificial ıntelligence self-efficacy: Scale development and validation. Education and Information Technologies, 29(4), 4785-4808. https://doi.org/10.1007/s10639-023-12015-w
• Xie, X. & Wang, T. (2024). Artificial intelligence: A help or threat to contemporary education. should students be forced to think and do their tasks independently?. Educ Inf Technol 29, 3097–3111. https://doi.org/10.1007/s10639-023-11947-7
• Yavuz Aksakal, N. & Ülgen, B. (2021). Artificial ıntelligence and jobs of the future. TRT Akademi, 6(13), 834-852. https://doi.org/10.37679/trta.969285
• Yıldırım, A. & Şimşek, H. (2021). Sosyal bilimlerde nitel araştırma yöntemleri (12. baskı). Pegem Akademi.
• Yılmaz, A., & Özgül, İ. (2023). An examination of scale development studies in the field of educational sciences within the scope of international standards. International Journal of Eurasian Education and Culture, 8(24), 2895-2920. http://dx.doi.org/10.35826/ijoecc.1810
• Yilmaz, F. G. K., Yilmaz, R., & Ceylan, M. (2023). Generative artificial ıntelligence acceptance scale: A validity and reliability study. International Journal of Human–Computer Interaction, 1-13. https://doi.org/10.1080/10447318.2023.2288730
• Yurdugül, H. (2005, 28–30 Eylül). Ölçek geliştirme çalışmalarında kapsam geçerliği için kapsam geçerlik indekslerinin kullanılması. XIV. Ulusal Eğitim Bilimleri Kongresi, Pamukkale Üniversitesi Eğitim Fakültesi, 1, 771-774. Denizli, Türkiye.
• Zawacki-Richter, O., Marín, V. I., Bond, M., & Gouverneur, F. (2019). Systematic review of research on artificial intelligence applications in higher education. International Journal of Educational Technology in Higher Education, 16(1), 39.