Adaptation of Artificial Intelligence Literacy Scale into Turkish

Year 2023, Volume: 5 Issue: 2, 172 - 190, 31.12.2023

Fatma Gizem Karaoğlan Yılmaz , Ramazan Yılmaz

https://doi.org/10.53694/bited.1376831

Cited By: 6

Abstract

The concept of artificial intelligence literacy has become more important today with the development of artificial intelligence technologies and its widespread use in every sector. It is seen that various measurement tools are used in the international literature to determine the status and level of artificial intelligence literacy of individuals. However, it has been observed that there is no measurement tool developed for this purpose in the national literature. This study aims to adapt the "Artificial Intelligence Literacy Scale" developed by Laupichler et al. (2023) to Turkish culture and to carry out validity and reliability analyses of the scale. The scale consists of three dimensions 'technical understanding', 'critical appraisal', 'practical application', and 31 items. The scale adaptation study was carried out with the data obtained from 653 young people and adults with high school and higher education levels. Based on the results of confirmatory factor analysis, it is shown that the structure of the Artificial Intelligence Literacy Scale with three factors and 31 items is compatible with the real data. In addition, it was concluded that the reliability and item discrimination of the scale were high. Cronbach's α coefficients calculated for the Turkish version of the scale ranged between .97 and .98 for different sub-factors and .99 for the overall scale. In light of these findings, it is concluded that this measurement tool the Artificial Intelligence Literacy Scale is a valid and reliable option for assessing individuals' AI literacy levels. This study is thought to make an important contribution to the assessment of artificial intelligence literacy in Turkey, and this adaptation study aims better to understand the literacy levels of individuals on artificial intelligence and to provide a basis for future research.

Keywords

Artificial intelligence, Artificial intelligence literacy, Generative artificial intelligence, GPT, Scale development

Yapay Zekâ Okuryazarlığı Ölçeğinin Türkçeye Uyarlanması

Abstract

Yapay zekâ okuryazarlığı kavramı günümüzde yapay zekâ teknolojilerinin gelişmesine ve her sektörde kullanımının yaygınlaşmasıyla birlikte daha da önemli hale gelmiştir. Bireylerin yapay zekâ okuryazarlığı durum ve düzeylerini belirlemek için uluslararası literatürde çeşitli ölçme araçlarının kullanıldığı görülmektedir. Ancak ulusal literatürde bu amaçla geliştirilmiş bir ölçme aracının olmadığı görülmüştür. Bu araştırma, Laupichler ve arkadaşları (2023) tarafından geliştirilen "Yapay Zekâ Okuryazarlığı Ölçeği"nin Türk kültürüne uyarlaması, ölçeğin geçerlilik ve güvenilirlik analizlerinin gerçekleştirilmesi amaçlanmıştır. Ölçek, ‘teknik anlama (technical understanding)’, ‘eleştirel değerlendirme (critical appraisal)’, ‘pratik uygulama (practical application)’ olmak üzere üç boyuttan ve 31 maddeden oluşmaktadır. Ölçek uyarlama çalışması lise ve üstü eğitim düzeyine sahip 653 genç ve yetişkinden elde edilen veriler ile gerçekleştirilmiştir. Yapay Zekâ Okuryazarlığı Ölçeği'nin üç faktör ve 31 madde içeren yapısının, doğrulayıcı faktör analizi sonuçlarına dayanarak, gerçek verilerle uyumlu olduğunu göstermektedir. Ayrıca, ölçeğin güvenilirliği ve madde ayırt ediciliği yüksek olduğu sonucuna varılmıştır. Ölçeğin Türkçe versiyonu için hesaplanan Cronbach α katsayıları, farklı alt faktörler için .97 ile .98 arasında değişmekte olup, ölçeğin geneli için .99 olarak hesaplanmıştır. Bu bulgular ışığında, Yapay Zekâ Okuryazarlığı Ölçeği'nin bu ölçüm aracının, bireylerin yapay zekâ okuryazarlık düzeylerini değerlendirmek için geçerli ve güvenilir bir seçenek olduğunu göstermektedir. Bu çalışma ile, Türkiye’de yapay zekâ okuryazarlığının değerlendirilmesine önemli bir katkı sağlayacağı düşünülmekte olup, bu uyarlama çalışması ile bireylerin yapay zekâ konusundaki okuryazarlık seviyelerinin daha iyi anlaşılması ve gelecekteki araştırmalara temel oluşturulması hedeflenmektedir.

Keywords

Yapay zekâ, Yapay zekâ okuryazarlığı, Üretken yapay zekâ, GPT, Ölçek geliştirme

References

• Anderson, J. C., & Gerbing D. W. (1984). The effect of sampling error on convergence, improper solutions, and goodness of fit indices for maximum likelihood confirmatory factor analysis. Psychometrika, 49, 155-173.
• Brown, T. A. (2006). Confirmatory factor analysis for applied research. New York: Guilford Press Brown.
• Budhwar, P., Chowdhury, S., Wood, G., Aguinis, H., Bamber, G. J., Beltran, J. R., ... & Varma, A. (2023). Human resource management in the age of generative artificial intelligence: Perspectives and research directions on ChatGPT. Human Resource Management Journal, 33(3), 606-659.
• Büyüköztürk, Ş. (2010). Sosyal bilimler için veri analizi el kitabı [The data analysis handbook for social sciences]. Ankara: Pegem Akademi Yayınları.
• Cole, D. A. (1987). Utility of confirmatory factor analysis in test validation research. Journal of Consulting and Clinical Psychology, 55, 1019-1031.
• Comrey, A. L., & Lee, H. B. (1992). A first course in factor analysis. Hillsdale, NJ: Erlbaum.
• Copeland, B. J., & Proudfoot, D. (2007). Artificial intelligence: History, foundations, and philosophical issues. In Philosophy of Psychology and Cognitive Science (pp. 429-482). North-Holland.
• Dartnall, T. (Ed.). (1994). Artificial intelligence and creativity: An interdisciplinary approach (Vol. 17). Springer Science & Business Media.
• Deng, J., & Lin, Y. (2022). The benefits and challenges of ChatGPT: An overview. Frontiers in Computing and Intelligent Systems, 2(2), 81-83.
• Erkuş, A. (2012). Psikolojide ölçme ve ölçek geliştirme [Measurement and scale development in psychology]. Ankara: Pegem Akademi Yayınları
• Flasiński, M. (2016). Introduction to artificial intelligence. Springer.
• Fraenkel, J.R., Wallen, N.E., Hyun, H.H. (2012). How to design and evaluate research in education. 8th ed. New York, NY: McGraw–Hill.
• Hornberger, M., Bewersdorff, A., & Nerdel, C. (2023). What do university students know about Artificial Intelligence? Development and validation of an AI literacy test. Computers and Education: Artificial Intelligence, 5, 100165.
• Haenlein, M., & Kaplan, A. (2019). A brief history of artificial intelligence: On the past, present, and future of artificial intelligence. California Management Review, 61(4), 5-14.
• Hu, L. T., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structural analysis: conventional criteria versus new alternatives. Structural Equation Modeling, 6(1), 1-55.
• Kass, R. A., & Tinsley, H. E. A. (1979). Factor analysis. Journal of Leisure Research, 11, 120-138. Kline, T. (2005). Psychological testing: a practical approach to design and evaluation. Sage Publications, California.
• Kong, S. C., Cheung, W. M. Y., & Zhang, G. (2022). Evaluating artificial intelligence literacy courses for fostering conceptual learning, literacy and empowerment in university students: Refocusing to conceptual building. Computers in Human Behavior Reports, 7, 100223.
• Kong, S. C., Cheung, W. M. Y., & Zhang, G. (2023). Evaluating an artificial intelligence literacy programme for developing university students’ conceptual understanding, literacy, empowerment and ethical awareness. Educational Technology & Society, 26(1), 16-30.
• Laupichler, M. C., Aster, A., Schirch, J., & Raupach, T. (2022). Artificial intelligence literacy in higher and adult education: A scoping literature review. Computers and Education: Artificial Intelligence, 100101.
• Laupichler, M. C., Aster, A., Haverkamp, N., & Raupach, T. (2023). Development of the “scale for the assessment of non-experts’ AI literacy”–An exploratory factor analysis. Computers in Human Behavior Reports, 12, 100338.
• Lund, B. D., & Wang, T. (2023). Chatting about ChatGPT: how may AI and GPT impact academia and libraries?. Library Hi Tech News, 40(3), 26-29.
• Maruyama, G. M. (1998). Basics of structural equation modeling (First Edition). CA: Sage Publications, Inc.
• Marsh, H. W., Balla, J. R., & McDonald, R. P. (1988). Goodness of fit indexes in confirmatory factor analysis: The effect of sample size. Psychological Bulletin, 103, 391-410.
• Mertala, P., Fagerlund, J., & Calderon, O. (2022). Finnish 5th and 6th grade students' pre-instructional conceptions of artificial intelligence (AI) and their implications for AI literacy education. Computers and Education: Artificial Intelligence, 3, 100095.
• Muggleton, S. (2014). Alan Turing and the development of Artificial Intelligence. AI Communications, 27(1), 3-10.
• Nunnally, J. C. (1978). Psychometric theory (2nd ed.). New York: McGraw-Hill.
• Su, J., Ng, D. T. K., & Chu, S. K. W. (2023). Artificial intelligence (AI) literacy in early childhood education: The challenges and opportunities. Computers and Education: Artificial Intelligence, 4, 100124.
• Sümer, N. (2000). Yapısal eşitlik modelleri: Temel kavramlar ve örnek uygulamalar. Türk Psikoloji Yazıları, 3(6), 4974.
• Şimşek, Ö. F. (2007). Yapısal eşitlik modellemesine giriş, temel ilkeler ve LISREL uygulamaları. Ankara: Ekinoks Yayıncılık.
• Tabachnick, B. G., & Fidell, L. S. (2001). Using multivariate statistics (4th ed.). Needham Heights, MA: Allyn & Bacon.
• Turing, A. M. (2009). Computing machinery and intelligence (pp. 23-65). Springer Netherlands.
• Wang, B., Rau, P. L. P., & Yuan, T. (2023). Measuring user competence in using artificial intelligence: validity and reliability of artificial intelligence literacy scale. Behaviour & Information Technology, 42(9), 1324-1337.
• Yakovenko, Y. Y., Bilyk, M. Y., & Oliinyk, Y. V. (2022, October). The Transformative Impact of the Development of Artificial Intelligence on Employment and Work Motivation in Business in the Conditions of the Information Economy. In 2022 IEEE 4th International Conference on Modern Electrical and Energy System (MEES) (pp. 01-06). IEEE.
• Yilmaz, R., & Karaoglan Yilmaz, F. G. (2023a). Augmented intelligence in programming learning: Examining student views on the use of ChatGPT for programming learning. Computers in Human Behavior: Artificial Humans, 1(2), 100005.
• Yilmaz, R., & Karaoglan Yilmaz, F. G. (2023b). The effect of generative artificial intelligence (AI)-based tool use on students' computational thinking skills, programming self-efficacy and motivation. Computers and Education: Artificial Intelligence, 100147.