Artificial Intelligence Scale: Validity and reliability study

Year 2024, Volume: 6 Issue: 1, 13 - 27, 05.07.2024

Mesut Süleymanoğulları , Adem Özdemir , Aslıhan Tekin

Abstract

The aim of this study is to develop a valid and reliable measurement tool to determine the knowledge, awareness, attitude and anxiety levels of individuals about artificial intelligence. In the development phase of the artificial intelligence scale, firstly, a question pool of 40 items was created and content validity was ensured by taking expert opinion. In the next stage, an explanatory note was added stating the purpose for which this trial form were applied to 176 volunteer participants. In line with the data obtained, firstly Exploratory Factor Analysis (EFA) was performed and the construct validity of the scale was tested. In order to test the construct validity of the items, Confirmatory Factor Analysis (CFA) was applied. After EFA , a structure with 3 factors (interaction, diffuse effect, anxiety) and 25 items was obtained. As a result of EFA, these three factors accounted for 60.074% of the variance explained. As a result of CFA, it was seen that the goodness of fit coefficients were between acceptable limits (χ2/df, RMSEA, GFI, AGFI, NFI, CFI, IFI). For the entire 25-item niahi scale, Cronbach Alpha coefficient, which is an indicator of internal consistency, was found as ,869. As a result of the analyses, it was seen that the artificial intelligence scale has a valid and reliable structure. In this sense, it is thought that this scale will be an effective data collection tool related to the concept of artificial intelligence.

Keywords

Deep learning, machine learning, neural networks, autonomous systems, scale development.

Yapay Zekâ Ölçeği: Geçerlik ve güvenirlik çalışması

Abstract

Bu çalışmanın amacı bireylerin yapay zekâ bilgi, farkındalık, tutum ve kaygı düzeylerini belirlemek amacıyla geçerli ve güvenilir bir ölçme aracı geliştirmektir. Yapay zekâ ölçeğinin geliştirilmesi aşamasında öncelikle 40 maddelik bir soru havuzu oluşturulmuş ve uzman görüşü alınarak kapsam geçerliği sağlanmıştır. Sonraki aşamada bu deneme formunun hangi amaç doğrultusunda kullanılacağını belirten bir açıklama notu içeren anketler 176 gönüllü katılımcıya uygulanmıştır. Elde edilen veriler doğrultusunda ilk olarak Açımlayıcı Faktör Analizi (AFA) yapılmış ve ölçeğin yapı geçerliği test edilmiştir. Maddelerin yapı geçerliğini test etmek amacıyla da Doğrulayıcı Faktör Analizi (DFA) uygulanmıştır. AFA sonrasında etkileşim, yaygın etki, kaygı olmak üzere toplamda 3 faktörlü ve 25 maddelik bir yapı elde edilmiştir. AFA analizleri sonucunda bu üç faktörün açıklanan varyansın %60,074’lük kısmını karşıladığı görülmüştür. DFA analizleri sonucunda ise uyum iyiliği katsayılarının kabul edilebilir sınırlar (χ2/df, RMSEA, GFI, AGFI, NFI, CFI, IFI) arasında olduğu görülmüştür. 25 maddelik nihai ölçeğin tamamı için iç tutarlık göstergesi olan Cronbach Alpha katsayısı ,869 olarak tespit edilmiştir. Analizler sonucunda yapay zekâ ölçeğinin geçerli ve güvenilir bir yapıda olduğu görülmüştür. Bu anlamda geliştirilen bu ölçeğin yapay zekâ kavramıyla ilgili etkili bir veri toplama aracı olacağı düşünülmektedir.

Keywords

Derin öğrenme, makine öğrenimi, nöral ağlar, otonom sistemler, ölçek geliştirme.

References

• Acar, O. (2020). Yapay zekâ fırsat mı yoksa tehdit mi. Kriter Yayınevi.
• Akkaya, B., Özkan, A., & Özkan, H. (2021). Yapay zekâ kaygı (YZK) ölçeği: Türkçeye uyarlama, geçerlik ve güvenirlik çalışması. Alanya Akademik Bakış, 5(2), 1125-1146. https://doi.org/10.29023/alanyaakademik.833668
• Aksu, G., Eser, M. T., & Güzeller, C. O. (2017). Açımlayıcı ve doğrulayıcı faktör analizi ile yapısal eşitlik modeli uygulamaları. Detay Yayıncılık.
• Astar, M., & Güriş, S. (2015). SPSS ile istatistik. Der Yayınları.
• Brown, T. A. (2015). Confirmatory factor analysis for applied research. Guilford publications.
• Cohen, H. (1995). The further exploits of AARON, painter. Stanford Humanities Review, 4(2), 141-158.
• Cohen, R. J. & Swerdlik, M.E. (2013). Psikolojik test ve değerleme. Testlere ve ölçmeye giriş. (E. Tavşancıl, Çev. Ed.). Nobel Akademik Yayıncılık.
• Cole, D. A. (1987). Utility of confirmatory factor analysis in test validation research. Journal of consulting and clinical psychology, 55(4), 584. https://doi.org/10.1037/0022-006X.55.4.584
• Comrey, A. L., & Lee, H. B. (2013). A first course in factor analysis. Psychology press.
• Çokluk, Ö., Şekercioğlu, G., & Büyüköztürk, Ş. (2012). Sosyal bilimler için çok değişkenli istatistik: SPSS ve LISREL uygulamaları (C. 2). Pegem Akademi.
• DeCoste, D. (1997). The Future of Chess-Playing Technologies and the Significance of Kasparov versus Deep Blue. AAAI Technical Report WS-97-04. http://www-aig. jpl.nasa.gov/home/decoste
• Dick, S. (2019). Artificial intelligence. Harvard Data Science Review, 1(1). https://doi.org/10.1162/99608f92.92fe150c
• Erkorkmaz, Ü., Etikan, İ., Demir, O., Özdamar, K., & Sanisoğlu, S. Y. (2013). Doğrulayıcı faktör analizi ve uyum indeksleri. Turkiye Klinikleri Journal of Medical Sciences, 33(1), 210-223. https://doi: 10.5336/medsci.2011-26747
• Ferikoğlu, D., & Akgün, E. (2022). An investigation of teachers’ artificial ıntelligence awareness: a scale development study. Malaysian Online Journal of Educational Technology, 10(3), 215-231.
• Field, A. P. (2005). Discovering statistics using SPSS:(and sex, drugs and rock’n’roll). Sage
• Garcia, C. (2015). Algorithmic Music–David Cope and EMI. Computer History Museum, 29.
• George, D., & Mallery, P. (2010). In GEN (Ed.), SPSS for Windows step by step. A simple study guide and reference. MA: Pearson Education, Inc.
• Gerlich, M. (2023). The power of virtual influencers: Impact on consumer behaviour and attitudes in the age of AI. Administrative Sciences, 13(8), 178. https://doi.org/10.3390/admsci13080178
• Haefner, N., & Gassmann, O. (2023). Generative AI and AI-based business model innovation. Journal of Business Models, 11(3), 46-50.
• Hair, J.F., Black, W.C., Babin, B.J., & Anderson, R.E. (2014). Multivariate data analysis. Pearson Education, Inc.
• Hooper, D., & Coughlan, J. (2008). i Mullen, MR (2008). Structural equation modelling: Guidelines for determining model fit. Electronic Journal of Business Research Methods, 6(1), 53-60.
• Hu, L., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1-55. https://doi.org/10.1080/10705519909540118
• Kaplan, A., & Haenlein, M. (2019). Siri, Siri, in my hand: Who’s the fairest in the land? On the interpretations, illustrations, and implications of artificial intelligence. Business Horizons, 62(1), 15-25.
• Karaca, O., Çalışkan, S. A., & Demir, K. (2021). Medical artificial intelligence readiness scale for medical students (MAIRS-MS)–development, validity and reliability study. BMC Medical Education, 21, 1-9.
• Karagöz, Y. (2016). SPSS 23 ve AMOS 23 uygulamalı istatistiksel analizler. Nobel Akademik Yayıncılık.
• Karahan, N. (2017). Genital hijyen davranışları ölçeğinin geliştirilmesi: geçerlik güvenirlik çalışması. İstanbul Medical Journal, 18(3).
• Karakoç, A. G. D. F. Y., & Dönmez, L. (2014). Ölçek geliştirme çalışmalarında temel ilkeler. Tıp Eğitimi Dünyası, 13(40), 39-49. https://doi.org/10.25282/ted.228738
• Karakuş, S., & Akbay, S. E. (2020). Psikolojik esneklik ölçeği: Uyarlama, geçerlik ve güvenirlik çalışması. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 16(1), 32-43. https://doi.org/10.17860/mersinefd.665406
• Karasar, N. (2009). Bilimsel arastirma yontemi: Kavramlar-ilkeler-teknikler. Nobel Yayın Dağıtım.
• Kline, P. (2014). An easy guide to factor analysis. Routledge.
• Kolcu, G., Özceylan, G., Başer, A., & Altuntaş, S. B. (2021). Yapay zekâ kaygısı ölçeğinin aile hekimlerinde geçerlik ve güvenirliğinin değerlendirilmesi. Research Journal of Biomedical and Biotechnology, 2(1), 20-28.
• Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(1), 563–575.
• Lei, H., Le, P. B., & Nguyen, H. T. H. (2017). How collaborative culture supports for competitive advantage: the mediating role of organizational learning. International Journal of Business Administration, 8(2), 73-85.
• Marsh, H. W., Hau, K.-T., Artelt, C., Baumert, J., & Peschar, J. L. (2006). OECD’s brief self-report measure of educational psychology’s most useful affective constructs: Cross-cultural, psychometric comparisons across 25 countries. International Journal of Testing, 6(4), 311-360. https://doi.org/10.1207/s15327574ijt0604_1
• Özkan, O. S., & Üzüm, B. (2021). Sorumlu liderlik: bir ölçek uyarlama çalışması. Journal of Management and Economics Research, 19(4), 199-212. https://doi.org/10.11611/yead.1020593
• Pallant, J. (2020). SPSS survival manual: A step by step guide to data analysis using IBM SPSS. McGraw-hill education (UK).
• Park, W., Kim, S., Kim, K. L., & Kim, J. (2019). Alphago’s decision making. Journal of Applied Logics—IFCoLog Journal of Logics and their Applications, 6(1).
• Petridou, A. (2020). Ai-Da: The World’s First Humanoid AI Artist. Will AI Become Art’s Next Medium? (Publication No. 2202180010) [Doctoral dissertation,International Hellenic University. International Hellenic University Repository. https://repository.ihu.edu.gr//xmlui/handle/11544/29624
• Polat, M. (2022). Derslerde akilli telefon siber aylakliği ölçeği (DATSAÖ): Üniversite öğrencileri için bir ölçek uyarlama çalişmasi. Social Sciences Studies Journal (SSSJournal), 4(21), 3114-3127. https://doi: 10.26449/sssj.733
• Rezaei, H., Saeed, A. F. M., Abdi, K., Ebadi, A., Ghanei Gheshlagh, R., & Kurdi, A. (2020). Translation and validation of the farsi version of the pain management self-efficacy questionnaire. Journal of Pain Research, 13, 719–727. https://doi.org/10.2147/JPR.S246077
• Roberts, J. K., & Henson, R. K. (2001). A confirmatory factor analysis of a new measure of teacher efficacy, Ohio State Teacher Efficacy Scale.
• Rodway, P., & Schepman, A. (2023). The impact of adopting AI educational technologies on projected course satisfaction in university students. Computers and Education: Artificial Intelligence, 5, 1-12 https://doi.org/10.1016/j.caeai.2023.100150
• Shrestha, N. (2021). Factor analysis as a tool for survey analysis. American Journal of Applied Mathematics and Statistics, 9(1), 4-11.
• Seçer, İ. (2013). SPSS ve LISREL ile pratik veri analizi: Analiz ve raporlaştırma. Anı Yayıncılık
• Sümer, N. (2000). Yapısal eşitlik modelleri: temel kavramlar ve örnek uygulamalar. Türk Psikoloji Yazıları.
• Tabachnic, B., & Fidell, L. S. (2000). Using multivariate statistics. Allyn and Bacon.
• Tabachnick, B. G., & Fidell, L. S. (2019). Using Multivariate statistics title: Using multivariate statistics. https://lccn.loc.gov/2017040173
• Terzi, R. (2020). An Adaptation of Artificial Intelligence Anxiety Scale into Turkish: Reliability and Validity Study. International Online Journal of Education and Teaching, 7(4), 1501-1515. http://iojet.org/index.php/IOJET/article/view/1031
• Toker, T., Akgün, E., Cömert, Z., & Sultan, E. (2021). Eğitimciler için dijital yeterlilik ölçeği: Uyarlama, geçerlik ve güvenirlik çalışması. Milli Eğitim Dergisi, 50(230), 301-328. https://doi.org/10.37669/milliegitim.801607
• Turing, A. M. (1950). Computing machinery and intelligence. Mind, LIX (236), 433–460. https://doi.org/10.1093/mind/LIX.236.433
• Worthington, R. L., & Whittaker, T. A. (2006). Scale development research: A content analysis and recommendations for best practices. The Counseling Psychologist, 34(6), 806-838.