Journal of Uludag University Faculty of Education 2667-6788 Bursa Uludağ University 10.19171/uefad.1565847 Instructional Technologies Öğretim Teknolojileri Determining the Role of Artificial Intelligence-Supported Applications in Reliability of Measurement Activities: Awareness and Precautions Ölçme Faaliyetlerinin Güvenirliğine Yönelik Yapay Zeka Destekli Uygulamaların Rolünün Belirlenmesi: Farkındalıklar ve Önlemler https://orcid.org/0000-0002-1687-3231 Kılıç Servet ORDU ÜNİVERSİTESİ 08 26 2025 38 2 312 330 10 12 2024 01 26 2025 Copyright © 1986, Journal of Uludag University Faculty of Education 1986 Journal of Uludag University Faculty of Education

This study aims to explore the role of artificial intelligence (AI)-supported applications in enhancing the reliability of online or face-to-face measurement activities. Using a case study design, a qualitative research method, the study gathered the opinions of 48 educators from various disciplines in schools affiliated with the Ministry of National Education and Higher Education. Data were collected using a semi-structured interview form consisting of four open-ended questions. The data were analyzed with the content analysis method and the Cohen’s kappa reliability coefficient was determined as k = .78, p < .05. The results revealed that nearly half of the educators were aware of AI-supported applications (such as ChatGPT, Bing, Copilot, etc.) and that some students used these applications to answer questions or prepare homework during the measurement process. In this context, the study identified various precautions that can be implemented to increase the reliability of online or face-to-face measurement activities. These precautions included conducting exams in person whenever possible, using interpretative questions, limiting exam durations, and focusing on practical exams. Additionally, educators can take steps such as recording screens during exams, capturing live images with cameras, and monitoring opened tabs to reduce the impact of AI-supported tools. The current study further discusses the influence of these measurement methods and precautions on increasing the reliability of measurement results.

Bu çalışmanın amacı, çevrimiçi veya yüz yüze yapılan ölçme faaliyetlerinin güvenirliğine yönelik yapay zeka (YZ) destekli uygulamaların rolünün belirlenmesidir. Nitel araştırma yöntemleri arasında yer alan durum çalışması deseni kullanılan çalışma kapsamında, Yükseköğretim’e ve Milli Eğitim Bakanlığı’na bağlı okullarda farklı branşlarda görev yapan 48 eğitimcinin görüşleri alınmıştır. Veri toplama aracı olarak açık uçlu dört sorudan oluşan yarı yapılandırılmış görüşme formu kullanılmıştır. Veriler içerik analizi yöntemiyle analiz edilmiş ve Cohen’s kappa güvenirlik katsayısı k = .78, p < .05 olarak belirlenmiştir. Çalışma sonuçlarına göre, eğitimcilerin neredeyse yarısının YZ destekli uygulamaların (ChatGPT, Bing, Copilot vb.) farkında olduğu ve ölçme sürecinde bazı öğrencilerin soruları cevaplamak veya ödevleri hazırlamak amacıyla bu uygulamalardan yararlandığı ortaya konulmuştur. Bu kapsamda çevrimiçi veya yüze yüze yapılan ölçme faaliyetlerinin güvenirliğini artırmaya yönelik eğitimciye ve yazılıma bağlı olarak alınabilecek önlemler belirtilmiştir. Sınavların olabildiğince yüz yüze gerçekleştirilmesi, yoruma dayalı soruların kullanılması, sınav süresinin kısıtlanması ve uygulamaya dayalı sınavların yapılması eğitimcinin alabileceği önlemler arasındadır. Sınav esnasında ekran kaydının tutulması, kamera ile canlı görüntünün alınması ve açılan sekmelerin kontrol edilmesi yazılıma bağlı olarak alınabilecek önlemler arasındadır. Eğitimcilerin benimsedikleri ölçme yöntemlerinin ve belirttikleri önlemlerin ölçme sonuçlarının güvenirliğini artırmaya yönelik etkileri tartışılmıştır.

 Artificial intelligence Measurement reliability ChatGPT Yapay zeka Ölçme güvenirliği ChatGPT Aşık, F., Yıldız, A., Kılınç, S., Aytekin, N., Adalı, R. & Kurnaz, K. (2023). The impact of artificial intelligence on education. International Journal of Social and Humanities Sciences Research (JSHSR), 10(98), 2100–2107. https://doi.org/10.5281/zenodo.8307107 Baran, H. (2020). Açık ve uzaktan eğitimde ölçme ve değerlendirme. [Measurement and evaluation in open and distance education]. Açıköğretim Uygulamaları ve Araştırmaları Dergisi (AUAd), 6(1), 28-40. https://dergipark.org.tr/en/pub/auad/issue/55639/761239 Bordt, S., & Luxburg, V. U. (2023). ChatGPT participates in a computer science exam. ArXiv preprint arXiv:2303.09461. https://doi.org/10.48550/arXiv.2303.09461 Borich, G. D. (2013). Effective teaching methods (8th ed.). Merrill. Choi, J. H., Hickman, K. E., Monahan, A. B., & Schwarcz, D. (2021). ChatGPT goes to law school. J. Legal Educ., 71, 387. Chassignol, M., Khoroshavin, A., Klimova, A., & Bilyatdinova, A. (2018). Artificial intelligence trends in education: A narrative overview. Procedia Computer Science, 136, 16-24. https://doi.org/10.1016/j.procs.2018.08.233 Chen, C. M., Wang, J. Y., & Hsu, L. C. (2021). An interactive test dashboard with diagnosis and feedback mechanisms to facilitate learning performance. Computers and Education: Artificial Intelligence, 2, 100015-100024. https://doi.org/10.1016/j.caeai.2021.100015 Creswell, J. W., & Poth, C. N. (2016). Qualitative inquiry and research design: Choosing among five approaches. Sage publications. Çam, M. B., Çelik, N. C., Güntepe, E. T., & Durukan, Ü. G. (2021). Öğretmen adaylarının yapay zekâ teknolojileri ile ilgili farkındalıklarının belirlenmesi. [Determining teacher candidates’ awareness of artificial intelligence technologies]. Mustafa Kemal University Journal of Social Sciences Institute, 18(48), 263-285. https://dergipark.org.tr/en/download/article-file/1764677 Göksel, Ş., & Adıgüzel, A. (2024). Hibrit öğrenme modeli üzerine bir meta sentez çalışması: Uluslararası örnekler. [A meta-synthesis study on hybrid learning model: International examples]. Milli Eğitim Dergisi, 53(243), 1655-1698. https://doi.org/10.37669/milliegitim.1252931 Göktaş, L. S. (2023). ChatGPT uzaktan eğitim sınavlarında başarılı olabilir mi? Turizm alanında doğruluk ve doğrulama üzerine bir araştırma. [Can ChatGPT succeed in distance education exams? A research on accuracy and verification in tourism]. Journal of Tourism & Gastronomy Studies, 11(2), 892-905. https://doi. org/10.21325/jotags.2023.1224 Hillier, M. (2014). The very idea of e-Exams: Student (pre) conceptions. In B. Hegarty, J. McDonald, & S.-K. Lok (Eds.), Rhetoric and Reality: Critical perspectives on educational technology. Proceedings of the Australasian Society for Computers in Learning in Tertiary Education (pp. 77-88). Ascilite. https://ascilite.org/conferences/dunedin2014/files/fullpapers/91-Hillier.pdf Jung, I. S. (2005). Quality assurance survey of mega universities. Perspectives on Distance Education: Lifelong learning and distance higher education (Ed: C. McIntosh). Vancouver, BC: Commonwealth of Learning & Paris: UNESCO, pp. 79-96. http://oasis.col.org/bitstream/handle/11599/70/PSeries_LLLDHE.pdf?sequence=1#page=89 Kasneci, E., Seßler, K., Küchemann, S., Bannert, M., Dementieva, D., Fischer, F., ... & Kasneci, G. (2023). ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences, 103, 102274. https://doi.org/10.1016/j.lindif.2023.102274 Kılıç, (2021). Uzaktan eğitimde yapılan ölçme faaliyetlerine yönelik kaygılar ve çözüm önerileri: Ordu Üniversitesi örneği. ERPA International Congresses on Education. (P. 553-558). Sakarya, Türkiye. King, C. G., Guyette Jr, R. W., & Piotrowski, C. (2009). Online exams and cheating: An empirical analysis of business students' views. Journal of Educators Online, 6(1), n1. https://files.eric.ed.gov/fulltext/EJ904058.pdf Koçak, A., & Arun, Ö. (2006). İçerik analizi çalışmalarında örneklem sorunu. [The sampling problem in content analysis studies]. Journal of Selcuk Communication, 4(3), 21-28. https://dergipark.org.tr/en/download/article-file/177956 Kolomuç, A., & Çelik, S. A. (2021). Covid-19 döneminde yapılan online sınavlarda test bitirme süresi ile test başarısı arasındaki ilişkinin incelenmesi. [Investigation of the relationship between test completion time and test success in online exams during the covid-19 period]. Journal of Academic Social Science Studies, 14(88),1-12. https://doi.org/10.29228/JASSS.53941 Kong, S. C., Cheung, W. M. Y., & Zhang, G. (2021). Evaluation of an artificial intelligence literacy course for university students with diverse study backgrounds. Computers and Education: Artificial Intelligence, 2, 100026. https://doi.org/10.1016/j.caeai.2021.100026 Kumaş, A. (2023). Fen bilimleri derslerinde hibrit eğitim kapsamında aktif öğrenme aracı olarak teknolojinin kullanımı. [The use of technology as an active learning tool in the scope of hybrid education in science courses]. Trakya Journal of Education, 13(2), 943-961. https://doi.org/10.24315/tred.1100907 Mathew, A. T., & Mani, P. (2023). Strength of Deep learning-based solutions to secure healthcare IoT: A critical review. The Open Biomedical Engineering Journal, 17(1). https://doi.org/10.2174/18741207-v17-e230505-2022-HT28-4371-2 MoNE (2021). Açık öğretim kurumları 2020-2021 eğitim öğretim yılı 2. dönem online (çevrim içi) sınavları duyurusu. Date of Access: 1.11.2024. http://aol.meb.gov.tr/meb_iys_dosyalar/2021_03/19151858_AOYK_2020-2021_EgYitim-OYgYretim_YYlY_2._DoYnem_OnlineCYevrim_IYcYi_SYnavlarY_Duyurusu_.pdf Ng, D. T. K., Leung, J. K. L., Chu, S. K. W., & Qiao, M. S. (2021). Conceptualizing AI literacy: An exploratory review. Computers and Education: Artificial Intelligence, 2, 100041-100051. https://doi.org/10.1016/j.caeai.2021.100041 OpenAI, (2023). Introducing ChatGPT. Date of Access: 1.11.2024. https://openai.com/blog/chatgpt. Patton, E., & Appelbaum, S. H. (2003). The case for case studies in management research. Management Research News, 26(5), 60-71. https://doi.org/10.1108/01409170310783484 Pekmez, S., Çoban, T. C., Kılıç, M., & Duman, Y. M. (2024). Eğitimde yapay zeka teknolojilerinin kullanımına yönelik öğretmen görüşleri. [Teachers' views on the use of artificial intelligence technologies in education]. Ulusal Eğitim Dergisi, 4(2), 601-619. Popenici, S. A., & Kerr, S. (2017). Exploring the impact of artificial intelligence on teaching and learning in higher education. Research and Practice in Technology Enhanced Learning, 12(1), 22. https://link.springer.com/article/10.1186/s41039-017-0062-8 Rahman, M. M., & Watanobe, Y. (2023). ChatGPT for education and research: Opportunities, threats, and strategies. Applied Sciences, 13(9), 5783. https://doi.org/10.3390/app13095783 Selçuk, Z., Palancı, M., Kandemir, M., & Dündar, H. (2014). Eğitim ve bilim dergisinde yayınlanan araştırmaların eğilimleri: İçerik analizi. [Tendencies of the researches published in education and science journal: content analysis]. Education and Science, 39(173), 430-453.