Determining the Role of Artificial Intelligence-Supported Applications in Reliability of Measurement Activities: Awareness and Precautions

Öz

This study aims to explore the role of artificial intelligence (AI)-supported applications in enhancing the reliability of online or face-to-face measurement activities. Using a case study design, a qualitative research method, the study gathered the opinions of 48 educators from various disciplines in schools affiliated with the Ministry of National Education and Higher Education. Data were collected using a semi-structured interview form consisting of four open-ended questions. The data were analyzed with the content analysis method and the Cohen’s kappa reliability coefficient was determined as k = .78, p < .05. The results revealed that nearly half of the educators were aware of AI-supported applications (such as ChatGPT, Bing, Copilot, etc.) and that some students used these applications to answer questions or prepare homework during the measurement process. In this context, the study identified various precautions that can be implemented to increase the reliability of online or face-to-face measurement activities. These precautions included conducting exams in person whenever possible, using interpretative questions, limiting exam durations, and focusing on practical exams. Additionally, educators can take steps such as recording screens during exams, capturing live images with cameras, and monitoring opened tabs to reduce the impact of AI-supported tools. The current study further discusses the influence of these measurement methods and precautions on increasing the reliability of measurement results.

Anahtar Kelimeler

• Artificial intelligence
• Measurement reliability
• ChatGPT

Ölçme Faaliyetlerinin Güvenirliğine Yönelik Yapay Zeka Destekli Uygulamaların Rolünün Belirlenmesi: Farkındalıklar ve Önlemler

Öz

Bu çalışmanın amacı, çevrimiçi veya yüz yüze yapılan ölçme faaliyetlerinin güvenirliğine yönelik yapay zeka (YZ) destekli uygulamaların rolünün belirlenmesidir. Nitel araştırma yöntemleri arasında yer alan durum çalışması deseni kullanılan çalışma kapsamında, Yükseköğretim’e ve Milli Eğitim Bakanlığı’na bağlı okullarda farklı branşlarda görev yapan 48 eğitimcinin görüşleri alınmıştır. Veri toplama aracı olarak açık uçlu dört sorudan oluşan yarı yapılandırılmış görüşme formu kullanılmıştır. Veriler içerik analizi yöntemiyle analiz edilmiş ve Cohen’s kappa güvenirlik katsayısı k = .78, p < .05 olarak belirlenmiştir. Çalışma sonuçlarına göre, eğitimcilerin neredeyse yarısının YZ destekli uygulamaların (ChatGPT, Bing, Copilot vb.) farkında olduğu ve ölçme sürecinde bazı öğrencilerin soruları cevaplamak veya ödevleri hazırlamak amacıyla bu uygulamalardan yararlandığı ortaya konulmuştur. Bu kapsamda çevrimiçi veya yüze yüze yapılan ölçme faaliyetlerinin güvenirliğini artırmaya yönelik eğitimciye ve yazılıma bağlı olarak alınabilecek önlemler belirtilmiştir. Sınavların olabildiğince yüz yüze gerçekleştirilmesi, yoruma dayalı soruların kullanılması, sınav süresinin kısıtlanması ve uygulamaya dayalı sınavların yapılması eğitimcinin alabileceği önlemler arasındadır. Sınav esnasında ekran kaydının tutulması, kamera ile canlı görüntünün alınması ve açılan sekmelerin kontrol edilmesi yazılıma bağlı olarak alınabilecek önlemler arasındadır. Eğitimcilerin benimsedikleri ölçme yöntemlerinin ve belirttikleri önlemlerin ölçme sonuçlarının güvenirliğini artırmaya yönelik etkileri tartışılmıştır.

Anahtar Kelimeler

• Yapay zeka
• Ölçme güvenirliği
• ChatGPT

Kaynakça

1. Aşık, F., Yıldız, A., Kılınç, S., Aytekin, N., Adalı, R. & Kurnaz, K. (2023). The impact of artificial intelligence on education. International Journal of Social and Humanities Sciences Research (JSHSR), 10(98), 2100–2107. https://doi.org/10.5281/zenodo.8307107
2. Baran, H. (2020). Açık ve uzaktan eğitimde ölçme ve değerlendirme. [Measurement and evaluation in open and distance education]. Açıköğretim Uygulamaları ve Araştırmaları Dergisi (AUAd), 6(1), 28-40. https://dergipark.org.tr/en/pub/auad/issue/55639/761239
3. Bordt, S., & Luxburg, V. U. (2023). ChatGPT participates in a computer science exam. ArXiv preprint arXiv:2303.09461. https://doi.org/10.48550/arXiv.2303.09461
4. Borich, G. D. (2013). Effective teaching methods (8th ed.). Merrill.
5. Choi, J. H., Hickman, K. E., Monahan, A. B., & Schwarcz, D. (2021). ChatGPT goes to law school. J. Legal Educ., 71, 387.
6. Chassignol, M., Khoroshavin, A., Klimova, A., & Bilyatdinova, A. (2018). Artificial intelligence trends in education: A narrative overview. Procedia Computer Science, 136, 16-24. https://doi.org/10.1016/j.procs.2018.08.233
7. Chen, C. M., Wang, J. Y., & Hsu, L. C. (2021). An interactive test dashboard with diagnosis and feedback mechanisms to facilitate learning performance. Computers and Education: Artificial Intelligence, 2, 100015-100024. https://doi.org/10.1016/j.caeai.2021.100015
8. Creswell, J. W., & Poth, C. N. (2016). Qualitative inquiry and research design: Choosing among five approaches. Sage publications.

9. Çam, M. B., Çelik, N. C., Güntepe, E. T., & Durukan, Ü. G. (2021). Öğretmen adaylarının yapay zekâ teknolojileri ile ilgili farkındalıklarının belirlenmesi. [Determining teacher candidates’ awareness of artificial intelligence technologies]. Mustafa Kemal University Journal of Social Sciences Institute, 18(48), 263-285. https://dergipark.org.tr/en/download/article-file/1764677
10. Göksel, Ş., & Adıgüzel, A. (2024). Hibrit öğrenme modeli üzerine bir meta sentez çalışması: Uluslararası örnekler. [A meta-synthesis study on hybrid learning model: International examples]. Milli Eğitim Dergisi, 53(243), 1655-1698. https://doi.org/10.37669/milliegitim.1252931
11. Göktaş, L. S. (2023). ChatGPT uzaktan eğitim sınavlarında başarılı olabilir mi? Turizm alanında doğruluk ve doğrulama üzerine bir araştırma. [Can ChatGPT succeed in distance education exams? A research on accuracy and verification in tourism]. Journal of Tourism & Gastronomy Studies, 11(2), 892-905. https://doi. org/10.21325/jotags.2023.1224
12. Hillier, M. (2014). The very idea of e-Exams: Student (pre) conceptions. In B. Hegarty, J. McDonald, & S.-K. Lok (Eds.), Rhetoric and Reality: Critical perspectives on educational technology. Proceedings of the Australasian Society for Computers in Learning in Tertiary Education (pp. 77-88). Ascilite. https://ascilite.org/conferences/dunedin2014/files/fullpapers/91-Hillier.pdf
13. Jung, I. S. (2005). Quality assurance survey of mega universities. Perspectives on Distance Education: Lifelong learning and distance higher education (Ed: C. McIntosh). Vancouver, BC: Commonwealth of Learning & Paris: UNESCO, pp. 79-96. http://oasis.col.org/bitstream/handle/11599/70/PSeries_LLLDHE.pdf?sequence=1#page=89
14. Kasneci, E., Seßler, K., Küchemann, S., Bannert, M., Dementieva, D., Fischer, F., ... & Kasneci, G. (2023). ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences, 103, 102274. https://doi.org/10.1016/j.lindif.2023.102274
15. Kılıç, (2021). Uzaktan eğitimde yapılan ölçme faaliyetlerine yönelik kaygılar ve çözüm önerileri: Ordu Üniversitesi örneği. ERPA International Congresses on Education. (P. 553-558). Sakarya, Türkiye.
16. King, C. G., Guyette Jr, R. W., & Piotrowski, C. (2009). Online exams and cheating: An empirical analysis of business students' views. Journal of Educators Online, 6(1), n1. https://files.eric.ed.gov/fulltext/EJ904058.pdf
17. Koçak, A., & Arun, Ö. (2006). İçerik analizi çalışmalarında örneklem sorunu. [The sampling problem in content analysis studies]. Journal of Selcuk Communication, 4(3), 21-28. https://dergipark.org.tr/en/download/article-file/177956
18. Kolomuç, A., & Çelik, S. A. (2021). Covid-19 döneminde yapılan online sınavlarda test bitirme süresi ile test başarısı arasındaki ilişkinin incelenmesi. [Investigation of the relationship between test completion time and test success in online exams during the covid-19 period]. Journal of Academic Social Science Studies, 14(88),1-12. https://doi.org/10.29228/JASSS.53941
19. Kong, S. C., Cheung, W. M. Y., & Zhang, G. (2021). Evaluation of an artificial intelligence literacy course for university students with diverse study backgrounds. Computers and Education: Artificial Intelligence, 2, 100026. https://doi.org/10.1016/j.caeai.2021.100026
20. Kumaş, A. (2023). Fen bilimleri derslerinde hibrit eğitim kapsamında aktif öğrenme aracı olarak teknolojinin kullanımı. [The use of technology as an active learning tool in the scope of hybrid education in science courses]. Trakya Journal of Education, 13(2), 943-961. https://doi.org/10.24315/tred.1100907
21. Mathew, A. T., & Mani, P. (2023). Strength of Deep learning-based solutions to secure healthcare IoT: A critical review. The Open Biomedical Engineering Journal, 17(1). https://doi.org/10.2174/18741207-v17-e230505-2022-HT28-4371-2
22. MoNE (2021). Açık öğretim kurumları 2020-2021 eğitim öğretim yılı 2. dönem online (çevrim içi) sınavları duyurusu. Date of Access: 1.11.2024. http://aol.meb.gov.tr/meb_iys_dosyalar/2021_03/19151858_AOYK_2020-2021_EgYitim-OYgYretim_YYlY_2._DoYnem_OnlineCYevrim_IYcYi_SYnavlarY_Duyurusu_.pdf
23. Ng, D. T. K., Leung, J. K. L., Chu, S. K. W., & Qiao, M. S. (2021). Conceptualizing AI literacy: An exploratory review. Computers and Education: Artificial Intelligence, 2, 100041-100051. https://doi.org/10.1016/j.caeai.2021.100041
24. OpenAI, (2023). Introducing ChatGPT. Date of Access: 1.11.2024. https://openai.com/blog/chatgpt.
25. Patton, E., & Appelbaum, S. H. (2003). The case for case studies in management research. Management Research News, 26(5), 60-71. https://doi.org/10.1108/01409170310783484
26. Pekmez, S., Çoban, T. C., Kılıç, M., & Duman, Y. M. (2024). Eğitimde yapay zeka teknolojilerinin kullanımına yönelik öğretmen görüşleri. [Teachers' views on the use of artificial intelligence technologies in education]. Ulusal Eğitim Dergisi, 4(2), 601-619.
27. Popenici, S. A., & Kerr, S. (2017). Exploring the impact of artificial intelligence on teaching and learning in higher education. Research and Practice in Technology Enhanced Learning, 12(1), 22. https://link.springer.com/article/10.1186/s41039-017-0062-8
28. Rahman, M. M., & Watanobe, Y. (2023). ChatGPT for education and research: Opportunities, threats, and strategies. Applied Sciences, 13(9), 5783. https://doi.org/10.3390/app13095783
29. Selçuk, Z., Palancı, M., Kandemir, M., & Dündar, H. (2014). Eğitim ve bilim dergisinde yayınlanan araştırmaların eğilimleri: İçerik analizi. [Tendencies of the researches published in education and science journal: content analysis]. Education and Science, 39(173), 430-453.