Comparison of Different Artificial Intelligence Applications in Question Revision: An Application on True-False Items

Yıl 2025, Sayı: 63, 500 - 520, 27.03.2025

Bedri Nejat Yüzüak , Funda Nalbantoğlu Yılmaz

https://doi.org/10.53444/deubefd.1532545

Öz

The aim of the study is to investigate the usability of ChatGPT, Google Gemini, and WriteSonic in the creation of points to be considered when writing true-false items and in the verification of the written items in terms of measurement and evaluation principles. The research was carried out the true-false items prepared by third-year students studying in different departments of a state university within the framework of the course "Measurement and Evaluation in Education" in the academic year 2023-2024. Three artificial intelligences identified within the framework of the research were asked to create criteria, including the rules to be taken into account when preparing true-false items, and to test the items with both the criteria – they created and those given by experts. The data obtained in this direction were analyzed using content and descriptive analysis methods. As a result; it was determined that while all applications touched upon structures such as the understandability of propositions, having a clear answer, and measuring single information, some applications ignored negative expressions. It was concluded that the applications gave more appropriate feedback for items when they were given criteria in terms of assessment principles, that there was a language difference in Turkish-English analysis, and that the applications gave more appropriate feedback for English correspondence.

Anahtar Kelimeler

artifical intelligent, true-false item, item revision

Soruları Gözden Geçirmede Farklı Yapay Zekâ Uygulamalarının Karşılaştırılması: Doğru-Yanlış Önermeleri Üzerine Bir Uygulama

Öz

Araştırmada, doğru-yanlış önermesi yazmada dikkat edilecek noktaları oluşturma ve yazılan önermeleri ölçme ve değerlendirme ilkeleri açısından gözden geçirmede ChatGPT, Google Gemini ve WriteSonic yapay zekâ uygulamalarının kullanılabilirliğini incelemek amaçlanmaktadır. Araştırma, nitel araştırma yöntemlerinden durum çalışması olup 2023-2024 eğitim öğretim yılı bir devlet üniversitesinin farklı bölümlerde okuyan 3. sınıf öğrencilerinin “Eğitimde Ölçme ve Değerlendirme” dersi kapsamında hazırladığı doğru-yanlış önermelerinden seçilenlerle yürütülmüştür. Araştırma kapsamında belirlenen üç yapay zekâ uygulamasından doğru-yanlış önermeleri hazırlamada dikkat edilecek kuralları içeren kriterler oluşturması ve ele alınan önermeleri hem kendi oluşturduğu hem de uzmanlar tarafından verilen kriterlerle incelemesi istenmiştir. Bu doğrultuda elde edilen veriler içerik analizi ve betimsel analiz yöntemleriyle incelenmiştir. Sonuç olarak; üç yapay zekâ uygulaması da önermelerin anlaşılırlığı, net cevap olması, tek bilgi ölçülmesi gibi yapılara değinirken olumsuz ifade kullanımı, doğrudan kaynaktan bilgi alma gibi özellikleri bazı uygulamaların göz ardı ettiği saptanmıştır. Uygulamaların ölçme değerlendirme ilkeleri bakımından kendilerine kriterler verildiğinde önermeler için daha uygun geri bildirimler verdiği, Türkçe-İngilizce incelemede dil farklılığının olduğu, uygulamaların İngilizce yazışmalar için daha uygun geri bildirimler verdiği sonuçlarına ulaşılmıştır.

Anahtar Kelimeler

yapay zeka, maddelerin gözden geçirilmesi, doğru-yanlış önermeleri

Kaynakça

• Akçapınar, G., Er, E., Karagül, A. E., & Bakan-Kalaycıoğlu, D. (2024, Ekim). Üretken yapay zekâ modellerinin çoktan seçmeli soru üretme performanslarının karşılaştırması. Uluslararası Ölçme, Seçme ve Yerleştirme Sempozyumu. ÖSYM, Ankara.
• Ali, R., Tang, O. Y., Connolly, I. D., Fridley, J. S., Shin, J. H., Zadnik-Sullivan, P. L., Cielo, D., Oyelese, A. A., Doberstein, C. E., Telfeian, A. E., Gokaslan, Z. L., & Asaad, W. F. (2023). Performance of ChatGPT, GPT-4, and google bard on a neurosurgery oral boards prep-aration question bank. Neurosurgery, 93(5), 1090–1098. https://doi.org/10.1227/neu.0000000000002551
• Bachiri, Y. A., Mouncif, H., & Bouikhalene, B. (2023). Artificial intelligence empowers gamification: Optimizing student engagement and learning outcomes in e-learning and MOOCs. International Journal of Engineering Pedagogy (iJEP), 13(8), 4–19. https://doi.org/10.3991/ijep.v13i8.40853
• Baidoo-Anu, D., & Owusu Ansah, L. (2023). Education in the era of generative artificial intelligence (AI): Understanding the potential benefits of ChatGPT in promoting teaching and learning. Journal of AI. 7(1), 52-62.
• Bartoli, A., May, A. T., Al-Awadhi, A., & Schaller, K. (2024). Probing artificial intelligence in neurosurgical training ChatGPT takes a neurosurgical residents written exam. Brain and Spine, 4, 1-5, 102715. https://doi.org/10.1016/j.bas.2023.102715
• Baykul, Y. (2000). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması (1.Baskı). ÖSYM Yayınları.
• Boulay, B. (2016). Artifical intelligence as an effective clasroom assistant. IEEE Intelligent Systems, 31(6), 76-81.
• Bozkurt, A. (2023). ChatGPT, üretken yapay zekâ ve algoritmik paradigma değişikliği. Alanyazın, 4(1), 63-72. https://doi.org/10.59320/alanyazin.1283282
• Boztunç-Öztürk, N., & Şahin, M. G. (2024). Yapay zekâ ingilizce yazma becerilerini puanlamada ne kadar başarılı?. Uluslararası Ölçme, Seçme ve Yerleştirme Sempozyumu. ÖSYM, Ankara.
• Bulut, O., & Yildirim-Erbasli, Ş. N. (2022). Automatic story and item generation for reading comprehension assessments with transformers. International Journal of Assessment Tools in Education, 9, 72-87. https://doi.org/10.21449/ijate.1124382
• Ceylan, M., & Gökçe, S. (2024). Test geliştirmede paradigma değişimi: Yapay zekâ destekli çeldiricilerin etkililiği. Uluslararası Ölçme, Seçme ve Yerleştirme Sempozyumu. ÖSYM, Ankara.
• Chatterjee, S., & Bhattacharjee, K. K. (2020). Adoption of artificial intelligence in higher education: A quantitative analysis using structural equation modelling. Education and Information Technologies, 25, 3443-3463.
• Chen, L., Chen, P., & Lin, Z. (2020). Artificial intelligence in education: A review. Ieee Access, 8, 75264-75278.
• Chmiliar, I. (2010). Multiple-case designs. In A. J. Mills, G. Eurepas & E. Wiebe (Eds.), Encyclopedia of case study research (pp. 582-583). SAGE Publications.
• Creswell, J. W. (2007). Qualitative inquiry & research design: Choosing among five approaches (2. Baskı). SAGE Publications.
• Çam, M. B., Çelik, N. C., Turan-Güntepe, E., & Durukan, Ü. G., (2021). Öğretmen adaylarının yapay zekâ teknolojileri ile ilgili farkındalıklarının belirlenmesi. Hatay Mustafa Kemal Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 18(48), 263-285.
• Demir, S. (2023). Investigation of ChatGPT and real raters in scoring open-ended items in terms of inter-rater reliability. International Journal of Turkish Educational Sciences, 11(21), 1072-1099. https://doi.org/10.46778/goputeb.1345752
• Doğan, N. (2019). İnsan davranışları ve ölçme araçlarını sınıflama. N. Doğan (Ed.), Eğitimde ölçme ve değerlendirme içinde (s. 76-111). Pegem Akademi.
• Dorsey, D. W., & Michaels, H. R. (2022). Validity arguments meet artificial intelligence in innovative educational assessment: A discussion and look forward. Journal of Educational Measurement, 59(3), 389-394.
• Ercikan, K., & McCaffrey, D. F. (2022). Optimizing implementation of artificial-intelligence-based automated scoring: An evidence centered design approach for designing assessments for AI-based scoring. Journal of Educational Measurement, 59(3), 272- 287. https://doi.org/10.1111/jedm.12332
• Gürbüz, M. Ç., & Gürbüz, T. (2024). Yapay zekâ ile sınav kâğıdının otomatik değerlendirilmesi. Uluslararası Ölçme, Seçme ve Yerleştirme Sempozyumu. ÖSYM, Ankara.
• Gürlek, Y., Bozkoyun, E., Ulutürk, M., & Zeyrekgündüz, F. (2023). Yapay zekânın eğitime etkileri ve uygulamaları. International Journal of Original Educational Research, 1(1), 25-132.
• Halaweh, M. (2023). ChatGPT in education: Strategies for responsible implementation. Contemporary Educational Technology, 15(2). https://doi.org/10.30935/cedtech/13036
• Huang, C. H., Hsiao, H. J., Yeh, P. C., Wu, K. C., & Kao, C. H. (2024). Performance of ChatGPT on stage 1 of the Taiwanese medical licensing exam. Digital Health, 10. https://doi.org/10.1177/20552076241233144
• Huang, S. P. (2018). Effects of using artificial intelligence teaching system for environmental education on environmental knowledge and attitude. EURASIA Journal of Mathematics, Science and Technology Education, 14(7), 3277-3284. https://doi.org/10. 29333/ejmste/91248
• Indran, I. R., Paranthaman, P., Gupta, N., & Mustafa, N. (2023). Twelve tips to leverage AI for efficient and effective medical question generation: A guide for educators using Chat GPT. Medical Teacher, 46(8), 1021–1026. https://doi.org/10.1080/0142159X.2023.2294703
• Kan, A. (2014). Ölçme aracı geliştirme. S. Tekindal (Eds.), Eğitimde ölçme ve değerlendirme içinde (s. 259-296). Pegem Akademi.
• Karakaya, İ. (2022). Açık uçlu soruların hazırlanması, uygulanması ve değerlendirilmesi. Pegem Akademi.
• Kıyak, Y. S., Coşkun, Ö., Budakoğlu, I. İ., & Uluoğlu, C. (2024). ChatGPT for generating multiple‑choice questions: Evidence on the use of artificial intelligence in automatic item generation for a rational pharmacotherapy exam. European Journal of Clinical Pharmacology, 80, 729-735. https://doi.org/10.1007/s00228-024-03649-x
• Koçak, D., & Şimşek, A. S. (2024). Yükseköğretimde üretken yapay zekânın öğrenciler tarafından ödev ve performans görevlerinde kullanımı: Avantajlar ve riskler. Uluslararası Ölçme, Seçme ve Yerleştirme Sempozyumu. ÖSYM, Ankara.
• Koçyiğit, A., & Darı, A. B. (2023). Yapay zekâ iletişimde ChatGPT: İnsanlaşan dijitalleşmenin geleceği. Stratejik ve Sosyal Araştırmalar Dergisi, 7, 427-438.
• Krippendorff, K. H., (2004). Content analysis: An introduction to its methodology. Sage Pub.
• Kucam, E., & Malakcıoğlu, İ. (2024). Psikomotor becerilerin ölçülmesinde yapay zekâ tespit araçlarından elde edilen sonuçların doğruluğunun incelenmesi. Uluslararası Ölçme, Seçme ve Yerleştirme Sempozyumu. ÖSYM, Ankara.
• Liu, M., Zhang, J. X., Nyagoga, L. M., & Liu, L. (2024). Student-AI question cocreation for enhancing reading comprehension. IEEE Transactions On Learning Technologies, 17, 815-826.
• McCarthy, J. (2024, 02 Nisan). What is artificial intelligence?. formal.stanford.edu/jmc/whatisai/. Montebello, M. (2018). AI injected e-learning (1. Baskı). Springer International Publishing.
• Nasution, N. E. A. (2023). Using artificial intelligence to create biology multiple-choice questions for higher education. Agricultural and Environmental Education, 2(1). https://doi.org/10.29333/agrenvedu/13071
• Önderöz, F. G., & Karabay, A. (2024). Sınıf öğretmenlerinin ve sınıf öğretmeni adaylarının eğitimde yapay zekâ teknolojilerine ilişkin görüşleri ve yapay zekâ kullanım durumları. EJER Bildiri Özetleri Kitabı (pp. 39-40). Anı Yayıncılık.
• Popenici, S. A., & Kerr, S. (2017). Exploring the impact of artificial intelligence on teaching and learning in higher education. Research and Practice in Technology Enhanced Learning, 22(12). https://www.doi.org/10.1186/s41039-017-0062-8
• Sallam, M., & Al-Salahat, K. (2023). Below average ChatGPT performance in medical microbiology exam compared to university students. Frontiers in Education, 8. https://doi.org/10.3389/feduc.2023.1333415
• Seldon, A., & Abidoye, O. (2018). Fourth education revolution. University of Buckingham Press.
• Shah, P. (2023). AI and the future of education: Teaching in the age of artificial intelligence. Jossey-Bass.
• Soysal, S., & Ardıç-Kemerkaya, E. Ö. (2024). PISA 2022 Matematik okuryazarlığı şekil formatındaki maddelerin Türkçe ve İngilizce olarak cevaplanmasında ChatGPT’nin performansı. Uluslararası Ölçme, Seçme ve Yerleştirme Sempozyumu. ÖSYM, Ankara.
• Strauss, A., & Corbin, J. M. (1990). Basic of qualitative research. Grounded theory procedures and techniques. Sage Publications.
• Şahin, M. Ç., Sözer, A., Kuzucu, P., Türkmen, T., Şahin, M. B., Sözer, E., Tüfek, O. Y., Nernekli, K., Emmez, H., & Çeltikçi, E. (2024). Beyond human in neurosurgical exams: ChatGPT's success in the Turkish neurosurgical society proficiency board exams. Computers in Biology and Medicine, 169. https://doi.org/10.1016/j.compbiomed.2023.107807
• Taşçı, G., & Çelebi, M. (2020). Eğitimde yeni bir paradigma:Yükseköğretimde yapay zekâ. OPUS International Journal of Society Researches, 16(29), 2346-2370.
• Taşdelen-Teker, G., Bakan-Kalaycıoğlu, D., Şahin, M. G., & Esenboğa, S. (2024). Yapay zekâ tarafından oluşturulan olgu temelli çoktan seçmeli maddelerin değerlendirilmesi: Pediatri örneği. Uluslararası Ölçme, Seçme ve Yerleştirme Sempozyumu. ÖSYM, Ankara.
• Tezci, i. H., & Bıçak, B. (2024). Yapay zekâ ve nitel veri: Geleceğin analiz yöntemleri. Uluslararası Ölçme, Seçme ve Yerleştirme Sempozyumu. ÖSYM, Ankara.
• Turgut, M. F., & Baykul, Y. (2012). Eğitimde ölçme ve değerlendirme (4. Baskı). Pegem Akademi.
• Vural, N. E. (2024). Açık uçlu sınavların otomatik değerlendirilmesi: Görüntü işleme ve yapay zekâ destekli iOS tabanlı mobil uygulama geliştirme örneği. Uluslararası Ölçme, Seçme ve Yerleştirme Sempozyumu. ÖSYM, Ankara.
• Wang, L., Song, R., Guo, W., & Yang, H. (2024). Exploring prompt pattern for generative artificial intelligence in automatic question generation. Interactive Learning Environments, 1–26. https://doi.org/10.1080/10494820.2024.2412082
• Yeşilyurt, Ş. (2024). Yapay zekâ ile C1 seviyesi Türkçe okuma sınavı oluşturma ve uygulama. Uluslararası Ölçme, Seçme ve Yerleştirme Sempozyumu. ÖSYM, Ankara.
• Yiğiter, M. S., & Boduroğlu, E. (2024). Açık uçlu maddelerin puanlanmasında yapay zekâ performansının incelenmesi. Uluslararası Ölçme, Seçme ve Yerleştirme Sempozyumu. ÖSYM, Ankara.
• Zeide, E. (2019). Artifical intelligence in higher education: Applications, promise and perils, and ethical questions. EDUCAUSE Review, 1-13.