Soruları Gözden Geçirmede Farklı Yapay Zekâ Uygulamalarının Karşılaştırılması: Doğru-Yanlış Önermeleri Üzerine Bir Uygulama

Araştırmada, doğru-yanlış önermesi yazmada dikkat edilecek noktaları oluşturma ve yazılan önermeleri ölçme ve değerlendirme ilkeleri açısından gözden geçirmede ChatGPT, Google Gemini ve WriteSonic yapay zekâ uygulamalarının kullanılabilirliğini incelemek amaçlanmaktadır. Araştırma, nitel araştırma yöntemlerinden durum çalışması olup 2023-2024 eğitim öğretim yılı bir devlet üniversitesinin farklı bölümlerde okuyan 3. sınıf öğrencilerinin “Eğitimde Ölçme ve Değerlendirme” dersi kapsamında hazırladığı doğru-yanlış önermelerinden seçilenlerle yürütülmüştür. Araştırma kapsamında belirlenen üç yapay zekâ uygulamasından doğru-yanlış önermeleri hazırlamada dikkat edilecek kuralları içeren kriterler oluşturması ve ele alınan önermeleri hem kendi oluşturduğu hem de uzmanlar tarafından verilen kriterlerle incelemesi istenmiştir. Bu doğrultuda elde edilen veriler içerik analizi ve betimsel analiz yöntemleriyle incelenmiştir. Sonuç olarak; üç yapay zekâ uygulaması da önermelerin anlaşılırlığı, net cevap olması, tek bilgi ölçülmesi gibi yapılara değinirken olumsuz ifade kullanımı, doğrudan kaynaktan bilgi alma gibi özellikleri bazı uygulamaların göz ardı ettiği saptanmıştır. Uygulamaların ölçme değerlendirme ilkeleri bakımından kendilerine kriterler verildiğinde önermeler için daha uygun geri bildirimler verdiği, Türkçe-İngilizce incelemede dil farklılığının olduğu, uygulamaların İngilizce yazışmalar için daha uygun geri bildirimler verdiği sonuçlarına ulaşılmıştır.

The aim of the study is to investigate the usability of ChatGPT, Google Gemini, and WriteSonic in the creation of points to be considered when writing true-false items and in the verification of the written items in terms of measurement and evaluation principles. The research was carried out the true-false items prepared by third-year students studying in different departments of a state university within the framework of the course "Measurement and Evaluation in Education" in the academic year 2023-2024. Three artificial intelligences identified within the framework of the research were asked to create criteria, including the rules to be taken into account when preparing true-false items, and to test the items with both the criteria – they created and those given by experts. The data obtained in this direction were analyzed using content and descriptive analysis methods. As a result; it was determined that while all applications touched upon structures such as the understandability of propositions, having a clear answer, and measuring single information, some applications ignored negative expressions. It was concluded that the applications gave more appropriate feedback for items when they were given criteria in terms of assessment principles, that there was a language difference in Turkish-English analysis, and that the applications gave more appropriate feedback for English correspondence.