Bu çalışmada, tasavvuf tarihi literatürü üzerinden yapay zeka modelleri olan ChatGPT ve Gemini’nin performansları değerlendirilmiştir. Sosyal bilimler alanındaki çalışmaların, doğrudan ölçülebilir boyutları olduğu gibi yoruma dayalı yönleri de bulunduğundan, bu çalışmada nesnel ölçüm yapılmasını mümkün kılan literatür odaklı bir yaklaşım benimsenmiştir. Yapay zeka modellerinin performansını test etmek amacıyla, literatürün farklı yönlerine odaklanan on soru belirlenmiştir. Belirlenen sorular, bağımsız beş alan uzmanı tarafından geçerlilik açısından değerlendirilmiş ve ardından modeller aynı IP adresi ve cihaz üzerinden test edilmiştir. Yanıtlar, bağımsız araştırmacılar tarafından doğruluk, metin kurgusu, özgünlük, detaylandırma ve kavram kullanımı gibi kriterler üzerinden 1 ile 10 arasında puanlanarak değerlendirilmiştir. Modellerin performansı, her bir soru bağlamında analiz edilerek karşılaştırmalı bir şekilde incelenmiş; yüksek başarı gösterdikleri ve eksiklik gösterdikleri alanlar tespit edilmiştir. Elde edilen genel başarı düzey ortalamalarından hareketle modellerin tasavvuf literatürü araştırmalarındaki imkanları ve sınırlılıkları değerlendirilmiştir.
Tasavvuf Tasavvuf Literatürü Sûfî Biyografisi Yapay Zeka ChatGPT Gemini
This study evaluates the performance of artificial intelligence models, ChatGPT and Gemini, based on the literature of Sufi history. Since studies in the social sciences have both directly measurable aspects and interpretative components, a literature-focused approach was adopted in this study to enable objective measurement. To test the performance of the AI models, ten questions focusing on different aspects of the literature were selected. The selected questions were assessed for validity by five independent experts, and the models were then tested using the same IP address and device. The responses were evaluated by independent researchers using criteria such as accuracy, text structure, originality, elaboration, and use of concepts, with scores ranging from 1 to 10. The models’ performance was analyzed within the context of each question and compared, identifying areas where they showed high success or shortcomings. Based on the overall average success levels, the possibilities and limitations of the models in Sufi literature research were evaluated.
Sufism Sufi Literature Sufi Biography Artificial Intelligence ChatGPT Gemini
Birincil Dil | Türkçe |
---|---|
Konular | Dini Araştırmalar (Diğer) |
Bölüm | Araştırma Makaleleri |
Yazarlar | |
Erken Görünüm Tarihi | 31 Aralık 2024 |
Yayımlanma Tarihi | 31 Aralık 2024 |
Gönderilme Tarihi | 16 Kasım 2024 |
Kabul Tarihi | 18 Aralık 2024 |
Yayımlandığı Sayı | Yıl 2024 Cilt: 24 Sayı: 3 |