Generative Artificial Intelligence Performance in Sociology of Religion Research: A Comparative Analysis of ChatGPT and Google Gemini

Öz

Artificial intelligence models increasingly influence knowledge production across disciplines, including the social sciences, by enabling rapid access to diverse data sources and synthesized information. Owing to this capacity, researchers and students frequently consult contemporary AI systems for preliminary orientation and conceptual clarification. Within the social sciences, such models contribute not only to data retrieval but also to the examination of sociological theories and concepts, as well as to the modeling of complex social structures. Despite extensive debates on the validity, accuracy, and reliability of artificial intelligence applications in technical fields, systematic evaluations of these models within theology and sociology remain comparatively limited. Against this background, the present study focuses on the field of sociology of religion, a discipline situated at the intersection of sociological inquiry and religious studies. The primary aim is to analyze the responses generated by artificial intelligence models and to assess their qualitative characteristics. Specifically, the study undertakes a comparative evaluation of two widely used systems—Chat Generative Pretrained Transformer-5.2 (ChatGPT) and Gemini 1.5 Flash (Google Gemini) —with regard to their answers to questions related to sociology of religion. The selected questions were designed to encompass different cognitive demands, including descriptive knowledge, comparison, and analytical reasoning. The responses produced by both models were systematically examined using predefined criteria: clarity and specificity, relevance, reliance on supporting sources, internal consistency, adequacy, coherence, factual accuracy, and data volume. The findings indicate that, from the perspective of sociology of religion, the outputs of both models generally remain at an introductory level. Nevertheless, notable differences were identified between the systems. Google Gemini tends to offer more extensive explanations, particularly regarding historical contextualization, thematic scope, and conceptual variety. By contrast, ChatGPT demonstrates a comparatively stronger capacity for structuring arguments, preserving conceptual coherence, and producing balanced comparative analyses. Overall, the results suggest that while both models provide useful entry-level academic support, their distinct strengths require critical and methodologically informed use within scholarly research contexts. On the other hand, it was observed that the information provided by both artificial intelligence models generally did not go beyond an introductory level and remained limited in addressing topics that require interdisciplinary depth. In particular, in areas where the sociology of religion intersects with Islamic thought and classical sociological theories, methodological debates and theoretical foundations were not sufficiently developed. This finding suggests that these artificial intelligence tools should not be regarded as direct producers of academic knowledge, but rather as auxiliary instruments that support preliminary exploration, framework construction, and comparative thinking in scholarly research. Accordingly, future studies should focus on methodological inquiries into how artificial intelligence models can be employed in a more critical, source-based, and in-depth manner within the fields of theology and the social sciences.

Anahtar Kelimeler

• Sociology of Religion
• Theology
• Artificial Intelligence
• ChatGPT
• Google Gemini

Din Sosyolojisi Araştırmalarında Üretken Yapay Zekâ Performansı: Chatgpt ve Google Gemini Üzerine Karşılaştırmalı Bir Analiz

Öz

Yapay zekâ modelleri, birçok alanda olduğu gibi sosyal bilimler alanında da verilere ulaşmayı kolaylaştırmakta ve bilgiye erişim hususunda önemli katkılar sunmaktadır. Bu potansiyel nedeniyle bireyler, farklı konularda bilgi edinmek amacıyla mevcut yapay zekâ modellerine sıklıkla yönelmektedir. Bu çerçevede yapay zekâ modelleri, sosyal bilimler alanında çeşitli verilere erişim sağlaması bakımından katkı sunma niteliğine sahiptir. Öte yandan yapay zekâ modelleri, sosyolojik teorilerin ve kavramların analizinde de kullanılmakta; toplumsal yapıların modellenmesi ve simülasyonunda işlevsel araçlar olarak değerlendirilmektedir. Birçok teknik alanda yapay zekâ modellerinin geçerliliği, doğruluğu ve güvenirliği üzerine çalışmalar bulunmakla birlikte, ilahiyat ve sosyoloji gibi sosyal bilimler alanlarında bilgi elde etme amacıyla kullanılan bu modellerin geçerliliği, doğruluğu ve güvenirliği üzerine yapılan çalışmalar görece sınırlıdır. İlahiyat ve sosyoloji gibi hassas bilgi alanlarında araştırmacıların tutarsız, eksik ya da hatalı verilerle karşılaşması, bilimsel araştırmaların işleyişini olumsuz yönde etkileyebilmektedir. Bu bağlamda çalışma hem dinî ilimler hem de sosyolojiyle kesişen bir disiplin olan din sosyolojisi kapsamında, yapay zekâ modellerinin sunduğu cevapları incelemeyi ve bu cevapların niteliğini tartışmayı amaçlamaktadır. Dolayısıyla araştırmanın temel hedefi, iki farklı yapay zekâ modeli olan Chat Generative Pretrained Transformer-5.2 (ChatGPT) ve Gemini 1.5 Flash (Google Gemini)’in ücretsiz versiyonunun din sosyolojisi alanına yönelik sorulara verdikleri cevapların performanslarını karşılaştırmalı olarak değerlendirmektir. Belirlenen sorular; bilgi düzeyi, karşılaştırma ve analiz gibi farklı ölçütler çerçevesinde incelenmiş; yapay zekâ modellerinin performansları, potansiyelleri, tutarlılıkları ve sınırlılıkları değerlendirilmiştir. Her iki yapay zekâ modelinden elde edilen cevaplar, din sosyolojisi alanındaki doktora derecesine sahip üç akademisyen tarafından değerlendirilerek netlik ve özgüllük, ilgi düzeyi, kaynaklara dayanma, tutarlılık, yeterlilik, bütünlük, doğruluk ve veri hacmi ölçütleri kapsamında analiz edilmiş ve 1-10 arası puanlamaya tabi tutulmuştur. Din sosyolojisi alanı açısından değerlendirildiğinde, her iki yapay zekâ modelinin sunduğu cevapların birtakım veri setleri aracılığıyla, sınırlı düzeyde üretildiği görülmüştür. Bununla birlikte Google Gemini’nin özellikle tarihsel bağlamlandırma, konu genişliği ve kavramsal çeşitlilik açısından daha hacimli ve ayrıntılı açıklamalar sunduğu; ChatGPT’nin ise sistematik yapı kurma, kavramsal tutarlılık ve karşılaştırmalı analiz üretme konularında daha dengeli bir performans sergilediği gözlemlenmiştir. Öte yandan her iki yapay zekâ modelinin de sunduğu bilgilerin disiplinler arası derinlik gerektiren konularda sınırlı açıklamalarla yetindiği anlaşılmıştır. Özellikle din sosyolojisi ve klasik sosyoloji teorilerinin kesiştiği alanlarda, metodolojik tartışmaların ve kuramsal arka planın yeterince geliştirilemediği dikkat çekmektedir. Bu durum, söz konusu yapay zekâ araçlarının akademik araştırmalarda doğrudan bilgi üreticisi olarak değil, daha çok ön hazırlık, çerçeve oluşturma ve karşılaştırmalı düşünmeyi destekleyen yardımcı araçlar olarak değerlendirilmesinin daha isabetli olacağını göstermektedir. Dolayısıyla ilerleyen çalışmalarda, yapay zekâ modellerinin ilahiyat ve sosyal bilimler alanlarında nasıl daha eleştirel, kaynak temelli ve derinlikli biçimde kullanılabileceğine odaklanan metodolojik araştırmalara ihtiyaç olduğu söylenebilir.

Anahtar Kelimeler

• Din Sosyolojisi
• İlahiyat
• Yapay Zekâ
• ChatGPT
• Google Gemini

Kaynakça

1. Adaş, Emin - Erbay, Borabay. “Yapay Zekâ Sosyolojisi Üzerine Bir Değerlendirme”. Gaziantep University Journal of Social Sciences 21/1 (Ocak 2022), 326-337. https://doi.org/10.21547/jss.991383
2. Ahmedi, Ekber Şah. “Dijimodernizm Bağlamında Transhümanizm ve Din: Sosyolojik Bir İnceleme”. Kocatepe İslami İlimler Dergisi 7/2 (Aralık 2024), 387-405. https://doi.org/10.52637/kiid.1524122
3. Akbaş, Arif. “Yapay Zekâ İle Toplumsal Dönüşüm: Sosyolojik Perspektif”. Uluslararası Beşeri Bilimler ve Eğitim Dergisi 10/22 (2024), 151-180.
4. Akduman, Abdil - Arı, Yılmaz. “Cumhuriyet Döneminde Toplumsal Değişim ve Din: Etkileşimler ve Dönüşümler”. Journal of Analytic Divinity 8/2 (Aralık 2024), 252-273. https://doi.org/10.46595/jad.1575005
5. Arıcan, Sümeyra. “Din Kültürü ve Ahlak Bilgisi Derslerinde Yapay Zekâ Destekli Modern Öğretim Yaklaşımları”. Dinbilimleri Akademik Araştırma Dergisi 24/3 (Aralık 2024), 573-614. https://doi.org/10.33415/daad.1591945
6. Arslan, Mustafa. “Postmodern Yeni Dinsel Kimlik ve Paranormal İnançlar”. Milel ve Nihal 12/2 (01 Temmuz 2015), 55-72. https://doi.org/10.17131/milelnihal.88195
7. Ayhan, Mehmet - Kılıç, Zülal. “Yapay Zekâ Modellerinin Hadis Tarihi Sorularına Verdiği Yanıtların Karşılaştırmalı Analizi: Chatgpt ve Gemini Örneği”. Dinbilimleri Akademik Araştırma Dergisi 24/3 (Aralık 2024), 137-159. https://doi.org/10.33415/daad.1586164
8. Aykul, Abdulmuid - Alam, Mohammed Nurul. “ChatGPT’nin İslâm Ceza Hukuku Özelinde Değerlendirilmesi”. Dinbilimleri Akademik Araştırma Dergisi 24/3 (Aralık 2024), 193-212. https://doi.org/10.33415/daad.1582902

9. Baltacı, Ali. “Veri Madenciliği: İlahiyat Fakültesi Öğrencilerinde Akademik Başarının Veri Madenciliği İle Ölçülmesi”. Din ve Bilim-Muş Alparslan Üniversitesi İslami İlimler Fakültesi Dergisi 1/1 (2018), 1-23.
10. Baskan, Burak. “Rıza ve Siyaset: Gramsci’nin Kültürel Hegemonya Kavramında Bir Rıza Alanı Olarak Din”. Siyaset Yazıları. 227-252. Ankara: Nobel Akademik Yayıncılık, 2022.
11. Bergdahl, Jenna vd. “Self-Determination and Attitudes Toward Artificial Intelligence: Cross-National and Longitudinal Perspectives”. Telematics and Informatics 82 (2023), 102013.
12. Berger, Peter L. - Luckmann, Thomas. Gerçekliğin Sosyal İnşası: Bir Bilgi Sosyolojisi Incelemesi. çev. Vefa Saygın Öğütle. İstanbul: Paradigma Yayınları, 2008.
13. Bochniarz, Klaudia T. vd. “Attitudes to AI Among High School Students: Understanding Distrust Towards Humans Will Not Help Us Understand Distrust Towards AI”. Personality and Individual Differences 185 (2022), 111299.
14. Cançelik, Ali vd. “Chatgpt 4.0’ın Türk İslam Edebiyatı Metin Şerhinde Doğruluk Değerlendirmesi”. Dinbilimleri Akademik Araştırma Dergisi 24/3 (Aralık 2024), 69-91. https://doi.org/10.33415/daad.1582602
15. Çakmak, Ahmet vd. “Din Eğitimi Biliminin Temel Konularında ChatGPT Yapay Zeka Uygulama Verilerinin Güvenirliliği”. Dinbilimleri Akademik Araştırma Dergisi 24/3 (Aralık 2024), 325-357. https://doi.org/10.33415/daad.1590460
16. Çapcıoğlu, İhsan. “Sociology of Religion in Turkey: Historical Background and New Developments”. Turkish Journal of Scientific Reviews 1 (Şubat 2009), 219-233.
17. Çiçek, Fatma. “Din Sosyolojisinde Dijitalleşme Teorileri ve Yaklaşımlar”. Journal of Media and Religion Studies 5/2 (30 Aralık 2022), 455-480. https://doi.org/10.47951/mediad.1188722
18. Dağ, Ahmet. “Dijitalleşme-Yapay Zeka-Transhümanizm Bağlamında Din ve Dindar’a Dair”. Yapay Zekâ: Transhümanizm ve Din. ed. Muhammet Kızılgeçit vd. 175-185. Ankara: Diyanet İşleri Başkanlığı Yayınları, 2021.
19. Dick, Stephanie. “Artificial Intelligence”. Harvard Data Science Review 1/1 (2019), 1-8. https://doi.org/10.1162/99608f92.92fe150c
20. Durkheim, Emile. Dini Hayatin İlkel Biçimleri. çev. Fuat Aydın. Ankara: Eskiyeni Yayınları, 2011. https://www.fcr.com.tr/wp-content/uploads/2011/09/di-ha-il-bi_onsoz.pdf
21. Emile Durkheim. Toplumbilimsel Yöntemin Kuralları. çev. C.B. Akal. İstanbul: BFS Yayınları, 1985.
22. Foucault, Michel. İktidarın Gözü: Seçme Yazılar. çev. Işık Ergüden. İstanbul: Ayrıntı Yayınları, 2003.
23. Gelgeç, Sevim. “Yapay Zekâ Modellerinin Tefsir Tarihi Özelinde İncelenmesi”. Dinbilimleri Akademik Araştırma Dergisi 24/3 (Aralık 2024), 493-519. https://doi.org/10.33415/daad.1583578
24. Gömbeyaz, Melek Yılmaz. “Siyer Sahasında Sorulan Sorulara Yapay Zekâ Modellerinden Google Gemini Tarafından Verilen Cevaplara Dair Bir Araştırma”. Dinbilimleri Akademik Araştırma Dergisi 24/3 (Aralık 2024), 411-440. https://doi.org/10.33415/daad.1590791
25. Gramsci, Antonio. Gramsci Kitabı. çev. İbrahim Yıldız. Ankara: Dipnot Yayınları, 2010.
26. Gruchola, Malgorzata vd. “Artificial Intelligence as a Tool Supporting Prayer Practices”. Religions 15/3 (2024), 271.
27. Gül, Ali - Sipahioglu, Mete. “Yapay Zekânın Din Eğitimindeki Rolü: Fırsatlar, Zorluklar ve Geleceğe Yönelik Çıkarımlar”. Dinbilimleri Akademik Araştırma Dergisi 24/3 (Aralık 2024), 293-323. https://doi.org/10.33415/daad.1592841
28. Güneş, Adem. “DKAB Öğretmenlerinin Eğitimde Yapay Zekâ Kullanımına İlişkin Görüşleri”. Kocatepe İslami İlimler Dergisi 8/2 (Aralık 2025), 393-411. https://doi.org/10.52637/kiid.1731555
29. Hancığaz, Erhan. “Dijital Dünyada Dinsel Eğilimler”. Journal of Media and Religion Studies 5/2 (30 Aralık 2022), 409-430. https://doi.org/10.47951/mediad.1191659
30. İbn Haldun. Mukaddime. çev. Zakir Kadirî Ugan. İstanbul: Milli Eğitim Basımevi, 1968.
31. İbn Haldun. Mukaddime. çev. Süleyman Uludağ. İstanbul: Dergah Yayınları, 1991.
32. Kafalı, Hasan. “Yapay Zekâ, Toplum Ve Din’in Geleceği”. Ondokuz Mayıs Üniversitesi İlahiyat Fakültesi Dergisi 46 (2019), 145-172.
33. Kaya, Yakup - Eliyatkin, Elif. “Din Eğitiminde İçerik Oluşturma ve Kişiselleştirilmiş Öğrenme Aracı Olarak ChatGPT”. Dinbilimleri Akademik Araştırma Dergisi 24/3 (Aralık 2024), 615-646. https://doi.org/10.33415/daad.1582922
34. Kazak, Mehmet. Yapay Zekâ Kaygısı, Yabancılaşma Ve Dindarlık Ilişkisi. Denizli: Pamukkale Üniversitesi, İslami İlimler Enstitüsü, Yüksek Lisans Tezi, 2023.
35. Kelley, Patrick Gage vd. “Exciting, Useful, Worrying, Futuristic: Public Perception of Artificial Intelligence in 8 Countries”. In Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society. 627-637. New York, 2021. https://doi.org/10.1145/3461702.3462605
36. Kılıç, Ali İhsan. “Tasavvuf Tarihi Literatürü ve Yapay Zeka Perspektifleri: Karşılaştırmalı Bir İnceleme”. Dinbilimleri Akademik Araştırma Dergisi 24/3 (Aralık 2024), 233-258. https://doi.org/10.33415/daad.1586543
37. Kızılgeçit, Muhammed - Çinici, Murat. “Koronavirüs (Covid-19) Sürecinde Yapay Sinir Ağları Yöntemiyle Bireylerin Dini Başa Çıkma Düzeylerinin Tahmini”. İlahiyat Tetkikleri Dergisi 54 (2020), 45-65.
38. Liehner, Gian Luca vd. “Perceptions, Attitudes and Trust Towards Artificial Intelligence—An Assessment of the Public Opinion”. Artificial Intelligence and Social Computing 72/72 (2023), 32-41.
39. Marx, Karl. Kapital. çev. Mehmet Selik. Ankara: Sol Yayınları, 1966.
40. Marx, Karl - Engels, Friedrich. Din Üzerine. çev. Kaya Güvenç. Ankara: Sol Yayınları, 2008.
41. Naima, Mustafa. Târih-i Na’îmâ:(Ravzatü’l-Hüseyn fî hulâsati ahbâri’l-hâfikayn). ed. Mehmed İpşirli. Ankara: Türk Tarih Kurumu, 2007.
42. Okumuş, Selman. “Dijitalleşme ve Dini Pratikler: Bir Literatür Taraması”. TAM Akademi Dergisi 2/1 (04 Haziran 2023), 101-122. https://doi.org/10.58239/tamde.2023.03.006.x
43. Öztaş, Fatih - Ünalan, Abdurrahman. “Sosyal Medya Fenomenleri ve Üniversite Gençliği: Dini Tutum, Onaylanma ve Tüketim”. Journal of Media and Religion Studies 5/2 (30 Aralık 2022), 431-454. https://doi.org/10.47951/mediad.1193878
44. Öztemel, Ercan. “Yapay Zekâ Ve İnsanlığın Geleceği”. Bilişim Teknolojileri ve İletişim: Birey ve Toplum Güvenliği. ed. M. Şeker vd. 95-112. Ankara: Türkiye Bilimler Akademisi, 2020. https://doi.org/10.53478/TUBA.2020.011
45. Ren, Richard vd. “The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systems”. arXiv preprint arXiv:2503.03750 (05 Ocak 2026), 1-22. https://doi.org/10.48550/arXiv.2503.03750
46. Riis, Ole. “Modern Toplumda Din Araştırmaları Alanındaki Son Gelişmeler”. çev. Bünyamin Solmaz - İhsan Çapcıoğlu. Dini Araştırmalar 8/23 (01 Haziran 2005), 305-319.
47. Sabharwal, Ashish - Selman, Bart. “Artificial Intelligence: A Modern Approach”. Artificial Intelligence 175/5-6 (Nisan 2011), 935-937. https://doi.org/10.1016/j.artint.2011.01.005
48. Şengül, Fatma Nur. “Türkiye’de Ampirik Anlamda Gerçekleştirilen Sekülerleşme Çalışmalarına Dini Sosyolojik Bir Bakış”. Journal of Analytic Divinity 5/3 (15 Aralık 2021), 9-27. https://doi.org/10.46595/jad.936052
49. Taplamacıoğlu, Mehmet. Din Sosyolojisi. Ankara: Ankara Üniversitesi Basımevi, 1963.
50. Taplamacıoğlu, Mehmet. Genel Sosyoloji. Ankara: Ankara Üniversitesi İlahiyat Fakültesi Yayınları, 1969. https://dspace.ankara.edu.tr/bitstreams/b667afa0-b3f1-480a-8dc0-b2607455a29c/download
51. Yamaç, Muhammed. “Sosyal Medyada Dini Topluluklar”. Kocaeli İlahiyat Dergisi 4/1 (26 Haziran 2020), 101-122.
52. Yaralıoğlu, Yusuf. “Türki̇ye’de Di̇n Sosyoloji̇si̇ Geleneği̇ Ve Kurumsallaşma Süreci̇ne Genel Bi̇r Bakış: Cumhuri̇yet Dönemi̇ Örneği̇”. Dini Araştırmalar 26/65 (15 Aralık 2023), 629-656. https://doi.org/10.15745/da.1350578