The Problem of Artificial Intelligence Participation in Scientific Research Process: The Case of ChatGPT-4o and the Khabar and Inshā Distinction in Arabic Rhetoric

Abstract

Artificial intelligence (AI) tools, characterized by capabilities such as natural language processing, memory retention, intelligent response generation, and reasoning, have increasingly been used in social science research. This raises concerns about the accuracy and reliability of the data produced by these tools, and as well as their potential to cause ethical violations in academic research. Moreover, when the sources cited do not align with the information provided, the validity of resulting interpretations becomes questionable. For these reasons, while the ethical implications of incorporating AI tools into research in the language, social and human sciences are being debated, empirical studies are also being conducted to assess how AI manages this process. To our knowledge, this study is the first in the field to examine the use of an AI tool as a source in Arabic language studies and to identify resulting issues related to informational accuracy and reliability. In addition, since the topic presented to ChatGPT appears not only in Arabic rhetorical sources but also in disciplines such as theology, philosophy, and logic, it allows the AI tool to perform broader information retrieval. Moreover, the controversial and interpretative nature of the topic is crucial for assessing the AI tool’s capacity to process, analyze, and interpret the subject from multiple perspectives. This is particularly important because, in similar studies, controversial issues are often avoided, and the focus remains solely on the factual accuracy AI-generated content. ChatGPT is available in both free and paid versions, with the latest model, ChatGPT-4o, currently accessible to users. In this study, ChatGPT-4o was evaluated using a qualitative data analysis approach. The assessment focused on several criteria; the accuracy of the cited sources with respect to the referenced work and authors; the diversity of disciplinary fields reflected in the literature review; the tool’s ability to identify and cite primary and secondary sources. Additionally, the accuracy of the factual information provided and the consistency of responses to identical questions posed at different times were examined. In order to test the use of the AI tool in the scientific research process, the khabar-inshā distinction, an issue widely debated in Arabic rhetoric, was chosen. Rhetoricians, who classify all sentences in the language as either khabar or inshā within a holistic framework, base this distinction on whether a sentence can be judged as true or false. Accordingly, sentences that are capable of being either true or false are classified as khabar, while those that are not are considered as inshā. Although few in number, various objections to this classification have been raised, some from the classical tradition, but mostly from the modern scholarship. Our study is structured around several key questions: What the khabar-inshā distinction? How did it emerge? What are the major theories or perspectives on this distinction? What are the sources of these perspectives? And how does the AI tool respond when required to choose between them? The study begins by briefly introducing AI, followed by an overview of the khabar-inshā distinction is generally defined in rhetoric and other Islamic sciences. It then summarizes the main theories and debates surrounding the khabar- inshā distinction, before presenting the study’s methodology, limitations, data analysis, and findings. Finally, the responses provided by ChatGPT-4o were categorized under thematic headings, analyzed and paraphrased for evaluation. The study found that some of the information quoted by ChatGPT-4o could not be verified in the cited sources. In addition, it was revealed that some of the cited sources did not exist, and others were misattributed to incorrect authors. In terms of the subject familiarity, ChatGPT-4o failed to mention ongoing debates and provided only general information. Even when specific theories were introduced and references to scholarly disagreement were made, its responses were limited to literal definitions. The definitions provided did not reflect the content of sources that contain detailed discussions. For these reasons, using ChatGPT as a source in scientific, at its current stage of development, is not advisable for obtaining reliable and accurate information.

Keywords

• Arabic Language and Rethoric
• Khabar
• Inshā
• Artificial Intelligence
• ChatGPT.

Yapay Zekânın Bilimsel Araştırma Sürecine Katılımı Problemi: ChatGPT-4o Örneğinde Arap Belâgatinde Haber-İnşâ Ayrımı

Abstract

Doğal dili işleme, duyduklarını depolama, akıllı davranış sergileyerek sorulara cevap verme, akıl yürütme gibi özelliklere sahip olduğu bilinen yapay zekâ araçları günümüzde sosyal bilimlerde yapılan araştırmalara kaynaklık etmek üzere kullanılmaya başlamıştır. Bu da araçlardan elde edilen verilerin doğruluğu, güvenilirliği, intihal gibi akademik etik açısından uygun olmayan davranışlara yol açıp açmadığı şeklinde birtakım problemleri beraberinde getirir. Ayrıca bilgileri aldığı kaynaklar ile bilgilerin örtüşmemesi durumunda yapacağı yorumların doğruluğu da tartışmalı hale gelir. Bu nedenlerden dolayı tıp, mühendislik, matematik, dil, sosyal ve beşerî bilimlerde yapay zekâ araçlarının bilimsel araştırma sürecine dâhil edilmesinin etik açıdan uygunluğu tartışılırken bir yandan da yapay zekânın bu süreci nasıl yönettiğine ilişkin uygulamalı çalışmalar yapılmaktadır. Buna göre çeşitli konular hakkında muhtelif yapay zekâ araçlarına sorularak alınan cevapların, uzmanlar tarafından bilgisel doğruluğu, kesinliği ve güvenilirliği test edilmektedir. Bu çalışma, Arap dili alanında yapay zekâ aracının bilimsel araştırmalarda bir araç olarak kullanımını ve bunun sonucu olarak ortaya çıkan bilgisel doğruluk, güvenilirlik ihlalleri, analiz-sentez-yorum kabiliyetini göstermesi bakımından Türkiye’de ChatGPT’yi belâgat alanında ele alan ilk çalışma olma özelliğine sahiptir. Bu bağlamda ChatGPT’ye sorulmak üzere haber-inşâ ayrımı konusu seçilmiştir. Konunun yalnızca Arap dili belâgati kaynaklarında değil aynı zamanda usul, tefsir, kelam, felsefe ve mantık gibi doğrudan ve dolaylı olarak ilişkide bulunduğu diğer kaynaklarda yer alması, yapay zekânın bilgi taramasını kolaylaştırıcı mahiyettedir. Yine kendisine sunulan konunun tartışmalı ve yoruma açık olması, yapay zekâ aracının konuyu muhtelif yönleriyle işleme, analiz etme ve yorum yapma kabiliyetini daha doğru bir şekilde ölçebilmek açısından önemlidir; zira benzer çalışmalarda tartışmalı konuların verilmediği, yalnızca yapay zekânın bilgi aktarımının doğruluğuna odaklanıldığı gözlemlenmiştir. Bu da çalışmamızı, benzer çalışmalardan ayırıcı bir vasıf olarak zikredilebilir. Yapay zekânın en çok bilinen ve sık kullanılan araçlarının başında sürümleri güncellenen ChatGPT gelmektedir. Mevcut haliyle ChatGPT-4o olan son sürümünün kullanımına izin veren programın ücretli ve ücretsiz versiyonu bulunmaktadır. Bunlar arasında en önemli fark, kullanım süresinin ücretsiz versiyonda kısıtlı olmasıdır. Araştırma üç farklı günde yapıldığından bu durum, çalışmanın bilimselliğine zarar verici nitelikte değildir. Bu çalışmada nitel veri analizi yöntemi ile chatGPT-4o kaynakları kullanmada konu ile ilişkisi bakımından birincil ve ikincil kaynakları tespit etme ve alıntılama kabiliyeti, zikredilen kaynakların eser ve yazarı açısından doğruluğu, literatür taramada konuyla ilişkili alanların çeşitliliğini gözetme, belirli aralıklarla değiştirilmeden sorulan sorulara verdiği cevapların tutarlılığı ile verilerin doğruluğu açılarından test edilmiştir. Böylece yapay zekâ aracının bilimsel araştırma yapma kabiliyeti ölçülmüştür. Buna göre öncelikle ChatGPT’den haber-inşâ ayrımındaki problemli kısımları saptaması istenmiştir. Bunun üzerine tartışmalı kısımlara dair veri toplaması ve bu verileri analiz ederek elde ettiği sonuçları değerlendirmesi talep edilmiştir. Bu ayrıma ilişkin teoriler nelerdir? Haber-inşâ ayrımını hangi belâgat kitaplarında bulabilirim? Haber-inşâ ayrımına neden ihtiyaç duyulmuştur? Zikrettiğin bu kaynaklar sence haber-inşâ ayrımının sınırlarını net olarak çizmiş midir? Ardından haber-inşâ ayrımı hakkında öne çıkan teoriler ve tartışılan hususlara kısaca değinildikten sonra araştırmanın yöntemi, sınırlılıkları, veri analizi ve bulguları hakkında bilgi verilmiştir. Son olarak chatGPT-4o’ye sorulan sorulara verdiği cevaplar analiz edilerek değerlendirilmiştir. Çalışmanın sonucunda ChatGPT-4o’nin aktardığı bazı bilgilerin, aldığını söylediği kaynaklarda bulunmadığı tespit edilmiştir. Ayrıca yararlandığı bazı kaynakların mevcut olmadığı, bazılarının ise zikrettiği yazara değil başka bir yazara ait olduğu ortaya çıkmıştır. Konuyu ele alma açısından ise mevcut tartışmalara değinmeyip yalnızca genel bilgiler vermekle yetindiği görülmüştür. Yapay zekâ aracına bazı teoriler açıkça söylenip konuya ilişkin tartışmaların olduğu hatırlatıldığında ise bunları literal anlamda tanımlama ile yetinmiştir. Yaptığı tanımlamalar, tartışmaların olduğu kaynaklardaki bilgileri içermemektedir. Bu nedenlerle yapay zekâ aracı ChatGPT-4o’nin ücretsiz sürümünün bilimsel araştırma sürecinde bir araştırmacı olarak kullanımının elverişli olmadığı saptanmıştır. Zira problemi saptama, veri toplama, analiz etme, sonuçları değerlendirme ve yorum yapma gibi bilimsel araştırma basamaklarını uygulaması bakımından yeterli değildir.

Keywords

• Arap Dili ve Belâgati
• Haber
• İnşâ
• Yapay Zekâ
• ChatGPT

References

1. Akpur, Akın. “Exploring The Potential And Limitations of ChatGPT in Academic Writing and Editorial Tasks”. Fırat Üniversitesi Sosyal Bilimler Dergisi 34/1 (2024), 177-186. https://doi.org/10.18069/firatsbed.1299700
2. Atîk, Abdülaziz. Fi’l-belâgati’l-Arabiyye: İlmü’l-meânî, el-beyân ve el-bediî. Beyrut: Dârü’n-Nehdati’l-ʿArabiyye, ts.
3. Ayhan, Mehmet-Kılıç, Zülal. “Yapay Zekâ Modellerinin Hadis Tarihi Sorularına Verdiği Yanıtların Karşılaştırmalı Analizi: ChatGPT ve Gemini Örneği”. Dinbilimleri Akademik Araştırma Dergisi 24/3 (2024), 137-159. https://doi.org/10.33415/daad.1586164
4. Aykıt, Müzeyyen Asiye. “İslam Felsefesi Alanında Yapay Zeka Modellerinin Değerlendirilmesi: ChatGPT, Google Bard”. Dinbilimleri Akademik Araştırma Dergisi 24/3 (2024), 92-115. https://doi.org/10.33415/daad.1588280
5. Aykul, Abdulmuid-Alam, Muhammed Nurul. “ChatGPT’nin İslâm Ceza Hukuku Özelinde Değerlendirilmesi”. Dinbilimleri Akademik Araştırma Dergisi 24/3 (2024), 193-212. https://doi.org/10.33415/daad.1582902
6. Bâkıllânî, Ebû Bekir-Haydar, İmâmüddin Ahmed. Temhîdü’l-evâil ve telhîsü’d-delâil. Lübnan: Müessesetü’l-Kütübi’s-Sekâfiyye, 1987/1407.
7. Başaran, Ramazan-Özenç, Yasemin Yeşilbaş. “Bilimsel Araştırma Sürecinde Yapay Zeka Araçlarının Kullanımı”. Uluslararası Eğitimde Mükemmellik Arayışı Dergisi 4/1 (2024), 35-53.
8. Büyükada, Samet. “Akademik Yazımda Yapay Zekâ Kullanımını Etik Açıdan İncelenmesi: ChatGPT Örneği”. Rize İlahiyat Dergisi 26 (2024), 1-12. https://doi.org/10.32950/rid.1337208

9. Cançelik, Ali vd. “ChatGPT 4.o’ın Türk İslam Edebiyatı Metin Şerhinde Doğruluk Değerlendirmesi”. Dinbilimleri Akademik Araştırma Dergisi 24/3 (2024), 61-91. https://doi.org/10.33415/daad.1582602
10. Cürcânî, Ebû Bekir Abdülkâhir. Delâilü’l-iʿcâz fî ʿilmi’l-meʿânî. thk. Mahmud Muhammed Şâkir. Cidde: Dârü’l-Medenî, 1992/1413.
11. Cürcânî, es-Seyyid eş-Şerîf. el-Hâşiyetü ale’l-Mutavvel. thk. Reşîd Arazî. Lübnan: Dârü’l-Kütübi’l-ʿİlmiyye, 2007/1428.
12. Cürcânî, es-Seyyid eş-Şerîf. el-İşârât ve’t-tenbîhât fî ʿilmi’l-belâga. thk. Abdülkadir Hüseyin. Mektebetü’l-Âdâb, 1997/1418.
13. Çelik, Hilal vd. “Nitel Veri Analizi ve Temel İlkeleri”. Eğitimde Nitel Araştırmalar Dergisi 8/1 (2020), 379-406. https://doi.org/10.14689/issn.2148-2624.1.8c.1s.16m
14. Daraqel, Baraa vd. “The Performance of Artificial Intelligence Models in Generating Responses to General Orthodontic Questions: ChatGPT vs Google Bard”. American Journal of Orthodontics and Dentofacial Orthopedics 165/6 (2024), 652-662. https://doi.org/10.1016/j.ajodo.2024.01.012
15. Hastings, Janna. AI For Scientific Discovery. New York: CRC Press, 2023.
16. John R. Searle. Söz Edimleri. çev. R. Levent Aysever. Ankara: Ayraç Yayınları, 2000.
17. Kazvînî, Hatîb. et-Telhîs fî ʿulûmi’l-belaga. thk. Abdurrahman Berkûkî. Dârü’l-Fikri’l-Arabî, 1904.
18. Kefevî, Ebü’l-Bekâ. el-Külliyyât. thk. Muhammed Tâmir-Enes eş-Şâmî. Kahire: Dârü’l-Hadîs, 2014/1435.
19. Kılınç, Delal Dara-Mansız, Duygu. “Examination of the Reliability and Readability of Chatbot Generative Pretrained Transformer’s (ChatGPT) Responses to Questions about Orthodontics and the Evolution of These Responses in an Updated Version”. American Journal of Orthodontics and Dentofacial Orthopedics 165/5 (2024), 546-555. https://doi.org/10.1016/j.ajodo.2023.11.012
20. Latour, Bruno. “Essays On Science and Society: From the World of Science to The World of Research”. Science 280 (1998), 208-209.
21. Makrygiannakis, Miltiadis A. vd. “Evidence-based Potential of Generative Artificial Intelligence Large Language Models in Orthodontics: A Comparative Study of ChatGPT, Google Bard, and Microsoft Bing”. European Journal of Orthodontics 46 (2024). https://doi.org/10.1093/ejo/cjae017
22. Gelenbevî, Ebü’l-Feth İsmail. Gelenbevî fî ʿilmi’l-mantık ʿala metni Îsâgûcî. thk. Cadullah Bessam Salih. Amman: Darü’n-Nur, 2016/1437.
23. Neseb, Abdülcebbar Zerkûş. “Devru ʿulemâi usûli’l-fıkh fî tatavvüri’l-buhûsi’l-lügaviyye: el-Cümeli’l-inşâiyye ve’l-haberiyye nemûzecen”. Bühûs fi’l-Lügati’l-Arabiyye 17 (2017/1439), 1-18.
24. Okur, Hüseyin-Ekşi, Ahmet. “Yapay Zekâ (AI) Teknolojilerinin İslam Eşya Hukuku Bilgisi Üzerine Bir Değerlendirme: ChatGPT ve Google Gemini Karşılaştırması”. Dinbilimleri Akademik Araştırma Dergisi 24/3 (2024), 29-54. https://doi.org/10.33415/daad.1582059
25. Önder, Şeyma Gülsüm-Yavuz, Galip. “Klasik Dönem Arap Dilcilerinin Yalan Kavramına İlişkin Tanımlarının Semiyotik Analizi”. Uludağ Üniversitesi İlahiyat Fakültesi Dergisi 30/2 (2021), 497-515. https://doi.org/10.51447/uluifd.938372
26. Özcan, Zeki. Dil Felsefesine Giriş. Ankara: Sentez Yayıncılık, 2022.
27. Russell, Stuart J.-Peter Norvig (ed.). Artificial Intelligence A Modern Approach. United Kingdom: Pearson, 4. Basım, 2022.
28. Sahrâvî, Mesud. et-Tedâvüliyye ʿinde ʿulemâi’l-ʿArab. Beyrut: Dârü’t-Tâlia, 2005.
29. Sekkâkî, Ebû Yaʿkûb. Miftâhü’l-ʿulûm. thk. Abdülhamid Hindâvî. Beyrut: Darü’l-Kütübi’l-İlmiyye, 3. Basım, 1435/2014.
30. Şâfiî, Muhammed b. İdris. er-Risâle. thk. Ahmed Muhammed Şakir. Mısır: Matbaatü Mustafa el-Halebî, 1. Basım, 1938/1357.
31. Teftâzânî, Saʿdüddîn. Şerhü’s-Saʿd: Muhtasarü’l-Meʿânî fi ʿulûmi’l-belâga. thk. Muhammed Muhyiddin Abdülhamid. 4 Cilt. Kuveyt: Dârü’z-Zâhiriyye, 2019.
32. Teftâzânî, Saʿdüddîn. el-Mutavvel: Şerhu Telhîsi’l-Miftâhi’l-ulûm. thk. Abdülhamid Hendâvî. Lübnan: Dârü’l-Kütübi’l-ʿİlmiyye, 3. Basım, 2001/1422.
33. Withfield, Sharon-Hofmann, Melissa A. “Elicit: AI Literature Review Research Assistant”. Public Services Quarterly 19/3 (2023), 201-207. https://doi.org/10.1080/15228959.2023.2224125
34. Xu, Yongjun vd. “Artificial Intelligence: A Powerful Paradigm for Scientific Research”. The Innovation 2/4 (2021). https://doi.org/10.1016/j.xinn.2021.100179