Accuracy Evaluation of ChatGPT 4.0 in Text Annotation of Turkish Islamic Literature

Yıl 2024, Cilt: 24 Sayı: 3, 69 - 91, 31.12.2024

Ali Cançelik , İhsan Şen , Emrullah Yakut

https://doi.org/10.33415/daad.1582602

Öz

This study explores the use of artificial intelligence, specifically ChatGPT-4.0, in analyzing Turkish Islamic literature with a focus on text annotation and accuracy evaluation. The research examines twenty couplets from a classical qasida dedicated to Sultan Selim I. The first ten couplets were analyzed using guided prompts on the music-emotion relationship, while the remaining ten were interpreted without specific guidance, allowing autonomous interpretation. Results show that the guided approach provided high accuracy, thematic relevance, and consistency, while the unguided responses yielded greater clarity and specificity, though with reduced factual precision. Using an Accuracy of Information Index (AOI) with six criteria, this study demonstrates the value of prompt structuring in enhancing AI’s focus on complex themes within specialized literature. Overall, findings suggest that AI can effectively support traditional methods in Turkish Islamic literary studies, contributing a complementary analytical tool for more accessible interpretation.

Anahtar Kelimeler

Turkish Islamic Literature, Artificial Intelligence, ChatGPT, Text Annotation, Accuracy Evaluation Analysis

Chatgpt 4.0’ın Türk İslam Edebiyatı Metin Şerhinde Doğruluk Değerlendirmesi

Öz

Bu çalışma, yapay zekânın Türk İslam edebiyatı metin şerhi üzerindeki etkisini incelemektedir. Çalışmada, ChatGPT-4o sürümü kullanılarak Türk İslam edebiyatına ait kaside türünde bir metnin 20 beyti analiz edilmiştir. İlk 10 beyit, müzik-duygu ilişkisi çerçevesinde yönlendirilerek analiz edilirken, son 10 beyit yönlendirme olmaksızın yorumlanmıştır. Yönlendirme ile yapılan değerlendirmede bilgi doğruluğu, kanıtlara dayanma ve konu ilgililiği puanları yüksek çıkarken, yönlendirmesiz değerlendirmede açıklık ve spesifiklik puanları artmıştır. Çalışma, yapay zekânın Türk İslam edebiyatı metin analizinde sistematik bir yaklaşım sunduğunu, ancak doğruluk ve güvenilirlik açısından dikkat edilmesi gereken unsurlar olduğunu ortaya koymaktadır. Yönlendirme kullanımı, analizlerin daha tutarlı ve konu odaklı olmasını sağlarken, yönlendirmesiz analizler daha bağımsız yorum fırsatı sunmuştur.

Anahtar Kelimeler

Türk İslam Edebiyatı, Yapay Zekâ, ChatGPT, Metin Şerhi, Doğruluk Değerlendirme Analizi

Kaynakça

• Barkçin, Savaş. 40 Makam 40 Anlam. İstanbul: Ketebe Yayınevi, 2. Basım, 2021.
• Cançelik, Ali. 18. Yüzyıl Klasik Türk Şiirinde Musiki Bestekâr, Terminoloji ve Tahlil. Konya: Entropi Akademi, 2022.
• Cançelik, Ali. Şiir Aynasında Tarih. Konya: Entropi Akademi, 1. Basım, 2022.
• Çetinkaya, Yalçın. İhvân-ı Safâ’da Müzik Düşüncesi. İstanbul: İnsan Yayınları, 1995.
• Genç, M. Fatih - Uddin, E.A. “The model of religious education in today’s secular and multicultural societies - Post-Confessional Inclusivist Religious Education (PCIRE)”. British Journal of Religious Education (ISI) 45/2 (2022), 127-137.
• Groves, Robert M. Survey Methodology. United States of America: Wiley, 2. Basım, 2008.
• Kaplan, Mehmet. Türk Edebiyatı Üzerinde Araştırmalar. İstanbul: Dergâh Yayınları, 4. Basım, 1997.
• Köprülü, Fuad. Türk Edebiyatında İlk Mutasavvıflar. Ankara: Akçağ Yayınları, 2003.
• Merton, Robert King. Social Theory and Social Structure. New York: Free Pres, 1968.
• Öncel, Mehmet. Medeniyet değerlerimiz:Musiki. İstanbul: Evrensel Değerler, 2021.
• Öncel, Mehmet - Çergel, Muhammet Ali. Türk Müzikolojisinin Kurucusu Rauf Yektâ Bey. 3 Cilt. İstanbul: Ketebe Yayınevi, 2024.
• Özkan, İsmail Hakkı. Türk Mûsikîsi Nazariyâtı ve Usûlleri Kudüm Velveleleri. İstanbul: Ötüken Neşriyat, 8. Basım, 2006.
• Pala, İskender. Ansiklopedik Divan Şiiri Sözlüğü. Istanbul: Ötüken Neşriyat, 7. Baskı., 2000.
• Pala, İskender. “Bir Elmanın İki Yarısı: Klasik Şiir ve Osmanlı Tarihi”. Türk Kültürü İnceleme Dergisi 3 (ts.), 141-154.
• Rabbie, Earl R. The Practice of Social Research. Avustralya: Cengage AU, 15. Basım, 2020.
• Şahiner, Necmeddin. Avrupa’yı Titreten Musiki Mehter. İstanbul: Elips Kitap, 2007.
• Şemseddin Sâmi. Kamus-ı Türki. Ankara: Türk Dil Kurumu Yayınları, 4. Baskı., 2023.
• Şen, İhsan. II. Abdülhamid Döneminde Merâsim Musikîsi. İlahiyat Yayınları: Ankara, 2020.
• Tanrıkorur, Cinuçen. Osmanlı Dönemi Türk Mûsikîsi. İstanbul: Dergâh Yayınları, 2005.
• Tarlan, Ali Nihad. Edebiyat Meseleleri. İstanbul: Ötüken Yayınları, 1981.
• Tarlan, Ali Nihad. Fuzûlî Divanı Şerhi. Ankara: Akçağ Yayınları, 4. Basım, 2005.
• Turabi, Ahmet Hakkı. Gevrekzâde Hafız Hasan Efendi ve Mûsikî Risâlesi. İstanbul: Rağbet Yayınları, 2005.