Digital Paleography in Arabic Manuscripts: The Performance Levels Of The Gemini Model in Recognizing Naskh, Ta‘liq, And Ruq‘ah Scripts

Abstract

The digitization of manuscripts remains a critical challenge in Digital Humanities due to the morphological complexity of Arabic scripts. This study evaluates the performance of Large Language Models, specifically Gemini, in digitizing Arabic manuscripts. Using manuscripts in naskh, ruq‘ah, and ta‘līq scripts, model outputs were analyzed via Levenshtein distance, Word Error Rate, and Character Error Rate metrics. Results indicate recognition accuracy varies by script, with raw character accuracy at 97.91% for naskh, 94.32% for ruq‘ah, and 93.51% for ta‘līq. A substantial portion of errors in ruq‘ah and ta‘līq arose from orthographic variations in the letter yā and the hamza. Excluding these anomalies, accuracy across all scripts consistently reached the 97–98% range. The study concludes that while AI models demonstrate robust performance in deciphering manuscript templates, their integration into classical text edition (tahqīq) requires careful oversight of paleographic nuances, despite their high potential to assist professional publication. The experiment was conducted with the Gemini 3.1 Pro model under a fixed-prompt protocol. Since only the opening page of a single manuscript was used per script type, the findings should be interpreted as preliminary indicators rather than definitive conclusions.

Keywords

• Tafsir
• Hadith
• Digital Humanities
• LLM
• HTR/OCR

Arapça El Yazmalarında Dijital Paleografi: Gemini Modelinin Nesih, Talik ve Rika Hatlarını Tanımadaki Başarı Düzeyi

Abstract

İslâm araştırmalarının ana kaynaklarını teşkil eden yazma eserlerin dijital ortama aktarılması, Arap yazısının morfolojik yapısı, harfin kelime içerisindeki konumuna göre değişen harf formları ve hat çeşitliliği sebebiyle Dijital Beşerî Bilimler alanında temel bir problem alanı olarak öne çıkmaktadır. Matbu metinler için geliştirilen klasik optik karakter tanıma (OCR) sistemleri belirli bir başarı düzeyine ulaşmış olsa da yazma eserlerde karşılaşılan paleografik çeşitlilik, düzensiz satır yapıları ve müstensih farklılıkları bu sistemlerin etkinliğini önemli ölçüde sınırlamaktadır. Bu sebeple, son yıllarda özellikle el yazısı metinlerin tanınmasına odaklanan Handwritten Text Recognition (HTR) sistemleri geliştirilmiştir. Buna ilaveten bağlamsal çıkarım kapasitesi yüksek Büyük Dil Modelleri’nin (LLM) bu sürece entegre edilmesi yeni bir araştırma alanı oluşturmuştur. Bu çalışma, Gemini modelinin Arapça yazma eserleri dijital metne dönüştürme performansını, klasik paleografi ilkeleri ve İSAM tahkikli neşir esasları (İTNES) çerçevesinde nicel olarak incelemektedir. Nüsha seçiminde Osmanlı ilim tarihinin velûd isimlerinden Yusufefendizâde’nin (ö. 1167/1754) eserleri merkeze alınmış ve nesih, rika ile talik hatlarıyla istinsah edilen üç farklı nüsha belirlenmiştir. Değerlendirme sürecinde modele bilinçli bir metodolojik gerilim içeren bir komut verilmiş; metne harfiyen sadakat talep edilirken aynı anda hemze ve yâ yazımında modern ortografik kuralların uygulanması istenmiştir. Bu tercih, modelin paleografik sadakat ile editoryal normalizasyon arasındaki dengeyi nasıl kurduğunu ölçmeyi hedeflemektedir. Seçilen metinler, hat türlerinin biçimsel özellikleriyle birlikte tefsir, hadis ve kıraat gibi farklı disiplinlere ait metinleri de sınayacak şekilde belirlenmiştir. Nesih hattı örneği olarak, müellifin Kâdî Beyzâvî’nin Fâtiha tefsirine yazdığı en-Nefhatü’l-fâiha adlı hâşiye; talik hattı için Necâhu’l-kârî adlı Sahîh-i Buhârî şerhinin ilk sayfası; rika hattını temsilen ise şâz kıraatlere reddiye mahiyetindeki Risâle fî reddi’l-kırâati bi’ş-şevâz seçilmiştir. Çalışmada her hat türü için birer sayfa olmak üzere toplam üç sayfa işlenmiştir; nesih örneği 144 kelime ve 813 karakter, talik örneği 256 kelime ve 1.356 karakter, rika örneği ise 216 kelime ve 1.215 karakterden oluşmaktadır. Seçilen nüshaların ilk sayfaları, filtreleme veya kontrast düzenlemesi gibi herhangi bir ön işleme tabi tutulmadan tam sayfa ekran görüntüsü hâlinde modele aynı prompt ile verilmiş; böylece modelin satır akışı ve sayfa düzeni gibi bağlamsal ipuçlarından yararlanması amaçlanmıştır. Model çıktıları üzerinde Python tabanlı Google Colab ortamında standart bir normalizasyon protokolü uygulanmıştır. Elde edilen çıktılar, Levenshtein mesafesine dayalı Karakter Hata Oranı (CER) ve Kelime Hata Oranı (WER) metrikleri üzerinden tahlil edilmiştir. Bulgular, ham doğruluk oranlarının nesihte %97,91, rikada %94,32 ve talikte %93,51 seviyesinde gerçekleştiğini göstermektedir. Ancak hata analizleri, yanlışların büyük ölçüde görsel tanıma eksikliğinden ziyade hemze ve yâ gibi imlâ tercihlerinden kaynaklandığını ortaya koymuştur. Bu unsurlar izole edildiğinde düzeltilmiş doğruluk oranlarının her üç hat türünde de %97–98 bandına ulaştığı tespit edilmektedir. Bu bulgular, standart CER ve WER metriklerinin Arap yazısı bağlamında imlâ esnekliklerine aşırı duyarlı olduğunu ve tek başına kullanıldığında yanıltıcı sonuçlar üretebileceğini göstermektedir. Sonuç olarak, yapay zekâ destekli metin tanıma süreçlerinin uzman denetimiyle birlikte kullanıldığında yarı otomatik bir dijitalleştirme iş akışının temelini oluşturabilecek olgunluğa ulaştığı ve bunun tahkik çalışmalarına belirli oranda hız kazandıracağı anlaşılmaktadır. Bununla birlikte, bu süreçlerin güvenilirliği, paleografik uzmanlıkla desteklenen titiz tahkik çalışmalarına bağlıdır. Kurumsal düzeyde, özellikle TÜYEK gibi geniş koleksiyonlara sahip kütüphanelerin, yapay zekâ destekli ön-transkripsiyon sistemlerini mevcut dijital arşivlerine entegre etmeleri stratejik bir gereklilik olarak görünmektedir.

Keywords

• Tefsir
• Hadis
• Dijital Beşeri Bilimler
• LLM
• HTR/OCR

References

1. Akça, Sümeyye vd. “Osmanlıca Metinlerin Dijital/Otomatik Transkripsiyonu: Mevcut Durum ve Öneriler”. Osmanlı Araştırmaları 65/65 (27 Mayıs 2025), 351-364. https://doi.org/10.18589/oa.1719330
2. Aladağ, Fatma. “Dijital Beşerî Bilimler ve Türkiye Araştırmaları: Bir Literatür Değerlendirmesi”. Türkiye Araştırmaları Literatür Dergisi 18/36 (01 Aralık 2020), 773-796.
3. Anjaneyulu, Pendyala Sri - Rao, Kunjum Nageswara. “Handwritten Text Recognition System Using Deep Learning”. International Journal of Engineering Technology Research & Management 9/7 (2025), 340-348.
4. Atçeken, İsmail Hakkı. Endülüs’ün Fethi ve Mûsâ b. Nusayr. Ankara: Araştırma Yayınları, 2002.
5. Bekiroğlu, Harun - Tuğrul, Talip. İlahiyat Araştırmalarında Veri Taraması: Veri Tabanları - Kütüphaneler - Atıf Dizinleri. Ankara: Oku Okut Yayınları, 2021. https://doi.org/10.24146/tk.1223960
6. Bhatia, Gagan vd. “Qalam: A Multimodal LLM for Arabic Optical Character and Handwriting Recognition”. Proceedings of The Second Arabic Natural Language Processing Conference. 210-224. Bangkok, Thailand: Association for Computational Linguistics, 2024. https://doi.org/10.18653/v1/2024.arabicnlp-1.19
7. Bilgin Tasdemir, Esma F. “Printed Ottoman Text Recognition Using Synthetic Data and Data Augmentation”. International Journal on Document Analysis and Recognition (IJDAR) 26/3 (Eylül 2023), 273-287. https://doi.org/10.1007/s10032-023-00436-9
8. Broadwell, Peter vd. “Multilingual Handwritten Text Recognition (HTR) Models for Large-scale Processing of Archival Documents in Low-Resourced Arabic-Script Languages”. SSRN, 2025. SSRN, DOI.org (Crossref). Erişim 06 Şubat 2026. https://doi.org/10.2139/ssrn.5190984

9. Chan, Adrian vd. “HATFormer: Historic Handwritten Arabic Text Recognition with Transformers”. arXiv, 2024. arXiv, DOI.org (Datacite). Erişim 15 Mart 2026. https://doi.org/10.48550/ARXIV.2410.02179
10. Derman, M. Uğur. “Hat”. Türkiye Diyanet Vakfı İslam Ansiklopedisi. 16/427-437. İstanbul: Türkiye Diyanet Vakfı Yayınları, 1997.
11. Derman, M. Uğur. “Nesih”. Türkiye Diyanet Vakfı İslam Ansiklopedisi. 33/1-3. İstanbul: Türkiye Diyanet Vakfı Yayınları, 2007.
12. Derman, M. Uğur. “Talik”. Türkiye Diyanet Vakfı İslam Ansiklopedisi. 39/507-508. İstanbul: Türkiye Diyanet Vakfı Yayınları, 2010.
13. Doğan, Nuran Sarıcı. “Uygulamalı Dijital İlahiyat Araştırmaları I Eğitim Programı Tanıtımı” 66 (2024), 257-260.
14. Gacek, Adam. Arabic Manuscripts: A Vademecum for Readers. Leiden: Brill, 2009.
15. Gözeler, Esra vd. “Corpus Coranicum projesi: Kur’an’ı Geç Antik döneme ait bir metin Olarak Okumak”. Ankara Üniversitesi İlahiyat Fakültesi Dergisi 53/2 (2012), 219-253. https://doi.org/10.1501/Ilhfak_0000001373
16. Holley, Rose. “How Good Can It Get? Analysing and Improving OCR Accuracy in Large Scale Historic Newspaper Digitisation Programs”. D‐Lib Magazine 15 (Nisan 2009), 1-13.
17. İbn İzârî, Ebü’l-Abbâs Ahmed b. Muhammed b. İzârî el-Merrâküşî. el-Beyânü’l-Muğrib fî İhtisâri Ahbâri Mülûki’l-Endelüs ve’l-Mağrib. thk. Beşşâr Avvâd Ma’ruf - Muhammed Beşşar A’vvâd. 1-4 Cilt. Tunus: Dârü’l-Garbi’l-İslamî, 2013.
18. İbnü’l-Kūtıyye, Ebû Bekr Muhammed b. Ömer b. Abdilazîz b. İbrâhîm el-Endelüsî el-İşbîlî el-Kurtubî. Târîhu iftitâhi’l-Endelüs. thk. İbrahim Ebyâri. Kahire&Beyrut: Dârü’l-Kitâbü’l-Mısrî, 1989.
19. Kara, İrfan. Kur’an Araştırmalarında Yapay Zekâ. İstanbul: Kitap Dünyası Yayınları, 2024.
20. Karayiğit, Rahime. “Dijitalleştirme Çalışmalarında El Yazması Metinlerin Yapay Zekâ Yardımıyla Deşifre Edilmesi eScriptorium Programı Örneği”. İslam Araştırmaları Dergisi 53 (20 Ocak 2025), 189-197. https://doi.org/10.26570/isad.1530174
21. Kessentini, Y. vd. “A Multi-stream Approach to Off-Line Handwritten Word Recognition”. Ninth International Conference on Document Analysis and Recognition (ICDAR 2007). 317-321. Curitiba, Parana, Brazil: IEEE, 2007. https://doi.org/10.1109/ICDAR.2007.4378724
22. Kiessling, Benjamin vd. “Advances and Limitations in Open Source Arabic-Script OCR: A Case Study”. Digital Studies / Le champ numérique 11/1 (14 Aralık 2021). https://doi.org/10.16995/dscn.8094
23. Kirmizialtin, Suphan - Wrisley, David. “Automated Transcription of Non-Latin Script Periodicals: A Case Study in the Ottoman Turkish Print Archive”. arXiv, 2020. arXiv, DOI.org (Datacite). Erişim 06 Şubat 2026. https://doi.org/10.48550/ARXIV.2011.01139
24. Makkarî, Ebü’l-Abbâs Şihâbüddîn Ahmed b. Muhammed b. Ahmed el-Kureşî el-Makkarî et-Tilimsânî el-Fâsî. Nefhu’t-tîb min gusni’l-Endelüsi’r-ratîb ve zikru vezîrihâ Lisâni’d-dîn İbni’l-Hatîb. thk. İhsan Abbas. 1-8 Cilt. Beyrut: Dâru Sâdr, 1968.
25. Mnasri, Zied. “Arabic-Character Historical Document Processing: Why and How To?” Archeologie tra Oriente e Occidente 1 (2022), 49-61.
26. Muehlberger, Guenter vd. “Transforming Scholarship in the Archives through Handwritten Text Recognition: Transkribus as a Case Study”. Journal of Documentation 75/5 (09 Eylül 2019), 954-976. https://doi.org/10.1108/JD-07-2018-0114
27. Müellifi Meçhul. Ahbâru Mecmû‘a. thk. İbrahim Ebyâri. Kahire: Dârü’l-Kütübi’l-Mısrî, 1989.
28. Najam, Rayyan - Faizullah, Safiullah. “Analysis of Recent Deep Learning Techniques for Arabic Handwritten-Text OCR and Post-OCR Correction”. Applied Sciences 13/13 (27 Haziran 2023), 7568. https://doi.org/10.3390/app13137568
29. Narmanlı, Faruk. Cumhuriyete Geçiş Döneminde Hat Sanatı. Samsun: Ondokuz Mayıs Üniversitesi, Sosyal Bilimler Enstitüsü, Doktora Tezi, 2023.
30. Nockels, Joe vd. “Understanding The Application of Handwritten Text Recognition Technology in Heritage Contexts: A Systematic Review of Transkribus in Published Research”. Archival Science 22/3 (Eylül 2022), 367-392. https://doi.org/10.1007/s10502-022-09397-0
31. Özkafa, Fatih. “Hat Sanatında Osmanlı İnkılâbı”. Osmanlı Sanatında Değişim ve Dönüşüm. ed. Ayşe Budak - Mustafa Yılmaz. 355-389. Konya: Literatürk Academia, 2019.
32. Saraçoğlu, Tuba. “Dijital Beşerî Bilimler Bağlamında İlahiyat/İslâmî İlimler”. İslam Tetkikleri Dergisi / Journal of Islamic Review 12/2 (29 Eylül 2022), 845-891. https://doi.org/10.26650/iuitd.2022.1123964
33. Sayın, Betül. “Bir Örnek Üzerinden Rik’a Yazı Karakterinin İncelenmesi”. FSM İlmi Araştırmalar İnsan ve Toplum Bilimleri Dergisi 23 (12 Haziran 2024), 305-330. https://doi.org/10.16947/fsmia.1499544
34. Serin, Muhittin. Hat Sanatı ve Meşhur Hattatlar. İstanbul: Kubbealtı Neşriyatı, 2010.
35. Serin, Muhittin. “Rika”. Türkiye Diyanet Vakfı İslam Ansiklopedisi. 35/107-109. İstanbul: Türkiye Diyanet Vakfı Yayınları, 2008.
36. Tasdemir, Esma F. Bilgin vd. “Automatic Transcription of Ottoman Documents Using Deep Learning”. Document Analysis Systems. ed. Giorgos Sfikas - George Retsinas. 14994/422-435. Lecture Notes in Computer Science. Cham: Springer Nature Switzerland, 2024. https://doi.org/10.1007/978-3-031-70442-0_26
37. Terras, Melissa. “Chapter 7: Inviting AI into the Archives: The Reception of Handwritten Recognition Technology into Historical Manuscript Transcription”. Archives, Access and Artificial Intelligence. ed. Lise Jaillant. 179-204. Bielefeld University Press, 2022. https://doi.org/10.1515/9783839455845-008
38. Tuama, Bilal Abdulrahman - Mohamed, Farhan. “A Systematic Literature Review of Deep Learning Methods for Handwritten Text Recognition in Historical Arabic Manuscripts”. Engineering, Technology & Applied Science Research 15/4 (02 Ağustos 2025), 25772-25782. https://doi.org/10.48084/etasr.12123
39. Uzan, Sare - Dölek, İshak. “Osmanlıca-Türkçe Uçtan Uca Aktarım Sistemi-Osmanlica.com Projesinin Türk Dili ve Edebiyatı Alanına Katkıları”. Fırat Üniversitesi Sosyal Bilimler Dergisi 35/3 (23 Eylül 2025), 907-924. https://doi.org/10.18069/firatsbed.1570398
40. Ünal Şahin, Ayşenur Elif. “Dijital Beşeri Bilimlerin Kur’an El Yazmalarına Uygulanabilirliği: Yöntemler, Uygulamalar ve Karşılaşılan Sorunlar”. Tefsir Araştırmaları Dergisi 9/1 (30 Nisan 2025), 214-231. https://doi.org/10.31121/tader.1643718
41. Vaswani, Ashish vd. “Attention Is All You Need”. arXiv, 2017. arXiv, DOI.org (Datacite). Erişim 15 Mart 2026. https://doi.org/10.48550/ARXIV.1706.03762
42. Yazır, Mahmud Bedreddin. Medeniyet Âleminde Yazı ve İslâm Medeniyetinde Kalem Güzeli I. İstanbul: Diyanet İşleri Başkanlığı Yayınları, 2023.
43. Yıldız, A. Vahap. “Osmanlılar’da Yazı Çeşitleri” 17/28 (2012), 43-64.
44. Yılmaz, Okan Kadir. İSAM Tahkikli Neşir Kılavuzu. İstanbul: İSAM Yayınları, 2018.
45. Zou, Yuanhao - Tekgürler, Merve. Multi-Modal Large Language Models for Historical Handwritten Text Recognition (HTR) and Data Augmentation. arXiv preprint, 2024.