ANALYZING THE PERFORMANCE OF DIFFERENT LARGE LANGUAGE MODELS OF CHATGPT ON TURKISH HOMONYMS

Year 2024, Volume: 16 Issue: 3, 365 - 390, 19.07.2024

Çiğdem Aytekin , Talha Bedir Karabina

Abstract

ChatGPT, the popular topic in recent periods, and its achievements show us how much artificial intelligence has developed and what it promises for the coming years. This study focuses on the differences between ChatGPT and its currently used Large Language Models. The performances of ChatGPT-3.5 and ChatGPT-4 are analyzed on Turkish homonyms. One major challenge faced by Natural Language Processing systems used in the generation of Large Language Models is identifying word-sense ambiguity. In order to detect these ambiguities, the 200 most commonly used synonyms in Turkish were selected as the sample. Then, sentences were formed by using a single homonym twice in the same sentence to convey two different meanings, and ChatGPT-3.5 and then ChatGPT-4 were asked to detect the different meanings. ChatGPTs generated outputs in which they could not know either of the two meanings and sometimes could not know both meanings. In line with the objective, the outputs from ChatGPT-3.5 and ChatGPT-4 models were compared. As expected, ChatGPT-4, with its larger parameters and datasets, outperformed ChatGPT-3.5. Success rate distribution analysis, performance variation based on the homonym, the number of characters of the homonym and the success rate are the other statistical tests carried out.

Keywords

ChatGPT-3.5, ChatGPT-4, Large Language Model, Homonym, Linguistic Ambiguity.

CHATGPT’NİN FARKLI BÜYÜK DİL MODELLERİ PERFORMANSLARININ TÜRKÇEDEKİ EŞ ADLI KELİMELER ÜZERİNDEN İNCELENMESİ

Abstract

Son zamanların popüler konusu ChatGPT ve gerçekleştirdiği başarılı işler, yapay zekânın ne kadar geliştiğini ve ilerleyen yıllar için vadettiklerini bizlere göstermektedir. ChatGPT’nin hâlihazırda kullanılan Büyük Dil Modelleri arasındaki farklılıklar bu çalışmanın konusunu oluşturmaktadır. ChatGPT-3.5 ve ChatGPT-4’ün performansları Türkçedeki eş adlı kelimeler üzerinden incelenmiştir. Büyük Dil Modelleri oluşturulurken kullanılan Doğal Dil İşleme sistemlerinde aşılması en büyük zorluklardan birisi de bu sistemlerin kelime-anlam belirsizliğini ayırt edebilme becerileridir. Bu belirsizlikleri tespit etmek amacıyla Türkçede en yaygın olarak kullanılan 200 eş adlı kelime örneklem olarak seçilmiştir. Ardından tek bir eş adlı kelimenin, aynı cümle içerisinde iki farklı anlama da gelecek şekilde iki kez kullanılmasıyla cümleler oluşturulmuş ve öncelikle ChatGPT-3.5’den sonra ChatGPT-4’den farklı anlamları tespit etmesi istenmiştir. ChatGPT’ler her iki anlamdan birini bilemediği ve bazen iki anlamı da bilemediği çıktılar üretmiştir. Amaç doğrultusunda ChatGPT-3.5 ve ChatGPT-4 modellerinden alınan çıktılar karşılaştırılmıştır. ChatGPT 3.5’e kıyasla daha fazla parametreye ve veri setine sahip olan ChatGPT-4, beklendiği gibi çok daha iyi bir performans göstermiştir. Başarı oranı dağılım analizi, eş adlı kelimeye göre performans değişikliği, eş adlı kelimenin karakter sayısı ve başarı oranı, istatistiksel testler yapılan diğer analizlerdir.

Keywords

ChatGPT-3.5, ChatGPT-4, Büyük Dil modeli, Eş Adlı Kelime, Dil Bilimsel Belirsizlik.

References

• Alawida, M., Mejri, S., Mehmood, A., Chikhaoui, B., & Isaac Abiodun, O. (2023). A comprehensive study of chatgpt: advancements, limitations, and ethical considerations in natural language processing and cybersecurity. Information, 14(8). https://doi.org/10.3390/info14080462
• Atmaca, E. (2013). Eski oğuz türkçesinden günümüz türkiye türkçesine eşgösterenlilik. Dil Araştırmaları, 12(12), 117-138.
• Chen, L., Zaharia, M., & Zou, J. (2023). How is ChatGPT's behavior changing over time? https://doi.org/10.48550/arXiv.2307.09009
• Çetiner, M., Yıldırım, A., Onay, B., & Öksüz, C. (2021). KeNet ile kelime anlam belirsizliği giderme. 29th Signal Processing and Communications Applications Conference (SIU).
• Doğan, E. (2020). Türkiye Türkçesinin bilinen ilk sesteş kelimeler sözlüğü lisânımızda elfâz-i müteşâbihe (1924) adlı eser üzerine. Uluslararası Türk Lehçe Araştırmaları Dergisi (Türklad), 4(2), 229-249. https://doi.org/10.30563/ turklad.794981
• Eren, U. (2014). Resimli, eş anlamlı, eş sesli, zıt anlamlı kelimeler sözlüğü. Yuva yayınları.
• Erkınay Tamtamış, H. K. (2021). Türkçede eş adlılık. Akademik Dil ve Edebiyat Dergisi, 5(1), 619-653. https://doi.org/10.34083/akaded.899583
• Eyecioğlu Özmutlu, A. (2021). Doğal dil işleme. In Bilgisayar Bilimlerinde Teorik Ve Uygulamalı Araştırmalar (ss. 129-154). Efe Akademi Yayınları.
• Harsha, N. S., Kumar, C. N., Sonthi, V. K., & Amarendra, K. (2022). Lexical ambiguity in natural language processing applications. 2022 International Conference on Electronics and Renewable Systems (ICEARS), Hazar, M., & Tarhan, O. (2013). Türk anlam bilimi terimleri sözlüğü. Eğitim Yayınevi.
• Heaven, W. D. (2023). The inside story of how ChatGPT was built from the people who made it: MIT Technology Review. https://www.technologyreview. com/2023/03/03/1069311/inside-story-oral-history-how-chatgpt-built-openai/ Kolektif. (2017). Eşanlamlı zıt anlamlı eşsesli kelimeler sözlüğü. Parıltı Yayınları. Komisyon. (2023). Eş anlamlı zıt anlamlı ve eş sesli kelimeler sözlüğü. Ata Yayınları. Levkovich, I., & Elyoseph, Z. (2023). Suicide risk assessments through the eyes of chatgpt-3.5 versus chatgpt-4: vignette study. JMIR Ment Health, 10. https:// doi.org/https://doi.org/10.2196/51232