ChatGPT ve Gemini AI Diyaloglarında Pragmatiği Analiz Etmek İçin Grice'in İlkeleri ve Söylem Eylemi Teorisini Uygulamak

Öz

ChatGPT ve Gemini tarafından oluşturulan konuşmalarda pragmatik ilkelerin uygulanması meselesi, araştırma için kritik öneme sahiptir. Grice'ın Maksimleri ve Konuşma Eylemi Teorisi, konuşmaların daha yapılandırılmış, ilgili ve amaçlı hale gelmesi için rehberlik sağlayan temel bir çerçeve sunmaktadır. Bu çalışma, ChatGPT ve Gemini gibi AI modelleri tarafından üretilen konuşmalarda Grice'ın Maksimlerinin ve Konuşma Eylemi Teorisi'nin tamamının uygulanmasına dair daha kapsamlı bir anlayış sağlamayı amaçlamaktadır. Araştırma, karma yöntemler yaklaşımını kullanmaktadır. Veriler, T-testi kullanılarak nicel olarak analiz edilmekte, çalışma geçerliliği ve güvenilirliği veri üçgenlemesiyle sağlanmaktadır. Çalışmanın bulguları, her iki AI modelinin, ChatGPT ve Gemini AI, Grice'ın Maksimlerini uygulamada olağanüstü bir yetenek sergilediğini ortaya koymaktadır; her iki modelin ortalama puanı 1.00 olup, bu da konuşmada relevans, miktar, kalite ve biçem açısından yüksek tutarlılık olduğunu göstermektedir. Her iki model de Konuşma Eylemi Teorisi'ni uygularken benzer sonuçlar göstermektedir, ortalama puan 0.75'tir, ancak konuşmanın daha ince niyetlerini veya etkilerini anlamada zorluklar yaşanmaktadır. Grice'ın Maksimleri, konuşma dinamiklerini açıklamada daha etkili olduğu kanıtlanırken, Konuşma Eylemi Teorisi hala daha fazla gelişime ihtiyaç duymaktadır. Karşılaştırmalı analiz sonuçları, her iki AI modelinin, ChatGPT ve Gemini AI, Grice'ın Maksimlerini ve Konuşma Eylemi Teorisi'ni uygulamada neredeyse aynı performansı sergilediğini göstermektedir. Grice'ın Maksimleri için, iki model arasındaki ortalama puan 1.00'a ulaşmakta ve önemli bir fark bulunmamaktadır (p-değeri = 0.560), bu da pragmatik ilkelerin uygulanmasında yüksek tutarlılığı işaret etmektedir. Konuşma Eylemi Teorisi için ise, etki büyüklüğünde küçük farklar olmakla birlikte (Görev 1 için Cohen'in d'si = 0.444 ve Görev 2 için 0.224), bu farklar yeterince büyük değildir ve önemli sayılmamaktadır, bu da her iki modelin teoriyi neredeyse aynı şekilde anladığını göstermektedir.

Anahtar Kelimeler

• Grice
• Konuşma Eylemi
• Chatgpt
• Gemini

Applying Grice’s Maxims and Speech Act Theory to Analyze Pragmatics in Chatgpt and Gemini AI Dialogues

Öz

The issue of applying pragmatic principles in conversations generated by ChatGPT and Gemini is crucial for the investigation. Grice’s Maxims and Speech Act Theory provide a fundamental framework for guiding conversations to become more structured, relevant, and purposeful. The study aims to provide a more comprehensive understanding of the application of all of Grice’s Maxims and Speech Act Theory in conversations generated by AI models such as ChatGPT and Gemini. The research employs a mixed-methods approach. The data is quantitatively analyzed using a T-test, while the validity and reliability of the study are ensured through data triangulation. The findings of the study reveal that both AI models, ChatGPT and Gemini AI, demonstrate exceptional ability in applying Grice’s Maxims, with an average score of 1.00 for both models, indicating high consistency in maintaining relevance, quantity, quality, and manner in the conversation. Both models also show similar results in applying Speech Act Theory, with an average score of 0.75, although there are challenges in understanding the conversation's more nuanced intentions or impacts. Grice’s Maxims prove more effective in explaining conversational dynamics, while Speech Act Theory still requires further development. Comparative analysis results indicate that both AI models, ChatGPT and Gemini AI, perform almost identically in applying Grice’s Maxims and Speech Act Theory. For Grice’s Maxims, the average score between the two models reaches 1.00, with no significant differences found (p-value = 0.560), signifying high consistency in applying pragmatic principles. For Speech Act Theory, although there are slight differences in effect size (Cohen’s d = 0.444 for Task 1 and 0.224 for Task 2), these differences are not large enough to be considered significant, indicating that both models have an almost identical understanding of It theory.

Anahtar Kelimeler

• Grice’s Maxim
• Speech Act
• Chatgpt
• Gemini

Kaynakça

1. Austin, J. L. (1975). How to do things with words. Harvard university press.
2. Beikian, A. (2024). A Critical Analysis of Mirza Reza Kermani's Interrogation Through Grice's Conversational Maxims with the Assistance of Artificial Intelligence (AI). Critical Applied Linguistics Studies, 1(1), 161-182. 10.22034/jcals.1.1.161
3. Boxer, D. (1996). Ethnographic interviewing as a research tool in speech act analysis: The case of complaints. Speech acts across cultures: Challenges to communication in a second language, 217-239. https://doi.org/10.1515/9783110219289
4. Chen, X., Li, J., & Ye, Y. (2024). A feasibility study for the application of AI-generated conversations in pragmatic analysis. Journal of Pragmatics, 223, 14-30. https://doi.org/10.1016/j.pragma.2024.01.003
5. Dornberger, R., Inglese, T., Korkut, S., & Zhong, V. J. (2018). Digitalization: Yesterday, today and tomorrow. Business Information Systems and Technology 4.0: New Trends in the Age of Digital Change, 1-11. https://doi.org/10.1007/978-3-319-74322-6_1
6. Ephratt, M. (2012). “We try harder”–Silence and Grice’s cooperative principle, maxims and implicatures. Language & Communication, 32(1), 62-79. https://doi.org/10.1016/j.langcom.2011.09.001
7. Firdaus, T., Sholeha, S. A., Jannah, M., & Setiawan, A. R. (2024). Comparison of ChatGPT and Gemini AI in Answering Higher-Order Thinking Skill Biology Questions: Accuracy and Evaluation. International Journal of Science Education and Teaching, 3(3), 126-138. https://doi.org/10.14456/ijset.2024.11
8. Grice, H. P. (1990). 1975 Logic and Conversation. The Philosophy of Language.

9. Kaas, M. H., & Habli, I. (2024). Assuring AI safety: fallible knowledge and the Gricean maxims. AI and Ethics, 1-14. https://doi.org/10.1007/s43681-024-00490-x
10. Kasap, S., & Pashayeva, S. (2020). Pragmatic Competence And Foreign Language Teaching. S. Kasap İçinde, Applied Linguistics İn Elt Classrooms (S. 69). Ankara: Anı Yayıncılık.
11. Kasap, S & Dağdemir, B. (2021). Pragmatics-A Glance at the Cooperative Principle and Grice's Maxims. Eurasian Confrence on Language & Social Science.
12. Kasirzadeh, A., & Gabriel, I. (2023). In conversation with artificial intelligence: aligning language models with human values. Philosophy & Technology, 36(2), 27. https://doi.org/10.1007/s13347-023-00606-x
13. Lee, B. J. (2024). Exploring the potential of AI for pragmatics instruction. Technology in Language Teaching & Learning, 6(3), 1521-1521.https://doi.org/10.29140/tltl.v6n3.1521
14. Lee, Q., Lavingia, K. S., & Amendola, M. (2024). The performance of large language models on fictional consult queries indicates favorable potential for AI-assisted vascular surgery consult handling. JVS-Vascular Insights, 2, 100052. https://doi.org/10.1016/j.jvsvi.2023.100052
15. Miller, J. H. (2001). Speech acts in literature. Stanford University Press.
16. Nam, Y., Chung, H., & Hong, U. (2023). Language Artificial Intelligences' Communicative Performance Quantified Through the Gricean Conversation Theory. Cyberpsychology, Behavior, and Social Networking, 26(12), 919-923. https://doi.org/10.1089/cyber.2022.0356
17. Rane, N., Choudhary, S., & Rane, J. (2024). Gemini versus ChatGPT: applications, performance, architecture, capabilities, and implementation. Performance, Architecture, Capabilities, and Implementation (February 13, 2024). https://dx.doi.org/10.2139/ssrn.4723687
18. Recanati, F. (1987). Literalness and other pragmatic principles. Behavioral and Brain Sciences, 10(4), 729-730. https://doi.org/10.1017/S0140525X00055540
19. Saka, A. B., Oyedele, L. O., Akanbi, L. A., Ganiyu, S. A., Chan, D. W., & Bello, S. A. (2023). Conversational artificial intelligence in the AEC industry: A review of present status, challenges and opportunities. Advanced Engineering Informatics, 55, 101869. https://doi.org/10.1016/j.aei.2022.101869
20. Searle, J. R., Kiefer, F., & Bierwisch, M. (Eds.). (1980). Speech act theory and pragmatics (Vol. 10). Dordrecht: D. Reidel. https://doi.org/10.1007/978-94-009-8964-1
21. Searle, J. R. (1969). Speech acts: An essay in the philosophy of language. Cambridge University.
22. Sun, Y., Li, S., & Yu, L. (2022). The dark sides of AI personal assistant: effects of service failure on user continuance intention. Electronic Markets, 32(1), 17-39. https://doi.org/10.1007/s12525-021-00483-2
23. World Bank. (2024). Who on Earth Is Using Generative AI?
24. Wu, S. (2022). Design of intelligent customer service questioning and answering a system for power business scenario based on ai technology. Mathematical Problems in Engineering, 2022(1), 5279919. https://doi.org/10.1155/2022/5279919