CHAT GPT’NİN SERBEST MANTIKSAL SAFSATA TESPİTİNDE KULLANIMI

Abstract

Bu çalışmada son zamanlarda herkesin kullanımına açılmasıyla birlikte son derece popüler hale gelen GPT-3.5 dil modelinin Chat GPT varyantının serbest safsataları tespit etme başarısı sınanmıştır. 127 adet safsata örneği Türkçe yazınındaki bir kitaptan derlenmiştir. Çalışmada iki yöntem kullanılmıştır. Birinci yöntemde doğrudan doğruya safsata örnekleri verilerek Chat GPT’den verilen örnekte bir safsata olup olmadığını varsa hangi tür safsata olduğunu belirtmesi istenmiştir. İkinci yöntemde safsata örnekleriyle birlikte safsatanın türü de verilerek örneklerde belirtilen safsatanın olup olmadığı sorulmuştur. Her iki yöntemde kontrol amaçlı 20 adet safsata içermeyen bir kontrol seti kullanılmıştır. Birinci yöntemde %71,65 duyarlılık ve %85,00 seçicilik başarısı ölçülürken, ikinci yöntemde ise aynı başarılar sırasıyla %85,83 ve %80,00 olarak ölçülmüştür.

Keywords

• Chat GPT
• Safsata
• İnformel Mantık

USE OF CHAT GPT IN DETECTION OF INFORMAL LOGICAL FALLACIES

Abstract

In this study, the success of the Chat GPT, the fine tuned model of GPT-3.5 language model, which has recently become extremely popular due to its availability to everyone, in detecting fallacies was tested. 127 fallacy examples were collected from a popular book in Turkish literature. Two methods were used in the study. In the first method, Chat GPT was directly given fallacy examples and asked to indicate whether there is a fallacy in the given example and, if so, what type of fallacy it is. In the second method, along with the fallacy examples, the type of the fallacy was also given and the question was asked whether the fallacy mentioned in the examples exists or not. In both methods, a control set containing 20 fallacy-free samples was used for validation purposes. In the first method, a sensitivity of 71.65% and a specificity of 85.00% were measured, while in the second method, the same success rates were measured as 85.83% and 80.00%, respectively.

Keywords

• Chat GPT
• Informal Logic
• Fallacy

References

1. Bennett, B. (2015). Logically fallacious: the ultimate collection of over 300 logical fallacies (Academic Edition). EbookIt. Biswas, S. S. (2023a). Potential Use of Chat GPT in Global Warming. Içinde Annals of Biomedical Engineering. Springer. Biswas, S. S. (2023b). Role of Chat GPT in Public Health. Içinde Annals of Biomedical Engineering . Springer.
2. Chiu, K. L., Collins, A., & Alexander, R. (2021). Detecting Hate Speech with GPT 3 . https://arxiv.org/abs/2103.12407
3. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). BERT: PreTraining of Deep Bidirectional Transformers for Language Understanding .
4. Floridi, L., & Chiriatti, M. (2020). GPT 3: Its Nature, Scope, Limits, and Consequences. Içinde Minds and Machines , 30 (4), 681 694).
5. Hayati, M. F. M., Ali, M. A. M., & Rosli, A. N. M. (2022). Depression Detection on Malay Dialects Using GPT 3. 2022 IEEE EMBS Conference on Biomedical Engineering and Sciences (IECBES) IECBES), 360-364.
6. Hazlitt, H. (1981). Economics in one lesson . Three Rivers
7. Jin, Z., Lalwani, A., Vaidhya, T., Shen, X., Ding, Y., Lyu, Z., Sachan, M., Mihalcea, R., & Schölkopf, B. (2022). Logical Fallacy Detection . http://arxiv.org/abs/2202.13758
8. Johnson, R. H. (1999). The Relation between Formal and Informal Logic*

9. Kamer, V. (2014). İnformel mantık açısından “akılyürütme” kavramı üzerine bir araştırma . İstanbul Üniversitesi (Yayımlanmamış Doktora Tezi).
10. Kasneci, E., Sessler, K., Küchemann, S., Bannert, M., Dementieva, D., Fischer, F., Gasser, U., Groh, G., Günnemann, S., Hüllermeier, E., Krusche, S., Kutyniok, G., Michaeli, T., Nerdel, C., Pfeffer, J., Poquet, O., Sailer, M., Schmidt, A., Seidel, T., … Ka sneci, G. (2023). ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences , 103 , 102274.
11. Leo, G. (2017). Informal Logic. Içinde E. N. Zalta (Ed.), The Stanford Encyclopedia of Philosophy (Spring 201). https://plato.stanford.edu/archives/spr2017/entries/logic informal
12. Miotto, M., Rossberg, N., & Kleinberg, B. (2022). Who is GPT 3? An Exploration of Personality, Values and Demographics . http://arxiv.org/abs/2209.14338
13. Shrivastava, A., Pupale, R., & Singh, P. (2021). Enhancing Aggression Detection using GPT 2 based Data Balancing Technique. 2021 5th International Conference on Intelligent Computing and Control Systems ( ICICCS), 1345 1350.
14. Uyar, T. (2019a). Gramer Hatalarına Dayalı Argümantasyon ve Bir Ad Hominem Alt Türü Olarak “De Ayrı” Safsatası. Journal , 0 (1), 27 38.
15. Uyar, T. (2019b). Safsatalar: Aklın Kırk Haramisi . Destek
16. Wang, Z., Wohlwend, J., & Lei, T. (2019). Structured Pruning of Large Language Models . https://doi.org/10.48550/arxiv.1910.04732
17. Watson, G. (1980). Watson Glaser critical thinking appraisal . Psychological Corporation San Antonio, TX.
18. Woods, J., Irvine, A. D., & Walton, D. N. (2004). Argument: Critical Thinking, Logic and the Fallacies (ss. xiii,
19. Yaran, C. S. (2017). İnformel mantık: Konular, yaklaşımlar ve katkılar. Içinde V. Kamer (Ed.), VII. Mantık Çalıştayı Kitabı (ss. 687 695). Mantık Derneği Yayınları.