CAN ARTIFICIAL INTELLIGENCE LANGUAGE MODELS PERFORM FACT-CHECKING?

Yıl 2026, Cilt: 16 Sayı: 2 , 1051 - 1065 , 01.04.2026

Yakup Toktay

https://doi.org/10.7456/tojdac.1857415

https://izlik.org/JA65TG73HF

Öz

The aim of this study is to examine whether artificial intelligence (AI) language models can be effectively used as fact-checking tools and contribute to verification processes. The research was designed using a qualitative method with a case study approach, and thematic analysis was conducted through document analysis. ChatGPT and Gemini were selected using a similar sampling strategy. A total of 100 claims were examited 50 verified by Teyit.org concerning the Turkish agenda, and 50 verified by PolitiFact regarding the American and European agenda. Both AI models were asked to evaluate these claims based on the Truth-o-Meter rating scale. According to the findings, ChatGPT correctly identified 27 out of 50 claims related to Turkey, resulting in an accuracy rate of 52%, while Gemini correctly verified 38 claims, reaching 76%. For claims related to the Western agenda, ChatGPT again correctly answered 27 out of 50 (54%), while Gemini achieved 66% accuracy. Overall, Gemini demonstrated higher accuracy than ChatGPT across both regional contexts. These results indicate that although AI models can contribute to fact-checking efforts, their current performance is not yet reliable enough for standalone use in news verification. However, it is anticipated that with ongoing machine learning advancements and integration of real-time data, AI models will significantly improve. In the near future, such models could become dependable tools in the fact-checking ecosystem.

Anahtar Kelimeler

Artificial intelligence , Fact-checking , Allegation , News , ChatGPT , Gemini

YAPAY ZEKA DİL MODELLERİ GERÇEKLİK KONTROLÜ YAPABİLİR Mİ?

https://izlik.org/JA65TG73HF

Öz

Bu çalışmanın amacı, yapay zekâ dil modellerinin teyit mekanizması olarak etkili bir şekilde kullanılıp kullanılamayacağını ve doğrulama süreçlerinde nasıl katkı sunabileceğini sorgulamaktadır. Bu amaç dahilinde çalışma; nitel yöntem, durum çalışması desenine göre tasarlanmış ve doküman belge incelemesi tekniği kullanılarak tematik analiz gerçekleştirilmiştir. Araştırmada benzeşik örneklem stratejisiyle seçilen ChatGPT ve Gemini’ye Teyit.org tarafından doğrulanmış Türkiye gündemine dair 50, PolitiFact tarafından doğrulanmış Amerika ve Avrupa gündemine dair 50 iddia olmak üzere toplam 100 iddia yöneltilerek Truth-o-Meter gerçeklik derecelendirme ölçeğine göre iddiaları değerlendirmeleri istenmiştir. Böylece iki modelin Türkiye ve Batı gündemine ilişkin doğruluk performansları karşılaştırılmıştır. Araştırma bulgularına göre, ChatGPT Türkiye gündemindeki 50 iddianın 27’sini doğru bilmiş ve %52 doğruluk oranına ulaşmıştır. Gemini ise 38 iddiayı doğru bilmiş ve %76 doğruluk oranına ulaşmıştır. Öte yandan, Batı gündeminde ise ChatGPT 50 iddianın 27’sini doğru yanıtlayarak, %54 doğruluk oranına ulaşmıştır. Gemini ise %66 doğruluk oranına ulaşmıştır. Elde edilen sonuçlar, yapay zekâ araçlarının gerçeklik kontrolü gibi alanlarda potansiyel taşımasına rağmen, şu an için doğruluk mekanizması olarak tam anlamıyla güvenilir bir performans sergilemediğini göstermektedir. Ancak haber doğrulama süreçlerinde karşılaşılan hız, zaman ve maliyet gibi problemlere önemli ölçüde katkı sunabilme potansiyeline sahiptir. Ayrıca süreç içerisinde makine öğrenimi veya doğrudan veri yüklemesi ile yapay zeka modellerinin daha gelişmiş very tabanlarına sahip olacağı ve bilgi doğruluk oranlarının makul seviyelere ulaşacağı göz önüne alındığında gelecekte yapay zeka araçlarının doğruluk kontrolörü olarak kullanılabileceği düşünülmektedir

Anahtar Kelimeler

Yapay Zeka , Doğruluk Kontrolü , İddia , Haber , ChatGPT , Gemini

Kaynakça

• Adair, B. (2017). Knight Foundation, Facebook and Craig Newmark provide funding to launch Duke Tech & Check Cooperative. Duke Reporters. https://sanford.duke.edu/story/knight-foundation-facebook-and-craig-newmark-provide-funding-launch-duke-tech-check/
• Alyukov, M. (2022). Making Sense of the News in an Authoritarian Regime: Russian Television Viewers’ Reception of the Russia–Ukraine Conflict. Europe-Asia Studies, 74(3), 337-359. https://ideas.repec.org//a/taf/ceasxx/v74y2022i3p337-359.html
• Augenstein, I., Baldwin, T., Cha, M., Chakraborty, T., Ciampaglia, G. L., Corney, D., DiResta, R., Ferrara, E., Hale, S., Halevy, A., Hovy, E., Ji, H., Menczer, F., Miguez, R., Nakov, P., Scheufele, D., Sharma, S., & Zagni, G. (2023). Factuality Challenges in the Era of Large Language Models. http://arxiv.org/abs/2310.05189
• Balmas, M. (2014). When fake news becomes real: Combined exposure to multiple news sources and political attitudes of inefficacy, alienation, and cynicism. Communication Research, 41(3), 430-454. https://doi.org/10.1177/0093650212453600
• Berger, B. K. (2001). Private Issues and Public Policy: Locating the Corporate Agenda in Agenda-Setting Theory. Journal of Public Relations Research, 13(2), 91-126. https://doi.org/10.1207/S1532754XJPRR1302_1
• Birks, J. (2019). Fact-Checking Journalism and Political Argumentation: A British Perspective. Springer International Publishing. https://doi.org/10.1007/978-3-030-30573-4
• Braun, V., & Clarke, V. (2019). Psikolojide tematik analizin kullanımı. Eğitimde Nitel Araştırmalar Dergisi- Journal of Qualitative Research in Education, 7(2), 873-898. https://doi.org/doi: 10.14689/issn.2148-2624.1.7c.2s.17m
• Cheng, Z., Golan ,Guy J., & and Kiousis, S. (2016). The Second-Level Agenda-Building Function of the Xinhua News Agency: Examining the role of government-sponsored news in mediated public diplomacy. Journalism Practice, 10(6), 744-762. https://doi.org/10.1080/17512786.2015.1063079
• DeVerna, M. R., Yan, H. Y., Yang, K.-C., & Menczer, F. (2023). Fact-checking information generated by a large language model can decrease news discernment. http://arxiv.org/abs/2308.10800
• PEN America., (2017, October 12) Faking News: Fraudulent News and the Fight for Truth. (2017, Ekim 12). PEN America. https://pen.org/report/faking-news/
• Güneş, A. (2014). Gündem Belirleme Teorisi Bağlaminda 30 Mart 2014 Yerel Seçimlerinin Basinda Sunumu: Akp Ve Chp Örneği. Turkish Online Journal of Design Art and Communication, 4(2), Article 2. https://dergipark.org.tr/tr/pub/tojdac/issue/13017/156825
• Hassan, N., Adair, B., Hamilton, J. T., Li, C., Tremayne, M., Yang, J., & Yu, C. (2015). The quest to automate fact-checking. Proceedings of the 2015 computation+ journalism symposium. https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=22ee36f2673cc6f9380a17805eadd2f0a0772c18
• Hoes, E., Altay, S., & Bermeo, J. (2023). Leveraging ChatGPT for efficient fact-checking. PsyArXiv. April, 3. https://www.researchgate.net/profile/Emma-Hoes-2/publication/370325979_Using_ChatGPT_to_Fight_Misinformation_ChatGPT_Nails_72_of_12000_Verified_Claims/links/64870004d702370600ef1f3f/Using-ChatGPT-to-Fight-Misinformation-ChatGPT-Nails-72-of-12-000-Verified-Claims.pdf
• Kurnaz, Z. (2021, Haziran 18). Temel Nitel Analiz ve Tematik Analiz / Nitel Araştırmalarda Verilerin Analizi [Video recording]. https://www.youtube.com/watch?v=DelO29_TyuA&t=567s
• Levitsky, S., & Ziblatt, D. (2018). How democracies die. Broadway Books.
• Lippmann, W. (2020.). Kamuoyu. Kabalcı Yayınevi.
• Lincoln, Y. S., & Guba, E. G. (1985). Naturalistic inquiry. Sage.
• Martin, L. J. (1976). Recent Theory on Mass Media Potential in Political Campaigns. The Annals of the American Academy of Political and Social Science, 427, 125-133. https://www.jstor.org/stable/1040743
• McCombs, M. E., & Shaw, D. L. (1972). The Agenda-Setting Function of Mass Media. The Public Opinion Quarterly, 36(2), 176-187. https://www.jstor.org/stable/2747787
• Nakov, P., Corney, D., Hasanain, M., Alam, F., Elsayed, T., Barrón-Cedeño, A., Papotti, P., Shaar, S., & Martino, G. D. S. (2021, Mayıs 22). Automated Fact-Checking for Assisting Human Fact-Checkers. http://arxiv.org/abs/2103.07769
• Özsalih, A. (2024). Sosyal Medyadaki Haberlerin Başlıklarındaki Duygusal Kelimelerin Haber Tüketimine Etkileri. Selçuk İletişim, 17(1), 39-68. https://dergipark.org.tr/en/pub/josc/issue/84057/1377241
• Toffler, A. (1980). The third wave (C. 484). Bantam books. https://www.calculemus.org/lect/07pol-gosp/dyn-cyw/materialy/waves.htm
• Virilio, P. (2003). Enformasyon Bombası. Metis Yayınları.
• Vosoughi, S., Roy, D., & Aral, S. (2018). The spread of true and false news online. Science, 359(6380), 1146-1151. https://doi.org/10.1126/science.aap9559
• Zhang, X., & Ghorbani, A. A. (2020). An overview of online fake news: Characterization, detection, and discussion. Information Processing & Management, 57(2), 102025. https://doi.org/10.1016/j.ipm.2019.03.004