MAKALELERDE YAPAY ZEKÂ VARLIĞININ DEĞERLENDİRİLMESİ: YAYINLANMIŞ ÇALIŞMALARDAN ELDE EDİLEN BULGULAR

Abstract

Üretken yapay zekâ araçlarının akademik yazım süreçlerinde araştırmacılar tarafından kullanımının artmasıyla üretilen bilimsel yayınlarda yapay zekâ izinin ortaya çıktığı ve yayın etiği bağlamında oluşturacağı sonuçlar tartışılır hale gelmiştir. Ayrıca yapay zekâ kullanımında yazar sorumlulukları ve ÜYZ araçlarına atıf verme biçimleri politika yapıcılar ve dergiler tanımlanır olmuştur. Bu çalışma, 2025 yılında yayımlanmış ve ücretsiz olarak erişilebilen Türkçe akademik makalelerdeki yapay zekâ varlığını konu alanı ve indeksleme durumuna göre karşılaştırmalı olarak incelemektedir. Çalışma, DergiPark’ta yayımlanmış ve üniversite yayını olan 68 dergiden seçilen toplamda 204 makale üzerinden yürütülmüştür. Makaleler, assistin.ai yapay zekâ tespit aracıyla taranmıştır. TR Dizin’de indekslenen ve indekslenmeyen dergiler ile fen temelli ve sosyal konu alanına sahip dergiler eşit dağılımla karşılaştırılmıştır. Elde edilen bulgular, metinlerde yapay zekâ kullanımının dergilerin indekslenme ve konu alanı durumuna göre anlamlı ve belirgin farklılıklar gösterdiğini ortaya koymuştur. Olasılıksal olarak YZ kullanım durumu, sosyal temelli konu alanına sahip dergilerde fen temelli dergilere göre daha yüksek düzeyde tespit edilmiş; TRDizin’de indekslenmeyen dergilerde de TRDizinli dergilere göre daha yüksek oranlara sahip olduğu belirlenmiştir. Makalelerin bölüm bazlı analizleri de gerçekleştirilmiş olup en yüksek oranların “giriş/literatür” ve “bulguların yorumlanması” bölümlerinde ortaya çıktığı; “yöntem” ve “sonuç” bölümlerinde diğer bölümlere kıyasla görece daha düşük düzeyde olduğu ortaya konulmuştur. Ayrıca tüm makalelere yönelik olarak kaynakça analizi gerçekleştirilmiştir. Manuel olarak tek tek kaynak tarama şeklinde yürütülen çalışmada, toplamda 37 makalede en az 1 kez halisünasyon (uydurma) kaynak kullanıldığı tespit edilmiştir. Genel olarak makalelerdeki YZ kullanım oranlarına göre ilişkisel düzeye bakıldığında ise oran yükseldikçe kaynakçalarda halisünasyon yayınların varlığının arttığı gözlenmiştir. Çalışma, Türkiye’de üretilmiş olan makalelerdeki üretken yapay zekâ kullanımı varlığını indeks, konu alanı ve metin alt bölümü düzeyinde çok katmanlı olarak analiz eden ilk araştırmalardan biri olarak, dergi ve üniversite yayın politikaları, etik kullanım, şeffaflık ve yazar sorumluluklarına yönelik önemli çıkarımlar sunmaktadır.

Keywords

• Üretken yapay zekâ
• Yapay zekâ metin tespiti
• Akademik yazım
• Yayın etiği
• Halüsinasyon kaynaklar

ASSESSING THE PRESENCE OF AI IN ARTICLES: EVIDENCE FROM PUBLISHED STUDIES

Abstract

The growing use of generative artificial intelligence (GenAI) tools in academic writing has increased concerns about the visibility of AI traces in scientific publications and the potential implications for publication ethics. In parallel, journals and policy actors have begun to more explicitly define authors' responsibilities and acceptable ways to acknowledge and cite GenAI use. This study compares the presence of AI-generated text in Turkish open-access research articles published in 2025, focusing on the disciplinary field and indexing status. The dataset comprises 204 articles drawn from 68 university-published journals hosted on DergiPark. All articles were screened using the Assistin.ai AI-text detection tool. Journals indexed in TR Dizin and those not indexed, as well as science-oriented and social science–oriented fields, were compared using a balanced design. The findings indicate that AI-detection outputs vary meaningfully by indexing status and disciplinary field. Probabilistic AI-text signals were higher in social science–oriented journals than in science-oriented journals, and higher in non–TR Dizin journals than in TR Dizin–indexed journals. Section-level analyses further show that AI signals were most frequently observed in the Introduction/Literature Review and Interpretation/Discussion of Findings sections. At the same time, they were comparatively lower in the Methods and Conclusion sections. In addition, the reference lists of all articles were manually verified. The analysis identified at least one hallucinated (fabricated) reference in 37 articles, and the likelihood of hallucinated references increased as the detected AI ratio rose. By providing a multi-layered assessment of GenAI visibility in Turkish articles across indexing status, disciplinary field, and manuscript sections, this study offers evidence-based implications for journal and university publishing policies, ethical use, transparency practices, and author accountability.

Keywords

• Generative artificial intelligence
• AI text detection
• Academic writing
• Publication ethics
• Hallucinated references

References

1. Adel, A. & Alani, N. (2025). Can generative AI reliably synthesise literature? exploring hallucination issues in ChatGPT. AI & Society, 40, 6799-6812. https://doi.org/10.1007/s00146-025-02406-7
2. Agarwal, A. & Uzair, M. (2025). Robustness of Classifiers for AI-Generated Text Detectors for Copyright and Privacy Protected Society. In: Antonacopoulos, A., Chaudhuri, S., Chellappa, R., Liu, CL., Bhattacharya, S., Pal, U. (eds) Pattern Recognition. ICPR 2024. Lecture Notes in Computer Science, vol 15320. Cham, Springer. https://doi.org/10.1007/978-3-031-78498-9_5
3. Akın, E. ve Şahin, M. E. (2024). Derin öğrenme ve yapay sinir ağı modelleri üzerine bir inceleme. EMO Bilimsel Dergi, 14(1), 27-38. https://izlik.org/JA24EP66ET
4. APA, (2025). APA Journals policy on generative AI. https://www.apa.org/pubs/journals/resources/publishing-tips/policy-generative-ai
5. Arslan, U. (2021). Bilimsel etik ihlali olarak intihal kavramı ve ilmî ve edebi eserlerde intihal suçu. Selçuk Üniversitesi Hukuk Fakültesi Dergisi, 29(2), 1557-1590. https://doi.org/10.15337/suhfd.827055
6. Avramenko, A. P., Nasonova, A. A., Tarasov, A. A., & Ternovski, V. V. (2025). The Effects of Generative Artificial Intelligence Technologies on Writing Tasks in Foreign Language Learning. In Frontiers in Artificial Intelligence and Applications (Vol. 404, pp. 90-104). IOS Press BV. https://doi.org/10.3233/FAIA250110
7. Banh, L. & Strobel, G. (2023). Generative artificial intelligence. Electron Markets, 33, 63. https://doi.org/10.1007/s12525-023-00680-1
8. Barrot, J. S. (2025). Trinka: Facilitating academic writing through an intelligent writing evaluation system. Assessing Writing, 65, 100953. https://doi.org/10.1016/j.asw.2025.100953

9. Başaran, R., ve Yeşilbaş Özenç, Y. (2024). Bilimsel araştırma sürecinde yapay zeka araçlarının kullanımı. Uluslararası Eğitimde Mükemmellik Arayışı Dergisi (UEMAD), 4(1), 35-53. https://izlik.org/JA45TZ79UT
10. Boztepe, C. (2025). Eğitimde yapay zekâ uygulamaları: fırsatlar, sınırlılıklar ve etik tartışmalar. Dumlupınar Üniversitesi Eğitim Bilimleri Enstitüsü Dergisi, 9(1), 98-121. https://doi.org/10.71272/debder.1706141
11. Brynjolfsson, E. & Mitchell T. (2017). What can machine learning do? Workforce implications. Science, 358, 1530-1534. https://doi.org/10.1126/science.aap8062
12. Cao Y., Lu, H., Zhou, Y., Gao, J., Wang H. & Jiao, Y. (2024). Construction and Operation of a Generative Artificial Intelligence-Assisted Language Learning System. In 2024 Third International Conference on Distributed Computing and Electrical Circuits and Electronics (ICDCECE). IEEE, pp. 1-6. https://doi.org/10.1109/ICDCECE60827.2024.10549672
13. Castelvecchi, D. (2016). Can we open the black box of AI?. Nature News, 538(7623), 20-23. https://doi.org/10.1038/538020a
14. Chang, Y., Wang, X., Wang, J., Wu, Y., Yang, L., Zhu, K., Chen, H., Yi, X., Wang, C., Wang, Y., Ye, W., Zhang, Y., Chang, Y., Yu, P.S., Yang, Q. & Xie, X. (2024). A survey on evaluation of large language models. ACM transactions on intelligent systems and technology, 15(3), 1-45. https://doi.org/10.1145/3641289
15. Chen, F., Veng, S., Wilson, J., Li, X., & Fang, H. (2025). CoachGPT: A scaffolding-based academic writing assistant. In Proceedings of the 48th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 4051-4055. https://doi.org/10.1145/3726302.3730143
16. Crothers, E.N., Japkowicz, N. & Viktor, H.L. (2023). Machine-generated text: a comprehensive survey of threat models and detection methods. IEEE Access, 11, 70977-71002. https://doi.org/10.1109/ACCESS.2023.3294090
17. Ding, L., Zou, D., & Kohnke, L. (2025). ChatGPT as an automated writing evaluation tool: How students perceive it and how it affects their writing. Education and Information Technologies, 30, 26777-26799. https://doi.org/10.1007/s10639-025-13775-3
18. Dweck, C. S. (1986). Motivational processes affecting learning. American psychologist, 41(10), 1040-1048. https://psycnet.apa.org/doi/10.1037/0003- 066X.41.10.1040
19. Kasneci, E., Sessler, K., Küchemann, S., Bannert, M., Dementieva, D., Fischer, F., Gasser, U., Groh, G., Günnemann, S., Hüllermeier, E., Krusche, S., Kutyniok, G., Michaeli, T., Nerdel, C., Pfeffer, J., Poquet, O., Sailer, M., Schmidt, A., Seidel, T., . . . Kasneci, G. (2023). ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences, 103, 1- 9. https://doi.org/10.1016/j.lindif.2023.102274
20. Khairuldin, W. M. K. F. W., Anas, W. N. I. W. N., Umar, R., Kamarudin, M. K. A. & Embong, A. H. (2022). Ethical ıssues in academic authorship: a study on group writing. (2022). Academic Journal of Interdisciplinary Studies, 11(1), 226- 231. https://doi.org/10.36941/ajis-2022-0020
21. Kim, H.N. (2025). Detecting the Undetectable: The Need for a New Paradigm for Academic Writing Evaluation in the AI Era - Addressing Inconsistencies in AI and Plagiarism Detection Tools -. In: Stephanidis, C., Antona, M., Ntoa, S., Salvendy, G. (eds) HCI International 2025 Posters. HCII 2025. Communications in Computer and Information Science, vol 2523. (pp. 229-239). Cham: Springer. https://doi.org/10.1007/978-3-031- 94153-5_22
22. Leão, C.P., Alves, A.C. & Ferreira, A.C. (2025). Engineering Students and Academic Integrity: Perceptions of Ethical Challenges in Qualitative Research. In: Machado, J., Trojanowska, J., Antosz, K., Leão, C.P., Knapcikova, L., Sover, A. (eds) Innovations in Industrial Engineering IV. icieng 2025. Lecture Notes in Mechanical Engineering. (pp. 402-416). Cham: Springer. https://doi.org/10.1007/978-3-031-94484-0_33
23. Lund, B. D., Wang, T., Mannuru, N. R., Nie, B., Shimray, S. & Wang, Z. (2023). ChatGPT and a new academic reality: Artificial Intelligence-written research papers and the ethics of the large language models in scholarly publishing. Journal of the Association for Information Science and Technology, 74(5), 570- 581. https://doi.org/10.1002/asi.24750
24. Mohammed, S. I., Jabbar Kadhim, D., Zuheir Al-Metwali, B., Mudher Mikhael , E. & Mohammed Hassan, N. (2025). Academic staff perspectives on the impact of artificial intelligence on pharmaceutical sciences research and writing: a qualitative study. Iraqi Journal of Pharmaceutical Sciences, 33(4), 12- 19. https://doi.org/10.31351/vol33iss(4SI)pp12-19
25. Nguyen, A., Ilesanmi, F., Dang, B., Vuorenmaa, E. & Järvelä, S. (2024). Hybrid intelligence in academic writing: Examining self-regulated learning patterns in an AI-assisted writing task. In HHAI 2024: Hybrid Human AI Systems For The Social Good. (pp. 241- 254). IOS Press. https://doi.org/10.3233/FAIA240198
26. Miao, F., & Holmes, W. (2023). Guidance for generative AI in education and research. United Nations Educational, Scientific and Cultural Organization (UNESCO). https://doi.org/10.54675/EWZM9535
27. Onwuegbuzie, A. J., & Collins, K. M. (2007). A Typology of mixed methods sampling designs in social science research. The Qualitative Report, 12(2), 281- 316. https://doi.org/10.46743/2160-3715/2007.1638
28. Patton, M.Q. (2005). Qualitative research. New York: John Wiley & Sons https://doi.org/10.1002/0470013192.bsa514
29. Samtani, S., Zhu, H., Padmanabhan, B., Chai, Y., Chen, H., & Nunamaker, J. F. (2023). Deep learning for information systems research. Journal of Management Information Systems, 40(1), 271-301. https://doi.org/10.1080/07421222.2023.2172772
30. Scimeca, M., & Bonfiglio, R. (2023). Comment on redefining authorship in the era of artificial intelligence: balancing ethics, transparency, and progress. ESMO open, 8(5). https://doi.org/10.1016/j.esmoop.2023.101635
31. Şahin, Ş. ve Erkmen, B. (2023). Navigating the impact of artificial intelligence on scholarly authorship: transparency and responsibility in the technological era. European Journal of Therapeutics, 29(4), 994-995. https://doi.org/10.58600/eurjther1811
32. Tang, A., Li, K-K., Kwok, K. O., Cao, L., Luong, S. & Tam, W. (2024). The importance of transparency: Declaring the use of generative artificial intelligence (AI) in academic writing. Journal of Nursing Scholarship, 56, 314- 318. https://doi.org/10.1111/jnu.12938
33. Tashakkori, A., & Teddlie, C. (2010). SAGE handbook of mixed methods in social & behavioral research. SAGE Publications, Inc., https://doi.org/10.4135/9781506335193
34. Taşkıran, S. F. ve Kaya, E. (2022). Academic text clustering using natural language processing. Konya Journal of Engineering Sciences, 10, 41-51. https://doi.org/10.36306/konjes.1081213
35. TÜBİTAK (2026). Destek Süreçlerinde Üretken Yapay Zekânın (ÜYZ) Sorumlu ve Güvenilir Kullanımı Rehberi. https://tubitak.gov.tr/tr/kurumsal/hakkimizda/uretken-yapay-zeka- rehberi
36. Welding, L. (2023) Half of College Students Say Using AI on Schoolwork Is Cheating or Plagiarism. https://www.bestcolleges.com/research/college-students-ai-tools-survey
37. Xu, Z., Xu, R., & Sheng, V. S. (2024). ChatGPT-generated code assignment detection using perplexity of large language models (student abstract). Proceedings of the AAAI Conference on Artificial Intelligence, 38(21), 23688-23689. https://doi.org/10.1609/aaai.v38i21.30527
38. Yoşumaz, İ. (2025). Generative artificial intelligence and usage in academia. Firat University Journal of Social Sciences, 35(1), 1-24. https://doi.org/10.18069/firatsbed.1423208
39. Young, L. & McLean, M. (2023). When and how to cite ChatGPT and AI in MLA / APA formats. https://www.turnitin.com/blog/when-and-how-to-cite-chatgpt-and-ai-in-mla-apa- formats
40. YÖK (2026). Yükseköğretim Kurumları Bilimsel Araştırma ve Yayın Faaliyetlerinde Üretken Yapay Zeka Kullanımına Dair Etik Rehber. https://proje.yok.gov.tr/tr/page/635
41. Zhao, W. (2025). Enhancing academic writing efficiency with chatgpt: a natural language processing framework for innovation, opportunities, and challenges. Journal of ICT Standardization, 13(04), 359-382. https://doi.org/10.13052/jicts2245-800X.1341