EXPLORING THE POTENTIAL AND LIMITATIONS OF CHATGPT IN ACADEMIC WRITING AND EDITORIAL TASKS

Year 2024, Volume: 34 Issue: 1, 177 - 186, 26.01.2024

Akın Akpur

https://doi.org/10.18069/firatsbed.1299700

Abstract

This study aims to investigate the potential of ChatGPT, a large language model created by OpenAI, in assisting with academic writing tasks. By focusing on various aspects of academic writing, including drafting articles, proofreading, generating research topics, suggesting article titles, summarizing content, organizing academic references, and conducting peer reviews, the study evaluates ChatGPT's proficiency in these areas. While ChatGPT demonstrates structural proficiency and efficiency in editorial tasks, the accuracy of the generated content and the reliability of the sources used are subject to debate. The study concludes that ChatGPT cannot replace human creativity and intelligence in academic work. However, it can be a useful tool for generating ideas and identifying data. Despite its limitations, ChatGPT provides unique benefits, particularly in editorial tasks related to academic writing. Further research and specific studies are needed to determine the boundaries and potential of ChatGPT. This study contributes to the understanding of the potential of language models in academic writing and is expected to benefit academics and practitioners in the field of artificial intelligence and social sciences.

Keywords

ChatGPT, Academic Writing, Artifical Intelligence, Editorial Tasks

Akademik Yazım ve Editöryel Görevlerde Chatgpt'nin Potansiyelini ve Sınırlarını Keşfetmek

Abstract

Bu çalışmanın amacı OpenAI tarafından geliştirilen bir dil modeli olan ChatGPT'nin akademik yazım görevlerinde yardımcı olma potansiyelini araştırmaktadır. Akademik yazımın çeşitli yönlerine odaklanarak makale taslağı oluşturma, düzeltme, araştırma konuları üretme, makale başlıkları önerme, içeriği özetleme, akademik referansları düzenleme ve hakem değerlendirmesi gibi konuları içeren bu çalışmada, ChatGPT'nin bu alanlardaki yetkinliğinin değerlendirilmesi amaçlanmıştır. ChatGPT, editöryel görevlerde yapısal konularda etkinlik gösterirken, oluşturulan içeriklerin doğruluğu ve kullanılan kaynakların güvenilirliği tartışmalı olduğu sonucuna ulaşılmıştır. Çalışmada ChatGPT'nin insan yaratıcılığı ve zekâsına henüz ulaşmadığı sonucuna ulaşılmıştır. Bununla birlikte, fikir üretme ve veri belirleme konusunda kullanışlı bir araç olabileceği de bu çalışmada tespit edilmiştir. Sınırlılıklarıa rağmen, ChatGPT’nin özellikle akademik yazımla ilgili yayın düzenleme görevlerinde önemli faydaları olduğu görülmüştür. Ancak ChatGPT’nin sınırlarını ve potensiyelini belirlemek için daha fazla ve spesifik çalışmaya ihtiyaç vardır. Bu çalışmada, dil modellerinin akademik yazımda farklı konular açısından kullanılabilirliğine ilişkin potansiyeli değerlendirilmiştir. Çalışmanın yapay zeka ve sosyal bilimler alanında çalışan akademisyen ve uygulayıcılara fayda sağlayacağı düşünülmektedir.

Keywords

ChatGPT, Akademik Yazım, Yapay Zeka, Editoryel Görevler

References

• Anders B. A. (2023). Is using ChatGPT cheating, plagiarism, both, neither, or forward thinking? Patterns, 4(3), 100694. doi:10.1016/j.patter.2023.100694
• Bhatia G. and Kulkarni, A. (2023). ChatGPT as Co-author: Are researchers impressed or distressed? Asian Journal of Psychiatry, 84, 103564. doi:10.1016/j.ajp.2023.103564
• Bzerman, C. (2010). The Informed Writer: Using Sources in the Disciplines. WAC Clearinghouse.
• Cascella M., Montomoli J., Bellini, V., Bignami, E. (2023). Evaluating the Feasibility of ChatGPT in Healthcare: An Analysis of Multiple Clinical and Research Scenarios. Journal of Medical Systems. doi:10.1007/s10916-023-01925-4
• Choi, E. P., Lee J.J., Ho, M. H., Kwok, J. Y., Lok, K.Y. (2023). Chatting or cheating? The impacts of ChatGPT and other artificial intelligence language models on nurse education. Nurse Education Today, 125, 105796. doi:10.1016/j.nedt.2023.105796
• Cox, C., Tzoc, E. (2023). ChatGPT Implications for academic libraries. College and Research Libraries News, 84(3), 99-102. doi:10.5860/crln.84.3.99
• Cox, L. A. (2023). Causal reasoning about epidemiological associations in conversational AI. Global Epidemiology, 5, 100102. doi:10.1016/j.gloepi.2023.100102
• Dowling, M., Lucey, B. (2023). ChatGPT for (Finance) research: The Bananarama Conjecture. Finance Research Letters, 53, 103662. doi:10.1016/j.frl.2023.103662
• Dwivedi, Y. K., Kshetri, N., Hughes, L., Slade, E. L., Jeyaraj, A., Kar, A. K. et al (2023). So what if ChatGPT wrote it? Multidisciplinary perspectives on opportunities, challenges and implications of generative conversational AI for research, practice and policy. International Journal of Information Management, 71, 102642. doi:10.1016/j.ijinfomgt.2023.102642
• Graff, G., Birkenstein, C. (2014). "They Say/I Say": The Moves that Matter in Academic Writing. W.W. Norton & Company.
• Göktaş, L. S. (2023). ChatGPT Uzaktan Eğitim Sınavlarında Başarılı Olabilir Mi? Turizm Alanında Doğruluk ve Doğrulama Üzerine Bir Araştırma (Can ChatGPT Succeed. Journal of Tourism & Gastronomy Studies, 11(2), 892–905. https://doi.org/10.21325/jotags.2023.1224
• Hyland, K. (2011). Academic discourse. K. &. Hyland (Dü.) içinde, Continuum Companion to Discourse Analysis. (s. 171-184). London: Continuum.
• Iskender, A. (2023). Holy or Unholy? Interview with Open AI’s ChatGPT. European Journal of Tourism Research, 34, 3169. doi:10.54055
• Kasneci, E., Sessler, K., Küchemann, S., Bannert, M., Dementieva, D., Fischer, F. et al (2023). ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences, 103, 102274. doi:10.1016/j.lindif.2023.102274
• Kim, S. G. (2023). Using ChatGPT for language editing in scientific articles. Maxillofacial Plastic and Reconstructive Surgery, 45(1), 1-4. doi:10.1186/s40902-023-00381-x
• Lahat, A., Shachar, E., Avidan, B., Shatz, Z., Glicksberg, B. S., Klang, E. (2023). Evaluating the use of large language model in identifying top research questions in gastroenterology. Scientific Reports, 13(1), 31412. doi:10.1038/s41598-023-31412-2
• Levin, G., Meyer, R., Kadoch, E., Brezinov, Y. (2023). Identifying ChatGPT-written OBGYN abstracts using a simple tool. American Journal of Obstetrics and Gynecology MFM, 5(4), 100936. doi:10.1016/j.ajogmf.2023.100936
• Lim, W. M., Gunasekara, A., Pallant, J. L., Pallant, J. I., Pechenkina, E. (2023). Generative AI and the future of education: Ragnarök or reformation? A paradoxical perspective from management educators. The International Journal of Management Education, 21(2), 100790. doi:10.1016/j.ijme.2023.100790
• Mauranen, A. (2012). Exploring ELF: academic English shaped by non-native speakers. Cambridge University Press.
• Pecorari, D. (2013). Teaching to Avoid Plagiarism; How to Promote Good Source Use. Open University Press.
• Rocco, T. S., Hatcher, T. G. (2011). The Handbook of Scholarly Writing and Publishing. Wiley.
• Rozencwajg, S., Kantor, E. (2023). Elevating scientific writing with ChatGPT: A guide for reviewers, editors… and authors. Anaesthesia Critical Care and Pain Medicine, 42(5), 101209. doi:10.1016/j.accpm.2023.101209
• Sallam, M. (2023). ChatGPT Utility in Healthcare Education, Research, and Practice: Systematic Review on the Promising Perspectives and Valid Concerns. Healthcare (Switzerland), 11(6), 887. doi:10.3390/healthcare11060887
• Salvagno, M., Taccone, F. S., Gerli, A. G. (2023). Can artificial intelligence help for scientific writing? Critical Care, 27(1), 4380. doi:10.1186/s13054-023-04380-2
• Short, C. E., Short, J. C. (2023). The artificially intelligent entrepreneur: ChatGPT, prompt engineering, and entrepreneurial rhetoric creation. Journal of Business Venturing Insights, e00388. doi:10.1016/j.jbvi.2023.e00388
• Skavronskaya, L., Hadinejad, A., Cotterell, D. (2023). Reversing the threat of artificial intelligence to opportunity: a discussion of ChatGPT in tourism education. Journal of Teaching in Travel & Tourism, 23(2), 135-150. doi:10.1080/15313220.2023.2196658
• Swales, J. (2011). Aspects of Article Introductions. University of Michigan Press.
• Taecharungroj, V. (2023). “What Can ChatGPT Do?” Analyzing Early Reactions to the Innovative AI Chatbot on Twitter. Big Data and Cognitive Computing, 7(1), 35-47. doi:10.3390/bdcc7010035
• Thompson, G. (2001). Aspects of Article Introductions. University of Michigan Press. doi:10.3998/mpub.274152
• Tlili, A., Shehata, B., Adarkwah, M. A., Bozkurt, A., Hickey, D. T., Huang, R, Agyemang, B. (2023). What if the devil is my guardian angel: ChatGPT as a case study of using chatbots in education. Smart Learning Environments, 10(1), 237-253. doi:10.1186/s40561-023-00237-x
• Tong, Y., Zhang, L. (2023). Discovering the next decade's synthetic biology research trends with ChatGPT. Synthetic and Systems Biotechnology, 8(2), 220-223. doi:10.1016/j.synbio.2023.02.004
• Wang, J. (2023). ChatGPT: A test drive. American Journal of Physics, 91(4), 255-256. doi:10.1119/5.0145897