The Role of Artificial Intelligence in Higher Education: ChatGPT Assessment for Anatomy Course

Abstract

The extensive research conducted over a prolonged period of time has resulted in the rapid advancement of artificial intelligence (AI) technology, leading to the development of numerous applications. One such recent AI application is ChatGPT, an AI chatbot that has gained millions of users in a short span of time, and can read and write texts. The aim of this study is to compare the performance of ChatGPT in an anatomy course with that of undergraduate students. The participants were students from the Faculty of Health Sciences at a state university in Turkey, who had previously taken an anatomy course. The examination was in the form of a multiple-choice test consisting of 40 items. It was found that ChatGPT outperformed the students in the examination.

Keywords

• artificial intelligence
• ChatGPT
• medical education
• anatomy

Yükseköğrenimde Yapay Zekânın Rolü: Anatomi Dersi için ChatGPT Değerlendirmesi

Abstract

Uzun bir süre boyunca yürütülen kapsamlı araştırmalar, yapay zeka (AI) teknolojisinin hızla ilerlemesiyle sonuçlanmış ve çok sayıda uygulamanın geliştirilmesine yol açmıştır. Özelikle yakın zamanda piyasaya sürülen AI uygulamalardan biri de ChatGPT’dir. Kısa süre içerisinde milyonlarca kullanıcının beğenisini kazanan ChatGPT, metin okuyup yazabilen AI kodudur. Bu çalışmanın amacı, ChatGPT'nin bir dersteki performansını lisans öğrencilerinin performansıyla karşılaştırmaktır. Katılımcılar Türkiye'de bir devlet üniversitesinin Sağlık Bilimleri Fakültesi'nde daha önce anatomi dersi almış öğrencilerdir. Sınav çoktan seçmeli test şeklinde olup 40 sorudan oluşmaktadır. ChatGPT'nin öğrencilerden daha iyi performans gösterdiği tespit edilmiştir.

Keywords

• Yapay zeka
• ChatGPT
• Sağlık eğitimi
• Anatomi.

References

1. Akyürek, H. A. (2013). Intelligent workforce management by using artificial intelligence techniques. Master Thesis, Türkiye.
2. Arslan, K. (2017). Eğitimde yapay zeka ve uygulamaları. Batı Anadolu Eğitim Bilimleri Dergisi, 11(1), 71-88.
3. Büyükgöze, S., & Dereli, E. (2019). Güncel sağlık bilimleri çalışmaları II, Dijital Sağlık ve Yapay Zeka, Akademisyen Kitabevi A.Ş., Editör: Tuncay ÖZGÜNEN, ISBN: 978-605-258-626-6i.
4. Cotton, D. R., Cotton, P. A., & Shipway, J. R. (2023). Chatting and cheating. Ensuring academic integrity in the era of ChatGPT. Preprint. https://doi.org/10.35542/osf.io/mrz8h
5. de Winter, J. C. F. (2023). Can ChatGPT pass high school exams on English language comprehension?. Researchgate. Preprint.
6. Geerling, W., Mateer, G. D., Wooten, J., & Damodaran, N. (2023). Is ChatGPT smarter than a student in principles of economics?. Available at SSRN 4356034.
7. Gilson, A., Safranek, C., Huang, T., Socrates, V., Chi, L., Taylor, R. A., & Chartash, D. (2022). How does ChatGPT perform on the medical licensing exams? The implications of large language models for medical education and knowledge assessment. medRxiv. Preprint. https://doi.org/10.1101/2022.12.23.22283901
8. Güçlütürk, O. G. (2022). ChatGPT ile üretilen içeriklerin eser niteliğinin 5846 sayılı fikir ve sanat eserleri kanunu bakımından değerlendirilmesi. Galatasaray Üniversitesi Hukuk Fakültesi Dergisi, 2, 1899-1918.

9. Huh, S. (2023). Are ChatGPT's knowledge and interpretation ability comparable to those of medical students in Korea for taking a parasitology examination?: A descriptive study. Journal of Educational Evaluation for Health Professions, 20(1), 1-13. https://doi.org/10.3352/jeehp.2023.20.1
10. İşler, B., & Kılıç, M. (2021). Eğitimde yapay zekâ kullanımı ve gelişimi. e-Journal of New Media, 5(1), 1-11.
11. Jiao, W., Wang, W., Huang, J., Wang X, & Zhaopeng, T. (2023). Is chatGPT a good translator? A preliminary study. arXiv. Preprint.
12. Korkmaz, A., & Büyükgöze, S. (2019). Sahte web sitelerinin sınıflandırma algoritmaları ile tespit edilmesi. Avrupa Bilim ve Teknoloji Dergisi, 16, 826-833. https://doi.org/10.31590/ejosat.598036
13. Nisar, S., & Aslam, M. S. (2023). Is ChatGPT a good tool for T&CM students in studying pharmacology?. Available at SSRN 4324310.
14. O’Connor, S., & ChatGPT. (2023). Open artificial intelligence platforms in nursing education: Tools for academic progress or abuse? Nurse Education in Practice, 66, 103537. https://doi.org/10.1016/j.nepr.2022.103537
15. Pavlik, J. V. (2023). Collaborating with chatGPT: Considering the implications of generative artificial intelligence for journalism and media education. Journalism & Mass Communication Educator, 1-10. https://doi.org/10.1177/10776958221149577
16. Qadir, J. (2022). Engineering education in the era of ChatGPT: Promise and pitfalls of generative AI for education. TechRxiv. Preprint. DOI: 10.36227/techrxiv.21789434.v1
17. Sarica, R. (2021). Eğitimde yapay zeka: Kavramsal temeller. Köse, U. (Ed.) Eğitimde zeki ve esnek teknolojiler (pp.121-139), Ankara: Pegem Akademi.
18. Shi, Z.-Z., & Zheng, N.-N. (2006). Progress and challenge of artificial intelligence. Journal of Computer Science and Technology, 21(5), 810-822. https://doi.org/10.1007/s11390-006-0810-5
19. Stokel-Walker, C. (2022). AI bot ChatGPT writes smart essays — should professors worry? https://doi.org/10.1038/d41586-022-04397-7
20. Susnjak, T. (2022). Chatgpt: The end of online exam integrity? arXiv. Preprint. https://doi.org/10.48550/arXiv.2212.09292
21. Talan, T. (2021). Artificial intelligence in education: A bibliometric study. International Journal of Research in Education and Science (IJRES), 7(3), 822-837. https://doi.org/10.46328/ijres.2409
22. Taşçi, G., & Çelebi, M. (2020). Eğitimde yeni bir paradigma: “Yükseköğretimde yapay zekâ”. OPUS International Journal of Society Researches, 16(29), 2346-2370. https://doi.org/10.26466/opus.747634
23. Tektaş, M., Akbaş, A., & Topuz, V. (2002). Yapay zekâ tekniklerinin trafik kontrolünde kullanılması üzerinde bir inceleme. Uluslararası Trafik ve Yol Güvenliği Kongresi ve Fuarı.
24. Topsakal, O., & Topsakal, E. (2022). Framework for a foreign language teaching software for children utilizing AR, voicebots and ChatGPT (large language models). The Journal of Cognitive Systems, 7(2), 33-38. https://doi.org/10.52876/jcs.1227392
25. Wei, X. (2018). The application and development of artificial intelligence in smart clothing. IOP Conference Series: Materials Science and Engineering, 320, 012017. https://doi.org/10.1088/1757-899X/320/1/012017
26. Wenzlaff, K., & Spaeth, S. (2022). Smarter than humans? Validating how OpenAI’s chatGPT model explains crowdfunding, alternative finance and community finance. University of Hamburg – Digital Markets – Working Paper Series. Available on SSRN. Electronic copy available at: https://ssrn.com/abstract=4302443