GPT-4o ve GPT o1 pro’nun Türk Nöroşirürji Derneği Yeterlik Kurulu sınav sorularını yanıtlamadaki performansının değerlendirilmesi: karşılaştırmalı bir çalışma

Abstract

Amaç: Bu çalışma, 2024 Türk Nöroşirürji Derneği Yeterlik Kurulu sınavından seçilen ve görüntü tabanlı soruları da içeren 98 soruda GPT-4o ile GPT o1 pro büyük dil modellerinin yanıt üretme yeteneklerini ve doğruluklarını değerlendirmeyi ve karşılaştırmayı amaçlamaktadır.
Gereç ve yöntem: GPT-4o ve GPT o1 pro kullanılarak görüntü tabanlı sorular dahil toplam 98 soruya yanıt elde edildi. Modeller tek seferlik ve üç denemelik yaklaşımlarla test edildi ve hem doğruluk hem de üç deneme boyunca aynı cevabı verme tutarlılığı hesaplandı. Multimodal akıl yürütmeyi değerlendirmek amacıyla metin tabanlı ve görüntü tabanlı sorular karşılaştırıldı.
Bulgular: GPT o1 pro tek denemede %92,9 doğruluk sağlarken GPT-4o %71,4’te kalmış, bu fark istatistiksel olarak anlamlı bulunmuştur (p<0,001). Üç deneme ortalamasında GPT o1 pro %91,8, GPT-4o %72,4 doğruluk göstermiştir (p<0,001); aynı verilere göre tutarlılık oranları sırasıyla %91,8 ve %78,6’dır (p=0,009). Yalnız metin sorularında GPT o1 pro %96,3 doğrulukla GPT-4o’nun %72,8’lik performansını açıkça geride bırakmıştır; görüntü tabanlı sorularda ise GPT o1 pro %76,5, GPT-4o %64,7 oranına ulaşmış olup bu fark istatistiksel olarak anlamlı değildir (p=0,68). Sonuçlar, GPT o1 pro’nun özellikle metin tabanlı sorularda GPT-4o’ya göre belirgin üstünlük gösterdiğini ancak her iki modelin de görüntü tabanlı görevlerde gelişmeye gereksinim duyduğunu ortaya koymaktadır.
Sonuç: Her iki model de 2024 Türk Nöroşirurji Derneği Yeterlik Kurulu sınavını başarıyla geçmiştir. GPT o1 pro, GPT-4o’ya kıyasla belirgin şekilde daha yüksek doğruluk ve tutarlılık göstermiş olup, bu durum tıbbi eğitimde düşünce zinciri temelli akıl yürütmenin umut verici bir rolü olabileceğini düşündürmektedir.

Keywords

• ChatGPT
• çok modlu büyük dil modelleri
• GPT o1 pro
• GPT-4o
• yapay zeka

Evaluation of GPT-4o and GPT o1 pro in answering Turkish Neurosurgical Society proficiency board exam questions: A comparative study

Abstract

Purpose: This study aims to evaluate and compare the answering capabilities and accuracy of GPT-4o and GPT o1 pro for a set of 98 questions, including image-based questions, from the 2024 neurosurgery board certification examination.
Materials and methods: Answers to 98 questions, including image-based questions, were generated using GPT-4o and GPT o1 pro. We evaluated their performance through both one-shot and multiple-attempt methods, calculating accuracy and consistency rates. Comparisons were made between text-based and image-based questions to assess multimodal reasoning.
Results: GPT o1 pro achieved a one-shot accuracy of 92.9%, while GPT-4o reached 71.4% (p<0.001). Over three attempts, GPT o1 pro maintained 91.8% accuracy compared to GPT-4o’s 72.4% (p<0.001). GPT o1 pro also showed higher consistency (91.8% vs 78.6%, p=0.009). For text-only questions, GPT o1 pro reached 96.3% one-shot accuracy, compared to GPT-4o’s 72.8%. For image-based questions, GPT o1 pro scored 76.5%, and GPT-4o scored 64.7%, though this difference was not statistically significant (p=0.68). These results suggest that GPT o1 pro outperforms GPT-4o, especially for text-based items, but both models need further improvement for image-based tasks.
Conclusion: Both GPT o1 pro and GPT-4o successfully passed the 2024 Turkish Neurosurgical Society Board Certification Examination. GPT o1 pro showed notably higher accuracy and consistency than GPT-4o, suggesting a promising role for chain-of-thought reasoning in medical education.

Keywords

• Artificial intelligence
• ChatGPT
• GPT o1 pro
• GPT-4o
• multimodal large language models

Thanks

The authors would like to thank the Turkish Neurosurgical Society for making the examination questions available on their website, which helped make this study possible.

References

1. Noda M, Ueno T, Koshu R, et al. Performance of GPT-4V in Answering the Japanese Otolaryngology Board Certification Examination Questions: Evaluation Study. JMIR Med Educ. 2024;10:e57054. doi:10.2196/57054
2. Brin D, Sorin V, Vaid A, et al. Comparing ChatGPT and GPT-4 performance in USMLE soft skill assessments. Sci Rep. 2023;13(1):16492. doi:10.1038/s41598-023-43436-9
3. Haddad F, Saade JS. Performance of ChatGPT on Ophthalmology-Related Questions Across Various Examination Levels: Observational Study. JMIR Med Educ. 2024;10:e50842. doi:10.2196/50842
4. OpenAI. GPT-4 Technical Report. OpenAI. Available at: https://cdn.openai.com/papers/gpt-4.pdf. Accessed September 26, 2025
5. Google. Gemini: A Family of Highly Capable Multimodal Models. arXiv. Available at: https://arxiv.org/abs/2312.11805. Accessed September 26, 2025
6. Hayden N, Gilbert S, Poisson LM, Griffith B, Klochko C. Performance of GPT-4 with Vision on Text- and Image-based ACR Diagnostic Radiology In-Training Examination Questions. Radiology. 2024;312(3):e240153. doi:10.1148/radiol.240153
7. Hayden N, Gilbert S, Poisson LM, Griffith B, Klochko C. Performance of GPT-4 with Vision on Text- and Image-based ACR Diagnostic Radiology In-Training Examination Questions. Radiology. 2024;312(3):e240153. doi:10.1148/radiol.240153
8. OpenAI. GPT-4o system card. OpenAI. Available at: https://cdn.openai.com/gpt-4o-system-card.pdf. Accessed December 16, 2024

9. OpenAI. o1 system card. OpenAI. Available at: https://cdn.openai.com/o1-system-card-20241205.pdf. Accessed December 16, 2024
10. Türk Nöroşirürji Yeterlik Kurulu. Türk Nöroşirürji Yeterlik Kurulu Tüzüğü. Türk Nöroşirürji Derneği. Available at: https://turknorosirurji.org.tr/TNYK/file/TNYK_tuzuk_31032017.pdf. Accessed December 16, 2024
11. Türk Nöroşirürji Derneği. 1 Haziran 2024 tarihli yazılı sınav soru ve cevapları. Türk Nöroşirürji Derneği. Available at: https://turknorosirurji.org.tr/TNDData/userfiles/file/1haziran2024sorukitapcigi.pdf. Accessed December 16, 2024
12. Core Team R. A language and environment for statistical computing. Vienna, Austria: R Foundation for Statistical Computing; 2024. Available at: https://www.R-project.org/. Accessed December 16-31, 2024
13. Iannone R, Roy O. DiagrammeR: graph/network visualization. R package version 1.0.11. CRAN; 2024. Available at: https://CRAN.R-project.org/package=DiagrammeR. Accessed December 16, 2024
14. Wickham H. ggplot2: elegant graphics for data analysis. New York, NY: Springer-Verlag; 2016.
15. Sahin MC, Sozer A, Kuzucu P, et al. Beyond human in neurosurgical exams: ChatGPT’s success in the Turkish neurosurgical society proficiency board exams. Comput Biol Med. 2024;169:107807. doi:10.1016/j.compbiomed.2023.107807
16. Ali R, Tang OY, Connolly ID, et al. Performance of ChatGPT and GPT-4 on Neurosurgery Written Board Examinations. Neurosurgery. 2023;93(6):1353-1365. doi:10.1227/neu.0000000000002632
17. Aksoy I, Arslan MK. Comparison of performance of artificial intelligence tools in answering emergency medicine question pool: ChatGPT 4.0, Google Gemini and Microsoft Copilot. Pak J Med Sci. 2025;41(4):968-972. doi:10.12669/pjms.41.4.11178
18. Wang HL, Zhou H, Zhang JY, et al. Performance Assessment of GPT 4.0 on the Japanese Medical Licensing Examination. Curr Med Sci. 2024;44(6):1148-1154. doi:10.1007/s11596-024-2932-9
19. Watari T, Takagi S, Sakaguchi K, et al. Performance comparison of ChatGPT-4 and Japanese medical residents in the General Medicine In-Training Examination: comparison study. JMIR Med Educ. 2023;9:e52202. doi:10.2196/52202
20. Kaya M, Sonmez E, Halici A, Yildirim H, Coskun A. Comparison of AI-generated and clinician-designed multiple-choice questions in emergency medicine exam: a psychometric analysis. BMC Med Educ. 2025;25(1):949. doi:10.1186/s12909-025-07528-6
21. Meyer A, Riese J, Streichert T. Comparison of the performance of GPT-3.5 and GPT-4 with that of medical students on the written German Medical Licensing Examination: observational study. JMIR Med Educ. 2024;10:e50965. doi:10.2196/50965
22. Kinikoglu I. Evaluating ChatGPT and Google Gemini Performance and Implications in Turkish Dental Education. Cureus. 2025;17(1):e77292. doi:10.7759/cureus.77292