Chat Gpt 4.0’ın Ortognatik Cerrahi Operasyonuna Yönelik Farklı Eğitim Seviyelerine Verdiği Yanıtların Değerlendirilmesi

Year 2025, Volume: 12 Issue: 2, 268 - 272, 22.08.2025

Hasan Akpinar , Meryem Akpınar

https://doi.org/10.15311/selcukdentj.1548369

Abstract

Amaç:
Chat GPT, sağlık alanında, hastalar ve profesyoneller için güvenilir bilgi kaynakları olarak hizmet etme potansiyeli araştırılmaktadır. Bu çalışma, modelin farklı eğitim düzeylerindeki performansını, postoperatif bakım, cerrahi riskler ve tedavi prosedürleriyle ilgili sorulara doğru ve seviyeye uygun yanıtlar verme yeteneğini analiz ederek değerlendirmeyi amaçlamaktadır.
Gereç ve Yöntemler:
Bu çalışmada, ortognatik cerrahi ile ilgili en sık sorulan soruları yanıtlamak için Chat GPT 4.0 kullanılmıştır. Sorular, alsoasked.com'dan elde edilmiş ve araştırmacılar tarafından uygunluk açısından gözden geçirilmiştir. Lisans ve akademik düzeydeki yanıtları simüle etmek için iki farklı komut kullanılmıştır. Yanıtların uygunluğu, iki lisans mezunu ve iki akademisyen tarafından değerlendirilmiştir. Değerlendiriciler arasındaki uyumu ve verilerin normalliğini belirlemek için Cohen's Kappa, Kolmogorov-Smirnov testi ve Mann-Whitney U testi gibi istatistiksel analizler kullanılmıştır. Ayrıca, farklı eğitim komutları arasındaki yanıt benzerliğini karşılaştırmak için kosinüs benzerliği hesaplanmıştır.
Bulgular:
Bu çalışmanın sonuçları, Chat GPT 4.0'ın hem lisans hem de akademik düzeyde yüksek doğrulukta yanıtlar sağladığını göstermiştir. Lisans düzeyindeki komutlarla ortalama doğruluk puanı 4.58±0.7980, akademik düzeydeki komutlarla ise 4.4107±0.8745 olarak bulunmuştur. Yanıtların eğitim seviyelerine uygunluğu da değerlendirilmiştir; lisans düzeyinde iki lisans mezunu yanıtların uygunluğunu ortalama 4.64±0.10 olarak değerlendirirken, akademik düzeyde iki akademisyen ortalama 3.05±0.319 puan vermiştir. Kolmogorov-Smirnov testi, verilerin normal dağılmadığını doğrulamıştır (p<0.01) ve Mann-Whitney U testi, gruplar arasında istatistiksel olarak anlamlı bir fark olduğunu göstermiştir (p<0.001). Bu bulgular, Chat GPT'nin yanıtlarının doğru olmasına rağmen, her zaman komutların eğitim düzeyiyle iyi bir uyum göstermediğini ve bu durumun, yapay zekâ tarafından üretilen içeriğin hedef kitleye göre uyarlanmasının önemini vurguladığını ortaya koymuştur.
Sonuçlar:
Sonuç olarak, Chat GPT, Ağız ve Çene Cerrahisi gibi tıbbi alanlarda hastalar için yararlı bilgiler sağlama potansiyeline sahiptir. Bununla birlikte, akademik düzeyde ayrıntılı bilgiler sunma yeteneği sınırlıdır ve bu da onun en etkili kullanımının uzman rehberliği ile birlikte destekleyici bir araç olarak kullanılması gerektiğini göstermektedir.

Keywords

Ortognatik Cerrahi , Sohbet Robotu , Yapay Zeka

Ethical Statement

The ethical approval for the study was obtained from the Afyonkarahisar Health Sciences University, Non-Invasive Clinical Research Ethics Committee (2024/7-298).

The Evaluation Of Responses Provided By ChatGPT 4.0 to Different Educational Levels Regarding Orthognathic Surgery

Abstract

Background:
This study aims to evaluate ChatGPT's effectiveness in providing accurate and level-appropriate information on orthognathic surgery across different educational levels. As AI becomes more prevalent in healthcare, understanding its potential to support patient education and professional communication is crucial. The focus is on assessing the model's performance in addressing questions about postoperative care, surgical risks, and treatment procedures, and its implications for minimizing misinformation risks, such as AI hallucinations.
Methods:
ChatGPT 4.0 was used to answer frequently asked questions about orthognathic surgery, categorized by educational level. Questions were refined by researchers and responses were simulated for bachelor's and academic levels. The responses were then evaluated by two bachelor’s graduates and two academics. Cosine similarity was also calculated to compare the responses across different educational levels.
Results:
ChatGPT 4.0 provided highly accurate responses for both educational levels, with average accuracy scores of 4.58±0.7980 for bachelor's and 4.4107±0.8745 for academic levels (p=0,123). However, the appropriateness of responses varied, with bachelor's graduates rating the responses at 4.64±0.10 and academics at 3.05±0.319. Statistical tests confirmed a significant difference between the groups (p<0.001), suggesting that while ChatGPT provides correct information, it may not always align with the intended educational level.
Conclusions:
ChatGPT is effective in supporting patient education in fields like Oral and Maxillofacial Surgery but may be less suitable for providing detailed academic-level insights. It is most effective when used alongside expert guidance.

Keywords

Artificial Intelligence , Chatbot , Orthognathic Surgery

References

• 1. de Sousa, R.A., et al., Is ChatGPT a reliable source of scientific information regarding third-molar surgery? The J Am Dent Assoc, 2024. 155(3): p. 227-232. e6.
• 2. Cai, Y., et al., Exploring the use of ChatGPT/GPT-4 for patient follow-up after oral surgeries. Int J Oral Maxillofac Surg, 2024.
• 3. Balel, Y., Can ChatGPT be used in oral and maxillofacial surgery? J Stomatol Oral Maxillofac Surg, 2023. 124(5): p. 101471.
• 4. Balel, Y., et al., Can ChatGPT-4o Provide New Systematic Review Ideas to Oral and Maxillofacial Surgeons? J Stomatol Oral Maxillofac Surg, 2024: p. 101979.
• 5. Arslan, C., et al., An evaluation of orthodontic information quality regarding artificial intelligence (AI) chatbot technologies: A comparison of ChatGPT and google BARD. Australas Orthod J, 2024. 40(1): p. 149-157.
• 6. Alhaidry, H.M., et al., ChatGPT in dentistry: a comprehensive review. Cureus, 2023. 15(4).
• 7. Eysenbach, G., The role of ChatGPT, generative language models, and artificial intelligence in medical education: a conversation with ChatGPT and a call for papers. JMIR Med Educ, 2023. 9(1): p. e46885.
• 8. Puladi, B., et al., The impact and opportunities of large language models like ChatGPT in oral and maxillofacial surgery: a narrative review. Int J Oral Maxillofac Surg, 2023.
• 9. Acar, A.H., Can natural language processing serve as a consultant in oral surgery? J Stomatol Oral Maxillofac Surg, 2024. 125(3): p. 101724.
• 10. Lima, N.G.M., L. Costa, and P.B. Santos, ChatGPT in orthodontics: limitations and possibilities. Australas Orthod J, 2024. 40(2): p. 19-21.
• 11. Suárez, A., et al., Beyond the Scalpel: Assessing ChatGPT's potential as an auxiliary intelligent virtual assistant in oral surgery. Comput Struct Biotechnol J, 2024. 24: p. 46-52.
• 12. Naureen, S. and H.G. Kiani, Assessing the Accuracy of AI Models in Orthodontic Knowledge: A Comparative Study Between ChatGPT-4 and Google Bard. J Coll Physicians Surg Pak: JCPSP, 2024. 34(7): p. 761-766.
• 13. Alten, A., et al., Integrating artificial intelligence in orthognathic surgery: A case study of ChatGPT's role in enhancing physician-patient consultations for dentofacial deformities. J Plast Reconstr Aesthet Surg, 2023. 87: p. 405-407.
• 14. Yurdakurban, E., K.G. Topsakal, and G.S. Duran, A comparative analysis of AI-based chatbots: Assessing data quality in orthognathic surgery related patient information. J Stomatol Oral Maxillofac Surg, 2024. 125(5): p. 101757.
• 15. Daraqel, B., et al., The performance of artificial intelligence models in generating responses to general orthodontic questions: ChatGPT vs Google Bard. Am J Orthod Dentofacial Orthop, 2024. 165(6): p. 652-662.
• 16. Azadi, A., et al., Evaluation of AI-generated responses by different artificial intelligence chatbots to the clinical decision-making case-based questions in oral and maxillofacial surgery. Oral Surg Oral Med Oral Pathol Oral Radioly, 2024. 137(6): p. 587-593.
• 17. Mohammad-Rahimi, H., et al., Performance of AI chatbots on controversial topics in oral medicine, pathology, and radiology. Oral Surg Oral Med Oral Pathol Oral Radiol, 2024. 137(5): p. 508-514.
• 18. Hatia, A., et al., Accuracy and completeness of ChatGPT-Generated information on interceptive orthodontics: a Multicenter Collaborative Study. J Clin Med, 2024. 13(3): p. 735.
• 19. Hegarty, E., et al., YouTube™ as an information resource for orthognathic surgery. J J Orthod, 2017. 44(2): p. 90-96.
• 20. Baclic, O., et al., ``Challengesand opportunities for public health made possible by advances in naturallanguage processing,''. Canada Communicable Disease Rep, 2020. 46(6): p. 161-168.
• 21. Dhawan, R. and D. Shay, Artificial Intelligence in Plastic Surgery: Implications and Limitations of Text-to-Image Models for Clinical Practice. JPRAS Open, 2024.
• 22. Howard, E.C., et al., Comparison of ChatGPT knowledge against 2020 consensus statement on ankyloglossia in children. Int J Pediatr Otorhinolaryngol, 2024. 180: p. 111957.
• 23. Jacobs, T., et al., Is ChatGPT an Accurate and Readable Patient Aid for Third Molar Extractions? J Oral Maxillofac Surg, 2024.
• 24. Biswas, S.S., Role of chat gpt in public health. Ann Biomed Eng, 2023. 51(5): p. 868-869.
• 25. Alkhamees, A., Evaluation of Artificial Intelligence as a Search Tool for Patients: Can ChatGPT-4 Provide Accurate Evidence-Based Orthodontic-Related Information? Cureus, 2024. 16(7).