TY  - JOUR
T1  - Referral Tendencies of ChatGPT in Oral and Maxillofacial Lesions: A Comparative Evaluation
TT  - ChatGPT’nin Ağız ve Maksillofasiyal Lezyonlardaki Yönlendirme Eğilimleri: Karşılaştırmalı Bir Değerlendirme
AU  - Öçbe, Melisa
AU  - Medişoğlu, Mahmut Sabri
PY  - 2025
DA  - August
Y2  - 2025
JF  - Journal of Kocaeli Health and Technology University
JO  - JoKohTU
PB  - Kocaeli Sağlık ve Teknoloji Üniversitesi
WT  - DergiPark
SN  - 2980-1591
SP  - 73
EP  - 82
VL  - 3
IS  - 2
LA  - en
AB  - Objectives: This study aimed to evaluate the specialty referral patterns suggested by ChatGPT-4 in response to clinical scenarios involving oral and maxillofacial lesions. The primary objective was to assess the distribution of referrals among ear nose and throat (ENT), dermatology, plastic surgery, oral and maxillofacial surgery, oral diseases and radiology. Methods: A qualitative content analysis and expert review were conducted using the GPT-4 model. Twenty standardized clinical vignettes were created to represent a wide range of oral and maxillofacial pathologies. Each vignette was input into GPT-4 using a uniform triage-style prompt, asking the model to suggest the most appropriate medical specialty for referral (ENT, dermatology, plastic surgery, oral diagnosis and radiology, oral and maxillofacial surgery, or other) along with a brief justification. GPT-4’s referral outputs were documented and categorized. Results: Out of 20 clinical vignettes involving oral and maxillofacial lesions, ChatGPT-4’s referral decisions were rated by an oral and maxillofacial radiology expert. A total of 47 out of 60 points were awarded based on appropriateness, reflecting a 78.3% overall accuracy. The model most frequently referred cases to oral and maxillofacial surgery (60%), followed by dermatology (30%), oral diseases and radiology (25%), ENT (20%), and plastic surgery (10%). While GPT-4 performed well in common benign, cystic, and salivary lesions, limitations were noted in syndromic, infectious, and metastatic cases where co-referral or interdisciplinary awareness was lacking.Conclusions: This study investigates ChatGPT-4’s potential utility and limitations as a triage assistant in identifying appropriate specialty referrals for oral and maxillofacial lesions. While the model shows promise in pattern recognition, differences between AI-generated referrals and expert consensus indicate the need for interdisciplinary oversight and further refinement before clinical implementation. Integrating AI models into referral systems may support clinical workflows but should be approached with caution to ensure patient safety and specialty-appropriate care pathways.
KW  - artificial intelligence
KW  - GPT-4
KW  - oral cancer
KW  - oral potentially malignant lesions
N2  - Amaçlar: Bu çalışma, ChatGPT-4’ün oral ve maksillofasiyal lezyonlarını içeren klinik senaryolara verdiği yanıtlarda önerdiği uzmanlık alanlarına yönelik yönlendirme (sevk) kalıplarını değerlendirmeyi amaçlamaktadır. Birincil amaç, yönlendirmelerin kulak burun boğaz (KBB), dermatoloji, plastik cerrahi, oral ve maksillofasiyal cerrahi, ağız hastalıkları ve radyoloji branşları arasında nasıl dağıldığını incelemektir.Yöntem: GPT-4 modeli kullanılarak nitel içerik analizi ve uzman değerlendirmesi yapılmıştır. Oral ve maksillofasiyal patolojilerin geniş bir yelpazesini temsil eden yirmi standartlaştırılmış klinik senaryo (vinyet) oluşturulmuştur. Her bir vinyet, GPT-4’e, tek tip bir triyaj tarzı istem aracılığıyla sunulmuş ve modelden en uygun tıbbi uzmanlık alanını (KBB, dermatoloji, plastik cerrahi, ağız hastalıkları ve radyoloji, ağız ve maksillofasiyal cerrahi veya diğer) ve yönlendirme gerekçesini kısaca belirtmesi istenmiştir. GPT-4’ün yönlendirme çıktıları belgelenmiş ve kategorize edilmiştir.Bulgular: Oral ve maksillofasiyal lezyonları içeren 20 klinik vinyetin değerlendirilmesi sonucunda, ChatGPT-4’ün yönlendirme kararları ağız ve maksillofasiyal radyoloji uzmanı tarafından puanlanmıştır. Uygunluk açısından toplamda 60 üzerinden 47 puan verilmiş ve bu da %78,3 genel doğruluk oranına karşılık gelmektedir. Model, vakaların en sık %60 oranında oral ve maksillofasiyal cerrahiye, %30 oranında dermatolojiye, %25 oranında ağız hastalıkları ve radyolojiye, %20 oranında KBB’ye ve %10 oranında plastik cerrahiye yönlendirilmesini önermiştir. GPT-4, yaygın iyi huylu, kistik ve tükrük bezi lezyonlarında başarılı bir performans göstermiş olsa da, sendromik, enfeksiyöz ve metastatik vakalarda birlikte yönlendirme veya disiplinler arası farkındalık eksikliği nedeniyle sınırlamalar gözlemlenmiştir.Sonuçlar: Bu çalışma, ChatGPT-4’ün oral ve maksillofasiyal lezyonlara yönelik uygun uzmanlık yönlendirmelerini belirlemede bir triyaj yardımcısı olarak potansiyel faydasını ve sınırlılıklarını araştırmaktadır. Model, klinik örüntü tanımada umut verici bir performans sergilese de, yapay zekâ tarafından oluşturulan yönlendirmeler ile uzman görüşleri arasındaki farklılıklar, disiplinler arası denetim ve daha fazla geliştirme ihtiyacını ortaya koymaktadır. Yapay zekâ modellerinin yönlendirme sistemlerine entegrasyonu klinik iş akışlarını destekleyebilir; ancak hasta güvenliğini ve uygun uzmanlık alanına yönlendirmeyi sağlamak adına dikkatli bir yaklaşımla uygulanmalıdır.
CR  - 1. Öçbe M, Çelebi E, Öçbe ÇB. (2025). An overlooked connection: oral health status in patients with chronic diseases. BMC Oral Health, 25(1):314. doi:10.1186/s12903-025-05673-4
CR  - 2. Warnakulasuriya S.(2020).  Oral potentially malignant disorders: A comprehensive review on clinical aspects and management. Oral Oncol., 102:104550. doi:10.1016/j.oraloncology.2019.104550
CR  - 3. Wang YY, Tail YH, Wang WC, et al. (2014). Malignant transformation in 5071 southern Taiwanese patients with potentially malignant oral mucosal disorders. BMC Oral Health. 14:99. doi:10.1186/1472-6831-14-9
CR  - 4. Warnakulasuriya S, Kovacevic T, Madden P, et al. (2011). Factors predicting malignant transformation in oral potentially malignant disorders among patients accrued over a 10-year period in South East England. J Oral 
Pathol Med, 40(9):677-683. doi:10.1111/j.1600-0714.2011.01054.x
CR  - 5. van der Meij EH, Mast H, van der Waal I.(2007).  The possible premalignant character of oral lichen planus and oral lichenoid lesions: a prospective five-year follow-up study of 192 patients. Oral Oncol,. 43(8):742-748. doi:10.1016/j.oraloncology.2006.09.006
CR  - 6. Kerr AR, Lodi G.(2021).  Management of oral potentially malignant disorders. Oral Dis, 27(8):2008-2025. doi:10.1111/odi.13980
CR  - 7. Speight PM, Khurram SA, Kujan O. (2018). Oral potentially malignant disorders: risk of progression to malignancy. Oral Surg Oral Med Oral Pathol Oral Radiol., 125(6):612-627. doi:10.1016/j.oooo.2017.12.011
CR  - 8. Warnakulasuriya S, Johnson NW, van der Waal I. (2007). Nomenclature and classification of potentially malignant disorders of the oral mucosa. J Oral Pathol Med., 36(10):575-580. doi:10.1111/j.1600-0714.2007.00582.x
CR  - 9. Öçbe ÇB, Öçbe M, Akman M. (2025). Family Medicine Residents' Competency to Manage Oral Lesions: An Educational Intervention. Oral Dis., doi:10.1111/odi.15277
CR  - 10. Miller CS, Peterson DE. (2018). Oral medicine: Today's future can become tomorrow's reality. Oral Surg Oral Med Oral Pathol Oral Radiol, 126(5):409-414. doi:10.1016/j.oooo.2018.07.001
CR  - 11. Tadinada A. (2019). Artificial intelligence, machine learning, and the human interface in medicine: Is there a sweet spot for oral and maxillofacial radiology?. Oral Surg Oral Med Oral Pathol Oral Radiol., 127(4):265-266. doi:10.1016/j.oooo.2018.12.024
CR  - 12. Batra P, Tagra H, Katyal S.(2022). Artificial Intelligence in Teledentistry. Discoveries (Craiova),  10(3):153. doi:10.15190/d.2022.12
CR  - 13. Surdu A, Foia CI, Luchian I, et al. (2025). Telemedicine and Digital Tools in Dentistry: Enhancing Diagnosis and Remote Patient Care. Medicina (Kaunas). 61(5):826.. doi:10.3390/medicina61050826
CR  - 14. Kaushik R, Rapaka R. A (2024). Patient-Centered Perspectives and Future Directions in AI-powered Teledentistry. Discoveries (Craiova).;12(4):e199. doi:10.15190/d.2024.18
CR  - 15. Bornstein MM. (2022). The crucial role of dentomaxillofacial radiology for AI research in dental medicine - why it's time for our specialty to lead the way!. Dentomaxillofac Radiol., 51(1):20229001. doi:10.1259/dmfr.20229001
CR  - 16. Seah J, Boeken T, Sapoval M, Goh GS. (2022). Prime Time for Artificial Intelligence in Interventional Radiology. Cardiovasc Intervent Radiol., 45(3):283-289. doi:10.1007/s00270-021-03044-4
CR  - 17. Hu X, Ran AR, Nguyen TX, et al. (2023). What can GPT-4 do for Diagnosing Rare Eye Diseases? A Pilot Study. Ophthalmol Ther. 12(6):3395-3402. doi:10.1007/s40123-023-00789-8
CR  - 18. Li J, Gao X, Dou T, Gao Y, Li X, Zhu W. (2024). Quantitative evaluation of GPT-4's performance on US and Chinese osteoarthritis treatment guideline interpretation and orthopaedic case consultation. BMJ Open., 
14(12):e082344. Published 2024 Dec 30. doi:10.1136/bmjopen-2023-082344
UR  - https://dergipark.org.tr/tr/pub/jokohtu/issue//1741837
L1  - https://dergipark.org.tr/tr/download/article-file/5052793
ER  -