Pediatrik Suprakondiler Humerus Kırıklarında Büyük Dil Modellerinin Tanı ve Yönetim Kararları: AAOS Kılavuzuna Dayalı Karşılaştırmalı Çalışma

Öz

Amaç: Bu çalışma, büyük dil modellerinin (ChatGPT 5.2 Thinking, Gemini 3.1 Pro ve Claude Sonnet 4.6) pediatrik suprakondiler humerus (SCH) kırıklarının tespitinde, Gartland sistemine göre sınıflandırılmasında ve Amerikan Ortopedi Cerrahları Akademisi (AAOS) klinik uygulama kılavuzlarına dayalı tedavi önerileri sunmada tanısal performansını ve klinik güvenliğini değerlendirmek amacıyla yapılmıştır.

Gereç ve Yöntem: Bu retrospektif gözlemsel çalışmada, dirsek travması (84 kırık ve 44 kırık olmayan) ile başvuran 128 pediatrik hastanın radyografileri ve klinik verileri analiz edildi. Referans standardı, AAOS kılavuzlarına göre ortopedi uzmanlarının konsensüs değerlendirmesi ile belirlendi. Anonimleştirilmiş AP ve lateral dirsek radyografileri, yaş, cinsiyet ve kısa klinik öykü ile birlikte her modele sağlandı. Tanı performansı duyarlılık, özgüllük ve genel doğruluk kullanılarak değerlendirildi. Gartland sınıflandırmasındaki uyum Cohen'in kappa (κ) katsayısı kullanılarak değerlendirildi. Klinik güvenlik, cerrahi karar önerilerindeki yetersiz tedavi ve aşırı tedavi riskleri analiz edilerek incelendi.

Bulgular: Gemini 3.1, kırık tespiti için en yüksek duyarlılığı (%96) gösterdi, ancak özgüllüğü düşüktü (41%). ChatGPT 5.2, hem duyarlılık hem de özgüllük açısından %64 ile daha dengeli bir profil sergilerken, Claude 4.6 en düşük genel tanı doğruluğunu (%55) gösterdi. Gartland sınıflandırmasında Gemini 3.1 en yüksek uyumu (κ=0,60) elde ederken, Claude 4.6 en düşük uyumu (κ=0,33) gösterdi. Tedavi önerileri açısından Gemini 3.1, cerrahi vakaların yetersiz tedavisini önledi, ancak önemli ölçüde aşırı tedaviye yol açarken, ChatGPT 5.2 cerrahi olarak endike olan vakaların %40'ını kaçırdı.

Sonuç: LLM'ler radyografik yorumlamada destekleyici bilgiler sunsa da, mevcut performansları yanlış pozitif ve yanlış negatif kararların alınması riskini önemli ölçüde artırmaktadır. Bu bulgular, LLM'lerin pediatrik SCH kırıklarında bağımsız klinik karar verme için henüz yeterince güvenilir olmadığını ve uzman gözetiminin hala gerekli olduğunu göstermektedir.

Anahtar Kelimeler

• Yapay Zeka
• Büyük Dil Modelleri
• Suprakondiler Humerus Kırıkları
• Radyografi

Etik Beyan

Çalışma öncesinde yerel etik kurulundan onay alınmıştır (Tarih: 07.01.2026, No: 2026/14).

DIAGNOSIS AND MANAGEMENT DECISIONS OF LARGE LANGUAGE MODELS IN PEDIATRIC SUPRACONDYLAR HUMERUS FRACTURES: AN AAOS GUIDELINE-BASED COMPARATIVE STUDY

Öz

Objective: This study aimed to evaluate the diagnostic performance and clinical safety of large language models (ChatGPT 5.2 Thinking, Gemini 3.1 Pro, and Claude Sonnet 4.6) in detecting pediatric supracondylar humerus (SCH) fractures, classifying them according to the Gartland system, and providing treatment recommendations based on American Academy of Orthopedic Surgeons (AAOS) clinical practice guidelines.

Material and Methods: In this retrospective observational study, radiographs and clinical data from 128 pediatric patients presenting with elbow trauma (84 fractures and 44 non-fractures) were analyzed. The reference standard was established through consensus evaluation by orthopedic specialists according to AAOS guidelines. Anonymized AP and lateral elbow radiographs, along with age, sex, and brief clinical history, were provided to each model. Diagnostic performance was assessed using sensitivity, specificity, and overall accuracy. Agreement in Gartland classification was evaluated using Cohen’s kappa (κ). Clinical safety was examined by analyzing under-treatment and over-treatment risks in surgical decision recommendations.

Results: Gemini 3.1 demonstrated the highest sensitivity for fracture detection (96%) but had low specificity (41%). ChatGPT 5.2 showed a more balanced profile with both sensitivity and specificity of 64%, whereas Claude 4.6 demonstrated the lowest overall diagnostic accuracy (55%). In Gartland classification, Gemini 3.1 achieved the highest agreement (κ=0.60), while Claude 4.6 showed the lowest (κ=0.33). Regarding treatment recommendations, Gemini 3.1 avoided under-treatment of surgical cases but produced substantial over-treatment, whereas ChatGPT 5.2 missed 40% of surgically indicated cases.

Conclusion: Although LLMs may offer supportive insights in radiographic interpretation, their current performance demonstrates considerable risks of false-positive and false-negative decisions. These findings indicate that LLMs are not yet sufficiently reliable for independent clinical decision-making in pediatric SCH fractures, and expert oversight remains essential.

Anahtar Kelimeler

• Artificial Intelligence
• Large Language Models
• Supracondylar Humerus Fractures
• Radiography

Etik Beyan

Prior to the study, approval was obtained from the local ethics committee (Date: 07.01.2026, No: 2026/14).

Kaynakça

1. 1. Dave T, Athaluri SA, Singh S. ChatGPT in medicine: an overview of its applications, advantages, limitations, future prospects, and ethical considerations. Front Artif Intell. 2023;6:1169595.
2. 2. Omiye JA, Gui H, Rezaei SJ, Zou J, Daneshjou R. Large Language models in medicine: the potentials and pitfalls: a narrative review. Ann Intern Med. 2024;177(2):210-20.
3. 3. Giorgino R, Alessandri-Bonetti M, Luca A, Migliorini F, Rossi N, Peretti G, et al. ChatGPT in orthopedics: a narrative review exploring the potential of artificial intelligence in orthopedic practice. Front Surg. 2023;10:1284015.
4. 4. Tyrrell Burrus M, Werner BC, Starman JS, Kurkis GM, Pierre JM, Diduch DR, et al. Patient perceptions and current trends in Internet use by orthopedic outpatients. HSS J. 2017;13(3):271-5.
5. 5. Kolac UC, Oral M, Sili MV, Ibik S, Aydinoglu HS, Bakircioglu S, et al. Identifying risk factors for open reduction in pediatric supracondylar humerus fractures. J Pediatr Orthop. 2024;44:573-8.
6. 6. Yilmaz T, Dur IH, Kabakci T, Bulut MA, Akgok B, Kolac UC, et al. Effect of fracture level on optimal Kirschner wire configuration in pediatric supracondylar humerus fractures: A finite element analysis. Jt Dis Relat Surg. 2025;36(3):648-58.
7. 7. Heggeness MH, Sanders JO, Murray J, Pezold R, Sevarino KS. Management of Pediatric Supracondylar Humerus Fractures. J Am Acad Orthop Surg. 2015;23(10):e49-51.
8. 8. Wilkins KE. Fractures and dislocations of the elbow region. In: Rockwood CA Jr, Wilkins KE, King RE, eds. Fractures in children. Vol 3, 4th ed. Philadelphia: Lippincott-Raven, 1996. p. 680-1.

9. 9. Marcaccini G, Seth I, Xie Y, Susini P, Pozzi M, Cuomo R, et al. Breaking Bones, Breaking Barriers: ChatGPT, DeepSeek, and Gemini in Hand Fracture Management. J Clin Med. 2025;14(6):1983.
10. 10. Bulut B, Yortanlı M, Gür A, Akkan Öz M, Mutlu H. Diagnostic capabilities of large language models in the detection of scaphoid fractures in the emergency department. Ulus Travma Acil Cerrahi Derg. 2025;31(10):987-94.
11. 11. Horiuchi D, Tatekawa H, Oura T, Shimono T, Walston SL, Takita H, et al. ChatGPT's diagnostic performance based on textual vs. visual information compared to radiologists' diagnostic performance in musculoskeletal radiology. Eur Radiol. 2025;35:506-16.
12. 12. Güneş YC, Ülkir M. Comparative Performance Evaluation of Multimodal Large Language Models, Radiologist, and Anatomist in Visual Neuroanatomy Questions. Uludağ Üniversitesi Tıp Fakültesi Dergisi. 2024;50:551-6.
13. 13. Noda M, Takahara S, Hayashi S, Inui A, Oe K, Matsushita T. Evaluating ChatGPT's Performance in Classifying Pertrochanteric Fractures Based on Arbeitsgemeinschaft für Osteosynthesefragen/Orthopedic Trauma Association (AO/OTA) Standards. Cureus. 2025;17:e78068.