Perthes Hastalığı Hakkında Sıkça Sorulan Çevrimiçi Sorulara Yanıt Vermede Yapay Zeka Tabanlı Chatbotların Değerlendirilmesi: ChatGPT-5.1, Gemini 3 ve DeepSeek V3.2 Karşılaştırması

Abstract

Özet Amaçlar: Legg–Calvé–Perthes hastalığı, kalıcı sakatlığa yol açabilen ciddi bir ortopedik durumdur. Günümüzde aileler, çevrimiçi sağlık bilgisi arayışlarında giderek daha fazla yapay zekâ tabanlı sohbet robotlarına yönelmektedir. Bu çalışma, yaygın olarak kullanılan üç sohbet robotunun Perthes hastalığı hakkındaki sorulara doğru ve anlaşılabilir cevaplar verebileceği hipotezini test etmeyi ve yanıtlarını doğruluk, kapsamlılık, okunabilirlik ve kullanıcı tarafından anlaşılabilirlik açısından karşılaştırmayı amaçlamıştır. Yöntemler: 10 Aralık 2025 tarihinde, yapay zekâ tabanlı sohbet robotları GPT-5.1 (OpenAI), Gemini 3 (Google) ve DeepSeek V3.2'ye (DeepSeek), Perthes Kids Foundation web sitesinin “Sıkça Sorulan Sorular” bölümünden tüm 11 soru soruldu. Her soru için ayrı bir konuşma başlatıldı ve standart şu ifade kullanıldı: “Perthes hastalığı teşhisi konmuş bir çocuğun ebeveyniyim ve şunu sormak istiyorum…”. Yanıtlar, iki bağımsız pediatrik ortopedi uzmanı tarafından AIRES, PEMAT-P, Flesch Okuma Kolaylığı (FRE) ve Flesch-Kincaid Sınıf Düzeyi (FKGL) endeksleri kullanılarak değerlendirildi ve istatistiksel olarak karşılaştırıldı. Sonuçlar: Tüm chatbot'lar AIRES değerlendirmesine göre mükemmel kalitede yanıtlar üretti. AIRES için gözlemciler arasında orta düzeyde ve istatistiksel olarak anlamlı bir uyum gözlemlendi ([ICC]=0.501, p<0.001). Gemini, PEMAT-P puanlarına göre daha düşük anlaşılabilirlik düzeyine sahip yanıtlar verdi (p = 0.005). Okunabilirlik analizlerinde chatbot'lar arasında anlamlı bir fark bulunmadı; çoğu yanıt lise düzeyinde okunabilirlik seviyesindeydi. Sonuçlar: Bu çalışma, mevcut chatbot'ların Perthes hastalığı hakkındaki sorulara doğru, kapsamlı, güncel ve anlaşılabilir yanıtlar verebileceğini göstermektedir. Etkileşimli yapıları, geleneksel çevrimiçi sağlık bilgi platformlarından farklılaşmalarına ve hastaların ve ailelerin çok boyutlu bilgi ihtiyaçlarına daha etkili bir şekilde yanıt vermelerine olanak sağlayabilir. Gelecekte, chatbot'ların klinik bulgularla entegre edilmesi, kişiselleştirilmiş bilgi sunumunu daha da geliştirebilir ve çocuk ortopedisi pratiğinde doktor-hasta iletişimini yeniden şekillendirebilir.

Keywords

• perthes
• social media
• chatbot

Ethical Statement

Bu çalışma herhangi bir insan veya hayvan katılımcı içermemektedir ve hastalara ait kişisel veya gizli tıbbi veriler kullanılmamıştır. Araştırma, yapay zeka platformları tarafından üretilen, tamamen halka açık ve anonim veriler üzerinden yürütülmüştür. Bu nedenle, etik kurul onayı alınması gerekmemektedir.

Evaluation of AI-Based Chatbots in Responding to Frequently Asked Online Questions About Perthes Disease: A Comparison of ChatGPT-5.1, Gemini 3, DeepSeek V3.2

Abstract

Abstract Objectives: Legg–Calvé–Perthes disease is a serious orthopedic condition that can lead to permanent disability. Today, families increasingly turn to artificial intelligence–based chatbots in their online health information search. This study aimed to test the hypothesis that three commonly used chatbots can provide accurate and understandable answers to questions about Perthes disease, and to compare their responses in terms of accuracy, comprehensiveness, readability, and user understandability. Methods: On December 10, 2025, the AI-based chatbots GPT-5.1 (OpenAI), Gemini 3 (Google), and DeepSeek V3.2 (DeepSeek) were asked 11 questions from the “Frequently Asked Questions” section of the Perthes Kids Foundation website. A separate conversation was started for each question, using the standard prompt: “I am a parent of a child diagnosed with Perthes disease and I would like to ask…”. The answers were evaluated by two independent pediatric orthopedic specialists using AIRES, PEMAT-P, Flesch Reading Ease (FRE), and Flesch–Kincaid Grade Level (FKGL) indices and were statistically compared. Results: All chatbots produced excellent-quality answers according to the AIRES evaluation. A moderate and statistically significant agreement was observed between observers for AIRES ([ICC]=0.501, p<0.001). Gemini provided answers with lower understandability according to PEMAT-P scores (p = 0.005). No significant differences were found between the chatbots in readability analyses; most answers were at a high school–level readability. Conclusions: This study shows that current chatbots can provide accurate, comprehensive, up-to-date, and understandable answers to questions about Perthes disease. Their interactive nature may allow them to differ from traditional online health information platforms and to respond more effectively to the multidimensional information needs of patients and families. In the future, integrating chatbots with clinical findings may further enhance personalized information delivery and reshape doctor–patient communication in pediatric orthopedic practice.

Keywords

• perthes
• social media
• chatbot

Ethical Statement

This study does not involve any human or animal participants, and no personal or confidential patient data were utilized. The research was conducted using publicly available, anonymous data generated by artificial intelligence platforms. Therefore, institutional review board (ethics committee) approval was not required.

References

1. Clark, M., & Bailey, S. (2024). Chatbots in health care: Connecting patients to information (Report No. EH0122). Canadian Agency for Drugs and Technologies in Health.
2. Feghhi, D. P., Komlos, D., Agarwal, N., & Sabharwal, S. (2014). Quality of online pediatric orthopaedic education materials. The Journal of Bone and Joint Surgery, 96(23), e194.
3. Gilbert, S. R., Laine, J. C., Martin, B. D., Sankar, W. N., & Kim, H. K. W. (2025). Legg–Calvé–Perthes disease. Journal of the American Academy of Orthopaedic Surgeons. Advance online publication.
4. Goodman, R. S., Patrinely, J. R., Stone, C. A., Jr., Zimmerman, E., Donald, R. R., Chang, S. S., ... & others. (2023). Accuracy and reliability of chatbot responses to physician questions. JAMA Network Open, 6(10), e2336483.
5. Jeong, K. Y., Lee, H. J., & Yim, S. Y. (2022). The usefulness, reliability, and quality of YouTube video clips on congenital muscular torticollis: A STROBE-compliant study. Medicine, 101(37), e30502.
6. Kubb, C., & Foran, H. M. (2020). Online health information seeking by parents for their children: Systematic review and agenda for further research. Journal of Medical Internet Research, 22(8), e19985.
7. Kusec, S., Brborovic, O., & Schillinger, D. (2003). Diabetes websites accredited by the Health On the Net Foundation Code of Conduct: Readable or not? Studies in Health Technology and Informatics, 95, 655–660.
8. Leo, D. G., Murphy, R., Gambling, T., Long, A., Jones, H., & Perry, D. C. (2019). Perspectives on the social, physical, and emotional impact of living with Perthes’ disease in children and their family: A mixed methods study. Global Pediatric Health, 6, 2333794X19835235.

9. Lock, A. M., & Baker, J. F. (2022). Quality of YouTube videos for three common pediatric hip conditions: Developmental hip dysplasia, slipped capital femoral epiphysis and Legg–Calvé–Perthes disease. Journal of Pediatric Orthopaedics B, 31(6), 546–553.
10. Nassiri, M., Bruce-Brand, R. A., O’Neill, F., Chenouri, S., & Curtin, P. (2015). Perthes disease: The quality and reliability of information on the internet. Journal of Pediatric Orthopaedics, 35(5), 530–535.
11. Nassur, J. A., Samuel, L. T., Acuña, A. J., Ellsworth, B., & Kamath, A. F. (2023). The quality of online information on Legg–Calvé–Perthes disease: Can we do better? Archives of Orthopaedic and Trauma Surgery, 143(11), 6569–6576.
12. Nasra, M., Jaffri, R., Pavlin-Premrl, D., Kok, H. K., Khabaza, A., Barras, C., ... & others. (2025). Can artificial intelligence improve patient educational material readability? A systematic review and narrative synthesis. Internal Medicine Journal, 55(1), 20–34.
13. Oztermeli, A., & Karahan, N. (2020). Evaluation of YouTube video content about developmental dysplasia of the hip. Cureus, 12(8), e9557.
14. Pan, A., Musheyev, D., Bockelman, D., Loeb, S., & Kabarriti, A. E. (2023). Assessment of artificial intelligence chatbot responses to top searched queries about cancer. JAMA Oncology, 9(10), 1437–1440.
15. Ranade, A. S., Belthur, M. V., Oka, G. A., & Malone, J. D. (2020). YouTube as an information source for clubfoot: A quality analysis of video content. Journal of Pediatric Orthopaedics B, 29(4), 375–378.
16. Son, N., Kang, I., Kim, I., Lee, K., Nam, S., & Lee, D. (2025). Development and evaluation of a retrieval-augmented generation–based electronic medical record chatbot system. Healthcare Informatics Research, 31(3), 218–225.
17. Treadgold, B. M., Teasdale, E., Muller, I., Roberts, A., Coulson, N., & Santer, M. (2020). Parents’ and carers’ experiences of seeking health information and support online for long-term physical childhood conditions: A systematic review and thematic synthesis of qualitative research. BMJ Open, 10(12), e042139.
18. Verduzco Guillen, R., Grellinger, E. D., & Swarup, I. (2025). The availability and readability of multilingual online patient materials for Legg–Calvé–Perthes disease. Journal of the Pediatric Orthopaedic Society of North America, 11, 100169.
19. von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., & Vandenbroucke, J. P. (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: Guidelines for reporting observational studies. BMJ, 335(7624), 806–808.
20. Walker, H. L., Ghani, S., Kuemmerli, C., Nebiker, C. A., Müller, B. P., Raptis, D. A., ... & others. (2023). Reliability of medical information provided by ChatGPT: Assessment against clinical guidelines and patient information quality instrument. Journal of Medical Internet Research, 25, e47479.
21. Winship, B., Grisell, M., Yang, C. B., Chen, R. X., & Bauer, A. S. (2014). The quality of pediatric orthopaedic information on the internet. Journal of Pediatric Orthopaedics, 34(4), 474–477.
22. Yun, H. S., & Bickmore, T. (2025). Online health information-seeking in the era of large language models: Cross-sectional web-based survey study. Journal of Medical Internet Research, 27, e68560.