Evaluation of Turkish artificial intelligence-generated responses about osteoporosis in terms of accuracy, completeness, and readability

Abstract

Purpose: Artificial intelligence (AI) chatbots are increasingly used in patient education. This study evaluated the responses of AI chatbots to frequently asked questions about osteoporosis in Turkish in terms of accuracy, completeness, and readability. To our knowledge, this is the first study to evaluate AI-generated responses to osteoporosis-related questions in Turkish.
Materials and methods: Thirty-one of the most common frequently asked questions related to osteoporosis were subcategorized into general information, diagnosis, and treatment. The questions were submitted to the publicly accessible platforms ChatGPT-5.3, Gemini, Copilot, and Perplexity. Two physicians evaluated accuracy (six-point Likert scale) and completeness (three-point Likert scale) based on the 2025 Guideline for the Diagnosis and Treatment of Osteoporosis and Metabolic Bone Diseases. Readability was assessed using the Ateşman Readability Formula.
Results: No significant difference was found among the chatbots for accuracy. Accuracy rates ranged 80.5%-82.2% overall, 82.3%-85.2% general information, 58.3%-66.7% diagnosis, and 77.2%-81.7% treatment. Significant differences were found in completeness overall and in the general information (p=0.006, p=0.029; respectively). In pairwise comparisons, ChatGPT-5.3 showed significantly higher completeness than Perplexity (p=0.001, p=0.006; respectively). Completeness rates ranged 47%-64.3% overall, 46%-68.3% general information, 33.3%-50% diagnosis, and 48.3%-60.3% treatment. Readability differed significantly among the chatbots (p<0.001). Based on mean scores, the ranking was ChatGPT-5.3>Gemini=Copilot>Perplexity. ChatGPT-5.3, Gemini, and Copilot were easy, whereas Perplexity was moderately difficult.
Conclusion: All chatbots showed similar accuracy, but ChatGPT-5.3 performed better in completeness and readability. Chatbots may be useful in Turkish patient education. However, their standalone use in osteoporosis management without physician supervision is not appropriate.

Keywords

• Artificial intelligence
• ChatGPT-5.3
• chatbot
• osteoporosis
• patient education

Osteoporoz hakkında Türkçe yapay zeka yanıtlarının doğruluk, eksiksizlik ve okunabilirlik açısından değerlendirilmesi

Abstract

Amaç: Yapay zeka tabanlı sohbet robotları hasta eğitiminde giderek daha sık kullanılmaktadır. Bu çalışmanın amacı, osteoporoz hakkında Türkçe sık sorulan sorulara yapay zeka sohbet robotlarının verdiği yanıtları doğruluk, eksiksizlik ve okunabilirlik yönünden değerlendirmektir. Bildiğimiz kadarıyla osteoporozla ilgili sorulara yapay zeka sohbet robotları tarafından Türkçe olarak üretilen yanıtları değerlendiren ilk araştırmadır.
Gereç ve yöntem: Osteoporozla ilgili en sık sorulan otuz bir soru; genel bilgiler, tanı ve tedavi olmak üzere üç alt kategoriye ayrılmıştır. Bu sorular; kamuya açık platformlar olan ChatGPT-5.3, Gemini, Copilot ve Perplexity’ye yöneltilmiştir. İki uzman hekim, verilen yanıtların doğruluk düzeyi (altılı Likert ölçeği) ve eksiksizliğini (üçlü Likert ölçeği), "2025 Osteoporoz ve Metabolik Kemik Hastalıkları Tanı ve Tedavi Kılavuzu"nu temel alarak değerlendirmiştir. Metinlerin okunabilirliği ise Ateşman Okunabilirlik Formülü kullanılarak analiz edilmiştir.
Bulgular: Doğruluk açısından modeller arasında anlamlı fark saptanmamıştır. Doğruluk yüzdeleri toplamda %80,5-82,2, genel bilgilerde %82,3-85,2, tanıda %58,3-66,7 ve tedavide %77,2-81,7 arasında değişmiştir. Eksiksizlik açısından toplamda ve genel bilgilerde anlamlı fark saptanmıştır (sırasıyla p=0,006, p=0,029). İkili karşılaştırmalarda ChatGPT-5.3'ün eksiksizlik performansının Perplexity’den istatistiksel olarak anlamlı düzeyde daha yüksek olduğu bulunmuştur (sırasıyla p=0,001, p=0,006). Eksiksizlik yüzdeleri toplamda %47-64,3, genel bilgilerde %46-68,3, tanıda %33,3-50 ve tedavide %48,3-60,3 arasında değişmiştir. Okunabilirlik açısından modeller arasında anlamlı fark saptanmıştır (p<0,001). İkili karşılaştırmalarda ortalama puanlarına göre sıralama ChatGPT-5.3>Gemini=Copilot>Perplexity olarak bulunmuştur. ChatGPT-5.3, Gemini ve Copilot kolay; Perplexity ise orta güçlükte düzeydedir.
Sonuç: Tüm modeller benzer doğrulukta yanıtlar üretirken, ChatGPT-5.3 eksiksizlik ve okunabilirlik açısından daha başarılı bulundu. Yapay zeka araçlarının Türkçe hasta eğitiminde yararlı olabileceği düşünülmektedir. Ancak osteoporoz yönetiminde hekim denetimi olmadan tek başına kullanımları uygun değildir.

Keywords

• Yapay zeka
• ChatGPT-5.3
• sohbet robotu
• osteoporoz
• hasta eğitimi

References

1. Cosman, F., de Beur, S. J., LeBoff, M. S., Lewiecki, E. M., Tanner, B., Randall, S., Lindsay, R., & National Osteoporosis Foundation (2014). Clinician’s Guide to Prevention and Treatment of Osteoporosis. Osteoporosis international : a journal established as result of cooperation between the European Foundation for Osteoporosis and the National Osteoporosis Foundation of the USA, 25(10), 2359–2381. https://doi.org/10.1007/s00198-014-2794-2
2. Zhang, X., Liang, Y., Zhang, F., & Liu, X. (2025). Osteoporosis: molecular pathogenesis and therapeutic interventions. Molecular biomedicine, 6(1), 98. https://doi.org/10.1186/s43556-025-00349-5
3. GBD 2019 Fracture Collaborators (2021). Global, regional, and national burden of bone fractures in 204 countries and territories, 1990-2019: a systematic analysis from the Global Burden of Disease Study 2019. The lancet. Healthy longevity, 2(9), e580–e592. https://doi.org/10.1016/S2666-7568(21)00172-0
4. Xiao, P. L., Cui, A. Y., Hsu, C. J., Peng, R., Jiang, N., Xu, X. H., Ma, Y. G., Liu, D., & Lu, H. D. (2022). Global, regional prevalence, and risk factors of osteoporosis according to the World Health Organization diagnostic criteria: a systematic review and meta-analysis. Osteoporosis international : a journal established as result of cooperation between the European Foundation for Osteoporosis and the National Osteoporosis Foundation of the USA, 33(10), 2137–2153. https://doi.org/10.1007/s00198-022-06454-3
5. Bartl, R., & Bartl, C. (2016). Epidemiology of osteoporotic fractures. Bone Disorders: Biology, Diagnosis, Prevention, Therapy. Cham: Springer International Publishing, 233-234. https://doi.org/10.1007/978-3-319-29182-6
6. Aksu, S., & Bakır, F. A. (2025). Yapay zeka sohbet robotlarının ‘diş hekimliğinde flor’ konusu ile ilgili sorulara verdikleri yanıtların değerlendirilmesi. Lokman Hekim Dergisi, 15(3), 1069-1078. https://doi.org/10.31020/mutftd.1746766
7. Boztaş-Demir, G., & Görgülü, S. (2025). ChatGPT ve Gemini modellerinin ortodonti alanındaki türkçe yeterliliği: hasta sorularına verilen yanıtların doğruluk, eksiksizlik ve okunabilirlik değerlendirilmesi. Yeditepe Üniversitesi Diş Hekimliği Fakültesi Dergisi, 21(3), 151-158. https://doi.org/10.5505/yeditepe.2025.15010
8. Durmuş-Ece, B. Ş., Hondur, G., & Yüksel, E. (2025). Glokomun Medikal Tedavisi ile İlgili Sorulara ChatGPT Yanıtlarının Doğruluk, Kapsamlılık, Okunabilirlik Açısından Değerlendirilmesi. MN Ophthalmology, 32(4), 239-245.

9. Tamkin, A., Brundage, M., Clark, J., & Ganguli, D. (2021). Understanding the capabilities, limitations, and societal impact of large language models. arXiv:2102.02503,e1-8. https://doi.org/10.48550/arXiv.2102.02503
10. Chen, S., Kann, B. H., Foote, M. B., Aerts, H. J. W. L., Savova, G. K., Mak, R. H., & Bitterman, D. S. (2023). Use of Artificial Intelligence Chatbots for Cancer Treatment Information. JAMA oncology, 9(10), 1459–1462. https://doi.org/10.1001/jamaoncol.2023.2954
11. Demir, G. B., Süküt, Y., Duran, G. S., Topsakal, K. G., & Görgülü, S. (2024). Enhancing systematic reviews in orthodontics: a comparative examination of GPT-3.5 and GPT-4 for generating PICO-based queries with tailored prompts and configurations. European journal of orthodontics, 46(2), cjae011. https://doi.org/10.1093/ejo/cjae011
12. Lin, C. R., Chen, Y. J., Tsai, P. A., Hsieh, W. Y., Tsai, S. H. L., Fu, T. S., Lai, P. L., & Chen, J. Y. (2025). Multiple large language models versus clinical guidelines for postmenopausal osteoporosis: a comparative study of ChatGPT-3.5, ChatGPT-4.0, ChatGPT-4o, Google Gemini, Google Gemini Advanced, and Microsoft Copilot. Archives of osteoporosis, 20(1), 120. https://doi.org/10.1007/s11657-025-01587-4
13. Cinar, C. (2023). Analyzing the Performance of ChatGPT About Osteoporosis. Cureus, 15(9), e45890. https://doi.org/10.7759/cureus.45890
14. Ghanem, D., Shu, H., Bergstein, V., Marrache, M., Love, A., Hughes, A., Sotsky, R., & Shafiq, B. (2024). Educating patients on osteoporosis and bone health: Can “ChatGPT” provide high-quality content?. European journal of orthopaedic surgery & traumatology : orthopedie traumatologie, 34(5), 2757–2765. https://doi.org/10.1007/s00590-024-03990-y
15. Erden, Y., Temel, M. H., & Bağcıer, F. (2024). Artificial intelligence insights into osteoporosis: assessing ChatGPT’s information quality and readability. Archives of osteoporosis, 19(1), 17. https://doi.org/10.1007/s11657-024-01376-5
16. Abu Arqub, S., Al-Moghrabi, D., Allareddy, V., Upadhyay, M., Vaid, N., & Yadav, S. (2024). Content analysis of AI-generated (ChatGPT) responses concerning orthodontic clear aligners. The Angle orthodontist, 94(3), 263–272. https://doi.org/10.2319/071123-484.1
17. TEMD Osteoporoz ve Metabolik Kemik Hastalıkları Çalışma Grubu. Osteoporoz ve Metabolik Kemik Hastalıkları Tanı ve Tedavi Kılavuzu-2025. TEMD Yayınları, Ankara. Available at: chrome-extension://efaidnbmnnnibpcajpcglclefindmkaj/https://file.temd.org.tr/Uploads/publications/guides/documents/OSTEPOROZ_nisan2025.pdf. Accessed 30.04.2025
18. Jebb, A. T., Ng, V., & Tay, L. (2021). A Review of Key Likert Scale Development Advances: 1995-2019. Frontiers in psychology, 12, 637547. https://doi.org/10.3389/fpsyg.2021.637547
19. Lyons, R. J., Arepalli, S. R., Fromal, O., Choi, J. D., & Jain, N. (2024). Artificial intelligence chatbot performance in triage of ophthalmic conditions. Canadian journal of ophthalmology. 59(4), e301–e308. https://doi.org/10.1016/j.jcjo.2023.07.016
20. Varli, B., Cetindag, E. N., Koyuncu Demir, K., Coban, U., Islamova, G., & Dokmeci, F. (2023). Evaluation of readability levels of online patient education materials for female pelvic floor disorders. Medicine, 102(52), e36636. https://doi.org/10.1097/MD.0000000000036636
21. Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., Ishii, E., Bang, J. B., Madotto, A., & Fung, P. (2023). Survey of hallucination in natural language generation. ACM computing surveys, 55(12), 1–38. https://doi.org/10.1145/3571730 22. Alkaissi, H., & McFarlane, S. I. (2023). Artificial Hallucinations in ChatGPT: Implications in Scientific Writing. Cureus, 15(2), e35179. https://doi.org/10.7759/cureus.35179