Evaluation of Electronic Health Records Quality in Outpatient and Inpatient Healthcare Services Using PDQI-9

Öz

Despite technological developments in healthcare services, increasing investments, and ongoing research, there are still no standardized definitions for software tools, functions, or datasets related to electronic health records (EHRs). Data entry into EHRs is shaped by the documentation practices, roles, knowledge, and skills of the individuals entering the data. High-quality EHR data are essential for increasing the efficiency of digital healthcare services, facilitating data analysis, and supporting clinical decision-making processes. This study aimed to evaluate admission notes recorded in the EHR system during outpatient and inpatient healthcare services using PDQI-9. The study included EHRs of patients admitted to the general pediatrics outpatient clinic and the pediatric intensive care unit of Adana City Training and Research Hospital between 01 September 2025 and 31 October 2025. Admission notes of patients receiving inpatient and outpatient healthcare services demonstrated moderate to high levels of documentation quality, and no statistically significant difference was found between the total PDQI-9 scores of the two groups. However, differences were identified between inpatient and outpatient admission notes in terms of specific data quality indicators, particularly accuracy, thoroughness, succinctness, and synthesis. No differences were observed in the indicators of being up-to-date, useful, organized, comprehensible, and internally consistent, or in the overall impression scores of PDQI-9. EHR data quality is a fundamental component of quality and efficiency in healthcare. Therefore, data quality should be regularly monitored using reliable and objective tools. PDQI-9 is an appropriate, practical, and easy-to-use method for evaluating admission notes of both patients presenting to outpatient clinics and critically ill patients admitted to intensive care units.

Anahtar Kelimeler

• Electronic Health Records
• Health Informatics
• Patient Notes
• PDQI-9
• Quality

PDQI-9 Kullanılarak Ayaktan ve Yatarak Sunulan Sağlık Hizmetlerinde Elektronik Sağlık Kayıt Kalitesinin Değerlendirilmesi

Öz

Sağlık hizmetlerinde teknolojik gelişmeler, artan yatırımlar ve süregelen araştırmalara rağmen, elektronik sağlık kayıtlarıyla (ESK) ilişkili yazılım araçları, işlevler veya veri setleri için hâlen standartlaştırılmış tanımlar bulunmamaktadır. ESK sistemlerine veri girişi, veriyi kaydeden bireylerin dokümantasyon uygulamaları, rolleri, bilgi düzeyleri ve becerileri tarafından şekillenmektedir. Yüksek kaliteli ESK verileri, dijital sağlık hizmetlerinin verimliliğini artırmak, veri analizini kolaylaştırmak ve klinik karar verme süreçlerini desteklemek açısından kritik öneme sahiptir. Bu çalışma, ayaktan ve yatan hasta sağlık hizmetleri sırasında ESK sistemine kaydedilen başvuru notlarının PDQI-9 kullanılarak değerlendirilmesini amaçlamıştır. Çalışmaya, 01 Eylül 2025 ile 31 Ekim 2025 tarihleri arasında Adana Şehir Eğitim ve Araştırma Hastanesi genel pediatri polikliniğine ve çocuk yoğun bakım ünitesine başvuran hastaların ESK verileri dâhil edilmiştir. Ayaktan ve yatan hasta sağlık hizmeti alan hastalara ait başvuru notlarının dokümantasyon kalitesinin orta ile yüksek düzeyde olduğu belirlenmiş ve iki grubun toplam PDQI-9 puanları arasında istatistiksel olarak anlamlı bir fark saptanmamıştır. Bununla birlikte, özellikle doğruluk, kapsamlılık, özlülük ve sentez göstergeleri açısından yatan ve ayaktan hasta başvuru notları arasında farklılıklar tespit edilmiştir. Güncellik, yararlılık, düzenlilik, anlaşılabilirlik ve iç tutarlılık göstergeleri ile PDQI-9’un genel izlenim puanlarında ise gruplar arasında herhangi bir farklılık gözlenmemiştir. ESK veri kalitesi, sağlık hizmetlerinde kalite ve verimliliğin temel bir bileşenidir. Bu nedenle veri kalitesi, güvenilir ve nesnel araçlar kullanılarak düzenli olarak izlenmelidir. PDQI-9, hem polikliniğe başvuran hastaların hem de yoğun bakım ünitesine kabul edilen kritik hastaların başvuru notlarının değerlendirilmesinde uygun, pratik ve kullanımı kolay bir yöntemdir.

Anahtar Kelimeler

• Elektronik Sağlık Kayıtları
• Hasta Kayıt Notları
• Kalite
• PDQI-9
• Sağlık Bilişimi

Kaynakça

1. Akal, Ş. (2021). Elektronik sağlık kayıt sistemleri. In N. Bozbuğa, & S. Gülseçen (Eds.), Tıp bilişimi (pp. 79–106). Istanbul University Press.
2. American Health Information Management Association (AHIMA). (2019). AHIMA policy statement on patient identification. https://www.ahima.org/media/2idlrhhk/patient-id-policy-statement-final.pdf
3. Atasoy, H., Greenwood, B. N., & McCullough, J. S. (2019). The digitization of patient care: A review of the effects of electronic health records on health care quality and utilization. Annual Review of Public Health, 40, 487–500. https://doi.org/10.1146/annurev-publhealth-040218-044206
4. Colussi, G., Botto, A., Giudicessi, R., Gomel, L., Marangone, A., Rodriguez, M., & Benitez, S. (2020). Evaluating quality of electronic clinical notes using the Spanish version of Physician Documentation Quality Instrument (PDQI-9) in a high-complexity hospital: Cross-sectional study. Studies in Health Technology and Informatics, 270, 587–591. https://doi.org/10.3233/SHTI200228
5. Declerck, J., Vandenberk, B., Deschepper, M., Colpaert, K., Cool, L., Goemaere, J., Bové, M., Staelens, F., De Meester, K., Verbeke, E., Smits, E., De Decker, C., Van Der Vekens, N., Pauwels, E., Vander Stichele, R., Kalra, D., & Coorevits, P. (2024). Building a foundation for high-quality health data: Multihospital case study in Belgium. JMIR Medical Informatics, 12, e60244. https://doi.org/10.2196/60244
6. Evans, R. S. (2016). Electronic health records: Then, now, and in the future. Yearbook of Medical Informatics, 25(Suppl 01), S48–S61. https://doi.org/10.15265/IYS-2016-s006
7. Işık, O., Yılmaz, A., Barışcı, N., Akbolat, M., Odacıoğlu, Y., Akca, N., & Esatoğlu, A. E. (2013). Sağlık kurumlarında bilgi sistemleri. Anadolu University Press.
8. Lewis, A. E., Weiskopf, N., Abrams, Z. B., Foraker, R., Lai, A. M., Payne, P.R.O., & Gupta, A. (2023). Electronic health record data quality assessment and tools: A systematic review. Journal of the American Medical Informatics Association, 30(10), 1730–1740. https://doi.org/10.1093/jamia/ocad120

9. Lyons, P. G., Rojas, J. C., Bewley, A. F., Malone, S. M., & Santhosh, L. (2024). Validating the physician documentation quality instrument for intensive care unit–ward transfer notes. ATS Scholar, 5(2), 274–285. https://doi.org/10.34197/ats-scholar.2023-0094OC
10. O’Donnell, H. C., Suresh, S., Council on Clinical Information Technology, Webber, E. C., Alexander, G. M., Chung, S. L., Hamling, A. M., Kirkendall, E. S., Mann, A. M., Sadeghian, R., Shelov, E., & Wiesenthal, A. M. (2020). Electronic documentation in pediatrics: The rationale and functionality requirements. Pediatrics, 146(1), e20201684. https://doi.org/10.1542/peds.2020-1684
11. Ozonze, O., Scott, P. J., & Hopgood, A. A. (2023). Automating electronic health record data quality assessment. Journal of Medical Systems, 47(1), 23. https://doi.org/10.1007/s10916-022-01892-2
12. Palm, E., Manikantan, A., Mahal, H., Belwadi, S. S., & Pepin, M. E. (2025). Assessing the quality of AI-generated clinical notes: Validated evaluation of a large language model ambient scribe. Frontiers in Artificial Intelligence, 8, 1691499. https://doi.org/10.3389/frai.2025.1691499
13. Patel, N. R., Lacher, C. R., Huang, A. Y., Kolomeyer, A., Bavinger, J. C., Carroll, R. M., Kim, B. J., & Tsui, J. C. (2025). Evaluating the application of artificial intelligence and ambient listening to generate medical notes in vitreoretinal clinic encounters. Clinical Ophthalmology, 2025(19), 1763–1769. https://doi.org/10.2147/OPTH.S513633
14. Penev, Y. P., Buchanan, T. R., Ruppert, M. M., Liu, M., Shekouhi, R., Guan, Z., Balch, J., Ozrazgat-Baslanti, T., Shickel, B., Loftus, T. J., & Bihorac, A. (2024). Electronic health record data quality and performance assessments: Scoping review. JMIR Medical Informatics, 12, e58130. https://doi.org/10.2196/58130
15. Stetson, P. D., Bakken, S., Wrenn, J. O., & Siegler, E. L. (2012). Assessing electronic note quality using the physician documentation quality instrument (PDQI-9). Applied Clinical Informatics, 3(02), 164–174. https://doi.org/10.4338/aci-2011-11-ra-0070
16. Stetson, P. D., Morrison, F. P., Bakken, S., Johnson, S. B., & eNote Research Team. (2008). Preliminary development of the physician documentation quality instrument. Journal of the American Medical Informatics Association, 15(4), 534–541. https://doi.org/10.1197/jamia.M2404
17. Subaşıoğlu, F. (2023). Elektronik sağlık kayıtlarında etik. In V. Gültekin (Ed.), Elektronik sağlık kayıtları (pp. 11–24). Nobel Academic Publishing.
18. Walker, K. J., Wang, A., Dunlop, W., Rodda, H., Ben-Meir, M., & Staples, M. (2017). The 9-Item Physician Documentation Quality Instrument (PDQI-9) score is not useful in evaluating EMR (scribe) note quality in Emergency Medicine. Applied Clinical Informatics, 8(03), 981–993. https://doi.org/10.4338/ACI2017050080
19. Wiebe, N., Otero Varela, L., Niven, D. J., Ronksley, P. E., Iragorri, N., & Quan, H. (2019). Evaluation of interventions to improve inpatient hospital documentation within electronic health records: A systematic review. Journal of the American Medical Informatics Association, 26(11), 1389–1400. https://doi.org/10.1093/jamia/ocz081
20. Yang, L., Ren, M., Sun, S., Lu, J., & Wu, Y. (2024). Investigation on the preferences for data quality assessment indicators of electronic health records: User-oriented perspective. JAMIA Open, 7(4), ooae142. https://doi.org/10.1093/jamiaopen/ooae142