An Alternative Approach to Evaluating Agreement Between Methods in Clinical Research: Clinical Tolerance Limits

Öz

In clinical research, it is common to evaluate the agreement between two different methods used for the same purpose. Various biostatistical methods are available in the literature to assess this agreement. The aim of this study is to provide clinical researchers and biostatisticians with a robust and flexible option for evaluating agreement between two different measurement methods when parametric assumptions are not met. The Bland-Altman (B-A) method is frequently used to assess two different methods with continuous random measurements. However, it can produce misleading results when the data do not meet the assumption of normal distribution. One proposed method to address this issue is the clinical tolerance limits method. By determining the lower and upper limits for the difference values of the methods, the agreement between the two methods is assessed according to these limits. In the study evaluating the agreement between the SNIP and MEP tests, the limits for the B-A method were obtained as (-9.47 to 47.31). According to these limits, 94.3% of the difference values fall within this range. According to the clinical tolerance limits method, these limits were determined as (0-24), with 69.8% of the difference values falling within this range..When comparing the two percentage values obtained from the methods, the values from the B-A method were found to be higher. However, the limits obtained with the B-A method are quite wide and may be clinically questionable. Although the percentage values obtained from the clinical tolerance limits method are lower, they have clinical relevance. Therefore, it is recommended to use the clinical tolerance limits method, especially when the normal distribution assumption is not met.

Anahtar Kelimeler

• Bland-Altman
• Clinical Tolerance Limits
• Agreement
• SNIP
• MEP

Klinik Araştırmalarda Yöntemler Arasındaki Uyumu Değerlendirmek İçin Alternatif Bir Yaklaşım: Klinik Tolerans Limitleri

Öz

Klinik araştırmalarda aynı amaç için kullanılan iki farklı yönteminin uyumunun değerlendirilmesi sıklıkla kullanılmaktadır. Literatürde bu uyumun değerlendirilmesinde kullanılan farklı biyoistatistiksel yöntemler bulunmaktadır. Bu çalışmada da amaç, klinik araştırmacılara ve biyoistatistikçilere, parametrik varsayımların sağlanmadığı durumlarda iki farklı ölçüm yöntemi arasındaki uyumu değerlendirmek için güçlü ve esnek bir seçenek sunmaktır. Bland-Altman(B-A) yöntemi ölçümleri sürekli rassal olan iki farklı yöntemin değerlendirilmesinde sıklıkla kullanılan bir yöntemdir. Ancak verinin normal dağılım varsayımını sağlamadığı durumlarda yanıltıcı sonuçlar verebilir. Bu sorunu ortadan kaldırabilmek için önerilen yöntemlerden biri de klinik tolerans limitleri yöntemidir. Yöntemlerin fark değerlerine ilişkin alt ve üst limitler belirlenerek iki yöntem arasındaki uyum bu limitlere göre elde edilmektedir. SNIP ve MEP testlerinin uyumunun değerlendirildiği çalışmada B-A yöntemine limitler (-9,47-47,31) olarak elde edilmiştir. Bu limitlere göre ise fark değerlerinin %94,3’ünün bu limitler arasında olduğu görülmüştür. Klinik tolerans limitleri yöntemine göre bu limitler (0-24) olarak belirlenmiştir. Bu yöntemde ise fark değerlerinin %69,80’i bu limitler içinde yer almaktadır. Yöntemlerden elde edilen iki yüzde değer karşılaştırıldığında B-A yönteminden elde edilen değerlerin daha yüksek olduğu görülmektedir. Ancak B-A yöntemi ile elde edilen limitler oldukça geniştir ve klinik açıdan tartışmalıdır. Klinik tolerans limitleri yöntemi elde edilen yüzde değerler düşük olmasına rağmen klinik olarak karşılığı vardır. Bundan dolayı da özellikle normal dağılımın varsayımının sağlanmadığı durumlarda klinik tolerans limitleri yönteminin kullanılması önerilmektedir.

Anahtar Kelimeler

• Bland-Altman
• Klinik Tolerans Limitleri
• Uyum
• SNIP
• MEP

Kaynakça

1. 1. Solmaz, M. ve Solmaz T., Hastanelerde iş sağlığı ve güvenliği. Gümüşhane Üniversitesi Sağlık Bilimleri Dergisi, (2017). 6(3), 147-156.
2. 2. Akkır, F. F. ve Yeşilşerit, T., Tıbbi görüntüleme teknikerlerinin mesleki risklere karşı tutumu. Türkiye Sağlık Enstitüleri Başkanlığı Dergisi, (2021). 4(1), 1-9.
3. 3. Satta, G., Loi, M., Becker, N., Benavente, Y., De Sanjose, S., Foretova, L., ... ve Cocco, P., Occupational exposure to ionizing radiation and risk of lymphoma subtypes: Results of the Epilymph European case-control study. Environmental Health, (2020). 19.
4. 4. Ahmad, I. M., Abdalla, M. Y., Moore, T. A., Bartenhagen, L., Case, A. J., ve Zimmerman, M. C., Healthcare workers occupationally exposed to ionizing radiation exhibit altered levels of inflammatory cytokines and redox parameters. Antioxidants, (2019). 8(1).
5. 5. World Health Organization, Ionizing Radiation and Health Effects. https://www.who.int/news-room/fact-sheets/detail/ionizing-radiation-and-health-effects Erişim 12.06.2024.
6. 6. World Health Organization, Radiation and Health. https://www.who.int/news-room/questions-and-answers/item/radiation-and-health Erişim 10.06.2024.
7. 7. Motwani Mukta, B., Tagade Pooja, P., Dhole Apeksha, S., ve Khator Apurva, D., Knowledge and attitude amongst the dental and medical students towards radiation hazards and radiation protection: A questionnaire survey. Int J Dent Res, (2019). 4, 43-48.
8. 8. Schroderus-Salo, T., Hirvonen, L., Henner, A., Ahonen, S., Kääriäinen, M., Miettunen, J., ve Mikkonen, K., Development and validation of a psychometric scale for assessing healthcare professionals' knowledge in radiation protection. Radiography, (2019). 25.

9. 9. del Rosario, M., ve Mikhail, M., The World Health Organization Global Initiative on Radiation Safety in Healthcare Settings. Radiation Protection in Medical Imaging and Radiation Oncology, (2015).
10. 10. Salah Eldeen, N.G. ve Farouk S.A., Assessment of awareness and practice of ionizing radiation protection procedures among exposed health care workers. Egyptian Journal of Occupational Medicine, (2020). 44(1), 529-544.
11. 11. Donat, B., Kamu sağlık kuruluşlarında çalışanların iş güvenliği kültürü ve güvenlik iklimi algısının güvenli davranışları üzerine etkisi. Doktora Tezi, Balıkesir: Balıkesir Üniversitesi, Sağlık Bilimleri Enstitüsü, 2024.
12. 12. Do, K. H., General principles of radiation protection in fields of diagnostic medical exposure. Journal of Korean Medical Science, (2016). 31(Suppl 1).
13. 13. Krille, L., Hammer, G. P., Merzenich, H., ve Zeeb, H., Systematic review on physicians' knowledge about radiation doses and radiation risks of computed tomography. European Journal of Radiology, (2010). 76, 36-41.
14. 14. Soye, J. A., ve Paterson, A., A survey of awareness of radiation dose among health professionals in Northern Ireland. The British Journal of Radiology, (2008). 81(969), 725-729.
15. 15. Abuelhia, E., Awareness of ionizing radiation exposure among junior doctors and senior medical students in radiological investigations. Journal of Radiological Protection, (2017). 37(1), 59-67.
16. 16. McCusker, M. W., de Blacam, C., Keogan, M., McDermott, R., ve Beddy, P., Survey of medical students and junior house doctors on the effects of medical radiation: Is medical education deficient? Irish Journal of Medical Science, (2009). 178(4), 479-483.
17. 17. Bhadane, S. H., ve Bhadane, S. S., Knowledge and awareness of radiation safety among medical students and resident doctors. Scholars Journal of Applied Medical Sciences (SJAMS), (2017). 5(2A), 353-355.
18. 18. O'Sullivan, J., O'Connor, O. J., O'Regan, K., Clarke, B., Burgoyne, L. N., Ryan, M. F., ve Maher, M. M., An assessment of medical students' awareness of radiation exposures associated with diagnostic imaging investigations. Insights into Imaging.
19. 19. Demirel, Ö., ve Bahar Özvarış, Ü. M. M. Ü. H. A. N., Öğrenen Merkezli Tıp Eğitimi. (2002).
20. 20. Aslan, D., Sayek İ., Tıp eğitimi içinde “uluslararası sağlık” yaklaşımı. Hacettepe Tıp Dergisi, (2005). 36, 135-138.
21. 21. Eskişehir Osmangazi Üniversitesi Tıp Fakültesi, Fakülte Tarihçe. https://tip.ogu.edu.tr/Sayfa/Index/52/fakulte-tarihce Erişim 22.06.2024.
22. 22. Dursun, S., ve Keser, A., İş güvenliği farkındalığı ve iş güvenliği davranışları arasındaki ilişkilerin araştırılması: Uygulamalı bir araştırma. Çalışma İlişkileri Dergisi, (2014). 5(2), 1-9.
23. 23. .Ay, M., Sağlık çalışanlarının Radyasyondan Korunma Bilgisi Ölçeği'nin Türkçeye uyarlanması Geçerlik ve güvenirlik çalışması. Yüksek Lisans Tezi, Konya: Necmettin Erbakan Üniversitesi, Sağlık Bilimleri Enstitüsü, 2021.
24. 24. Dursun, S., Güvenlik Kültürünün Güvenlik Performansı Üzerine Etkisine Yönelik Bir Uygulama. Doktora Tezi, Bursa: Uludağ Üniversitesi, 2011.
25. 25. .Neal, A., Griffin, M. A., ve Hart, P. M., The impact of organizational climate on safety climate and individual behavior. Safety Science, (2000). 34(1-3), 99-109.
26. 26. World Health Organization, WHO guidelines on physical activity and sedentary behaviour. (2020).
27. 27. Amare, D. E., ve Dagne, H., Knowledge and associated factors of medical students regarding radiation exposure from common diagnostic imaging procedures at the University of Gondar, Ethiopia. Ethiopian Journal of Health Sciences, (2020). 30(4), 589-598.
28. 28. Allam, S. M. E., Algany, M. M. A., ve Khider, Y. I. A., Radiation safety compliance awareness among healthcare workers exposed to ionizing radiation. BMC Nursing, (2024). 23, 208.
29. 29. Shafiq, P., & Mehmood, Y. (2024). Awareness of Radiation Hazards and Knowledge About Radiation Protection Among Medical Students at the Northern Border University, Arar. Cureus,
30. 30. Çelikyürek, N. A., Acımış, N. M., ve Özcan, B., Bir üniversite hastanesi dahiliye polikliniğine başvuranlarda sağlık okuryazarlığı düzeyi ve ilişkili etmenler. Pamukkale Medical Journal, (2020). 13(2), 258-266.
31. 31. Yükseköğretim Kurulu. (2017). Mezuniyet öncesi tıp eğitimi çekirdek eğitim programı. https://www.yok.gov.tr/Documents/Kurumsal/egitim_ogretim_dairesi/Ulusal-cekirdek-egitimi-programlari/mezuniyet-oncesi-tip-egitimi-cekirdek-egitimi-programi.pdf Erişim 23.12.2024
32. 32. Hirvonen, L., Schroderus-Salo, T., Henner, A., Ahonen, S., Kääriäinen, M., Miettunen, J., ve Mikkonen, K., Nurses’ knowledge of radiation protection: A cross-sectional study. Radiography, (2019). 25(4).
33. 33. Ağuş, M., ve Akbel, E. Sağlık çalışanlarında fiziksel risk etmenlerinin değerlendirilmesi. Ohs Academy, (2020). 3(3), 230-237.
34. 34. Faggioni, L., Paolicchi, F., Bastiani, L., Guido, D., & Caramella, D. Awareness of radiation protection and dose levels of imaging procedures among medical students, radiography students, and radiology residents at an academic hospital: Results of a comprehensive survey.. European journal of radiology, (2017). 86, 135-142 .
35. 35. Behzadmehr, R., Doostkami, M., Sarchahi, Z., Dinparast Saleh, L., ve Behzadmehr, R. Radiation protection among healthcare workers: Knowledge, attitude, practice, and clinical recommendations: A systematic review. Reviews on Environmental Health, (2020).
36. 36. Ahmed, M., Fahmy, H., ve Sharkawy, S. Assessment of knowledge and practices of nurses & technicians regarding radiation hazard and its safety measures at Main Assuit University Hospital. Assiut Scientific Nursing Journal, (2021). 9(27), 125-134.