TURKISH ADAPTATION OF JOANNA BRIGGS INSTITUTE (JBI) CRITICAL APPRAISAL CHECKLIST FOR RANDOMIZED CONTROLLED TRIALS

Abstract

Objective: In a systematic review and in meta-analysis studies, it is essential to evaluate the quality of the studies to be included in the analysis. This study was conducted to perform the Turkish validity and reliability study of the “JBI Critical Appraisal Checklist for Randomized Controlled Trials” developed by the Joanna Briggs Institute to evaluate the quality of randomized controlled trials.Materials and Methods: The language validity back-translation method of the JBI Critical Appraisal Checklist for Randomized Controlled Trials was used, content validity was confirmed by consulting expert opinions, and reliability was examined with inter-observer reliability. The content validity index (CVI) was used to evaluate expert opinions. Reliability was evaluated by Kappa analysis. The relationship between evaluators was examined by Spearman Correlation analysis.Results: According to expert evaluations, CVI was found to be 1. The opinions of five experts were evaluated with Kendall W analysis, it was determined that there was no statistical difference between them (Kendall W=.446), and it was seen that the expert scores were compatible. Kappa value was found to be .784. The relationship between the raters was calculated as r=.843 (p<.001).Conclusion: It has been determined that the “JBI Critical Appraisal Checklist for Randomized Controlled Trials” adapted into Turkish is a valid and reliable tool that can be used to evaluate the quality of randomized controlled trials.

Keywords

• Quality assessment
• Randomized controlled trial
• validity
• reliability

JOANNA BRIGGS ENSTİTÜSÜ (JBI) RANDOMİZE KONTROLLÜ ÇALIŞMALAR İÇİN KALİTE DEĞERLENDİRME ARACI’NIN TÜRKÇE’YE UYARLAMASI

Abstract

Amaç: Sistematik derleme vemeta analiz çalışmalarında, analize dahil edilecek çalışmaların kalitesinin değerlendirilmesi son derece önemlidir. Bu çalışma ile randomize kontrollü çalışmaların kalitesini değerlendirmek için Joanna Briggs Enstitüsü tarafından geliştirilen “JBI Randomize Kontrollü Çalışmalar için Kalite Değerlendirme Aracı”nın Türkçe’ye uyarla-ması amaçlanmıştır.Gereç ve Yöntem: JBIRandomize Kontrollü Çalışmalar için Kalite Değerlendirme Aracı’nın dil eşdeğerliği geri-çeviri yöntemi; kapsam geçer-liği uzman görüşüne başvurularak; güvenirliği gözlemciler arası güvenirlik ile incelenmiştir. Uzman görüşlerinin değerlendirilmesi için kapsam geçer-lik indeksi (KGİ) kullanılmıştır. Güvenilirlik, Kappa analizi ile değerlendiril-miştir.Değerlendiriciler arasındaki ilişki Spearman Korelasyon analizi ile bakılmıştır.Bulgular: Uzman değerlendirmelerine göre KGİ=1 olarak bulunmuştur. Beş uzmanın görüşleri Kendall W analizi ile değerlendirilmiş, aralarında istatis-tiksel olarak farkın olmadığı (Kendall W=.446) saptanarak, uzman puanla-rının uyumlu olduğu görülmüştür. Kappa değeri .784 olarak bulunmuştur. Değerlendiriciler arasındaki ilişki r=.843 (p<.001) olarak hesaplanmıştır.Sonuç: Türkçe’ye uyarlanan “Randomize Kontrollü Çalışmalar için Kalite Değerlendirme Aracı”nın randomize kontrollü çalışmaların kalitesini değerlendirmede kullanılabilecek güvenli bir araç olduğu belirlenmiştir.

Keywords

• Kalite değerlendirme
• Randomize kontrollü çalışma
• geçerlilik
• güvenilirlik

References

1. 1. Aromataris E, Munn Z (Editors). JBI Manual for Evidence Synthesis. JBI, 2020. Available from https://synt hesismanual.jbi.global. https://doi.org/10.46658/JBIMES-20-01. google scholar
2. 2. Pölkki T, Kanste O, Kaariainen M, Elo S, Kyngas H. The methodological quality of systematic reviews published in high-impact nursing journals: a review of the literature. J Clin Nurs 2014; 23:(3-4),315-32. google scholar
3. 3. Zeng X, Zhang Y, Kwong JS, Zhang C, Li S, Sun F, Niu Y, & Du L. The methodological quality assessment tools for preclinical and clinical studies, systematic review and meta-analysis, and clinical practice guideline: a systematic review. J Evid Based Med 2015;8(1):2-10. google scholar
4. 4. Çınar N. İyi bir sistematik derleme nasıl yazılmalı? Online Turkish Journal of Health Sciences 2021;6(2):310-4. https://doi. org/10.26453/otjhs.888569. google scholar
5. 5. Nahcivan N, İncirkuş K. Türkiye’de Hemsirelik Dergilerinde Yayınlanan Sistematik Derlemelerin Raporlama Özellikleri. Hemşirelikte Eğitim ve Araştırma 2018;15(2):106-16. google scholar
6. 6. Ruzbarsky JJ. Editorial Commentary: High Level of Evidence Randomized Controlled Trials May Report Statistically Fragile Conclusions. Arthroscopy:The journal of arthroscopic and related surgery 2021;37(6):1990-1. google scholar
7. 7. Bajard A, Chabaud S, Perol D, Boissel JP, Nony P. Revisiting the level of evidence in randomized controlled clinical trials: A simulation approach. Contemp Clin Trials 2009;30(5):400-10. google scholar
8. 8. Tufanaru C, Munn Z, Aromataris E, Campbell J, Hopp L. Chapter 3: Systematic reviews of effectiveness. In: Aromataris E, Munn Z (Editors). JBI Manual for Evidence Synthesis. JBI, 2020. Available from https://synthesismanual.jbi.global. google scholar

9. 9. Bujang MA, Baharum N. Guidelines of the minimum sample size requirements for Kappa agreement test. Epidemiol Biostat Public Health. 2017;14(2):e12267-1-10. google scholar
10. 10. The Joanna Briggs Institute Critical Appraisal tools for use in JBI Systematic Reviews Checklist for Randomized Controlled Trials. https://jbi.global/sites/default/files/2019-05/JBI_RCTs_Appraisal_ tool2017_0.pdf (Erişim Tarihi 15 Kasım 2021). google scholar
11. 11. Alpar R. Spor, Sağlık ve Eğitim Bilimlerinden Örneklerle Uygulamalı İstatistik ve Geçerlik-Güvenirlik-SPSS’de Çözümleme Adımları İle Birlikte. 3. Baskı, Ankara Detay Yayıncılık, 2014;529. google scholar
12. 12. Yurdugül H. Ölçek Geliştirme Çalışmalarında Kapsam Geçerliği için Kapsam Geçerlik İndekslerinin Kullanılması. Pamukkale Üniversitesi Eğitim Fakültesi, XIV. Ulusal Eğitim Bilimleri Kongresi, 2005,28-30 Eylül Denizli. google scholar
13. 13. Akgül A. Tıbbi Araştırmalarda İstatistiksel Analiz Teknikleri- SPSS Uygulamaları. 3. Baskı. Ankara: 2005; Emek Ofset Ltd.Şti. google scholar
14. 14. Baş T. Anket Nasıl Hazırlanır, Uygulanır, Değerlendirilir. Seçkin Yayıncılık, 4. Baskı 2006. google scholar
15. 15. Aktürk Z, Acemoğlu H. Tıbbi araştırmalarda güvenilirlik ve geçerlilik. Dicle Tıp Dergisi 2012;39(2):316-9. google scholar
16. 16. Şencan H. Sosyal ve Davranışsal Ölçümlerde Geçerlilik ve Güvenilirlik. 1.Basım. Ankara. Seçkin Yayıncılık, 2005;s.50-420. google scholar
17. 17. Özdamar K. Paket Programlar ile İstatistiksel Veri Analizi. 5. Baskı. Eskişehir. Kaan Kitabevi, 2004;s.345-500,379-412. google scholar
18. 18. Kılıç Selim. Kappa test. Psychiatry and Behavioral Sciences, 2015; 5(3):142. google scholar
19. 19. Ergin E, Akın B. The Turkish adaptation of a quality assessment tool for quantitative studies: validity and reliability analyses. Türkiye Klinikleri Hemşirelik Bilimleri Dergisi 2018;10(4):292-308. google scholar
20. 20. Moola S, Munn Z, Tufanaru C, Aromataris E, Sears K, Sfetcu R, Currie M, Qureshi R, Mattis P, Lisy K, Mu P-F. Chapter 7: Systematic reviews of etiology and risk . In: Aromataris E, Munn Z (Editors). JBI Manual for Evidence Synthesis. JBI, 2020. Available from https:// synthesismanual.jbi.global. google scholar
21. 21. Higgins J, Altman DG. Chapter 8: Assessing risk of bias in included studies. In: Higgins J, Green S, eds. Cochrane Handbook for Systematic Reviews of Inter-ventions Version 5.0. The Cochrane Collaboration 2011. google scholar
22. 22. Nahcivan NO, İncirkus K. Reporting characteristics of systematic and literature reviews published in nursing journals in Turkey. The 2nd International Clinical Nursing Research Congress, Abstract Book, 24-27 June, Istanbul 2015. p.100. google scholar