Turkish Adaptation of the Joanna Briggs Institute (JBI) Critical Appraisal Checklist for Qualitative Research

Abstract

Aim: This study aimed to adapt the Joanna Briggs Institue (JBI) Critical Appraisal Checklist for Qualitative Research, which was developed to assess the methodological quality of qualitative studies, into Turkish and to evaluate its validity and reliability.

Material and Methods: The language validity of the JBI Critical Appraisal Checklist for Qualitative Research was established using the back-translation method; content validity was determined by consulting nine experts from nursing and language/communication fields; and reliability was established through inter-rater agreement. Expert opinions were evaluated by calculating the content validity index (CVI). Kappa analysis was used to assess reliability, and the relationship between the two raters was analyzed using the Spearman correlation test.

Results: In accordance with the expert evaluations, the CVI was calculated as 1,00, which exceeds the acceptance threshold of 0,80. The Kappa value was found to be 0,781, which exceeds the excellent agreement threshold of 0,75 according to the Fleiss classification. The strength of the relationship between the two raters was found to be r=0,919 (p<0,001).

Conclusion: The JBI Critical Appraisal Checklist for Qualitative Research adapted into Turkish, has been determined to be a valid and reliable measurement tool for assessing the methodological quality of qualitative studies.

Keywords

• Qualitative research
• validity
• reliability
• quality assessment

Joanna Briggs Enstitüsü (JBI) Kalitatif Araştırmalar için Eleştirel Değerlendirme Kontrol Listesi’nin Türkçe’ye Uyarlanması

Abstract

Amaç: Bu çalışmada nitel çalışmaların metodolojik kalitesini değerlendirmek için geliştirilen Joanna Briggs Enstitüsü (JBI) Kalitatif Araştırmalar için Eleştirel Değerlendirme Kontrol Listesi’nin Türkçe’ye uyarlanması ve geçerlik güvenirliğinin belirlenmesi amaçlanmıştır.

Gereç ve Yöntemler: JBI Kalitatif Araştırmalar için Eleştirel Değerlendirme Kontrol Listesi’nin dil eşdeğerliği, geri çeviri yöntemi kullanılarak; kapsam geçerliği, hemşirelik ve dil/iletişim alanlarından dokuz uzmanın görüşüyle; güvenirliği ise değerlendiriciler arası uyumla test edilmiştir. Uzman görüşleri kullanılarak kapsam geçerlik indeksi (KGİ) hesaplanmıştır. Güvenirlik tespitinde Kappa analizi uygulanmış, iki değerlendirici arasındaki ilişki Spearman korelasyon testi kullanılarak analiz edilmiştir.

Bulgular: Uzman değerlendirmeleri doğrultusunda KGİ=1,00 olarak hesaplanmış olup, bu değer kabul sınırı olan 0,80'in üzerindedir. Kappa değeri 0,781 olup Fleiss sınıflandırmasına göre bu değer mükemmel uyum sınırı olan 0,75'in üzerindedir. Değerlendiriciler arasındaki ilişkinin kuvveti r=0,919 (p<0,001) olarak saptanmıştır.

Sonuç: Türkçe’ye uyarlanan Kalitatif Araştırmalar için Eleştirel Değerlendirme Kontrol Listesi’nin nitel çalışmaların metodolojik kalitesini değerlendirme süreçlerinde kullanılabilecek geçerli ve güvenilir bir ölçüm aracı olduğu belirlenmiştir.

Keywords

• Nitel çalışma
• geçerlik
• güvenirlik
• kalite değerlendirme

Ethical Statement

Kalitatif Eleştirel Değerlendirme Kontrol Listesi” nin Türkçe uyarlamasının yapılması için JBI editörlerinden elektronik e-posta yolu ile izin alınmıştır. Araştırma, insan ya da hayvanlar üzerinde veri toplanmasını içermediğinden etik kurul onayı alınmamıştır.

Thanks

Çalışma süresince tüm sorularımızı içtenlikle yanıtlayan Sayın Dr. Edoardo Aromataris’e ve uzman görüşleriyle katkı sunan değerli hocalarımıza en içten teşekkürlerimizi sunarız. JBI Kalitatif Araştırmalar için Eleştirel Değerlendirme Kontrol Listesi Türkçe uyarlaması, akademik çalışmalarda yazarlardan ayrıca izin alınmaksızın kullanılabilir.

References

1. Yıldırım A, Şimşek H. Nitel araştırmanın bilimsel araştırma geleneği içindeki yeri. In: Yıldırım A, Şimşek H, editors. Sosyal bilimlerde nitel araştırma yöntemleri. 11. ed. Ankara: Seçkin Yayıncılık; 2018. p. 35-64.
2. Creswell JW. Nitel çalışma tasarımı. In: Creswell JW, editor. Nitel araştırma yöntemleri: beş yaklaşıma göre nitel araştırma ve araştırma deseni. Demir SB, Bütün M, translators. Ankara: Siyasal Kitabevi; p. 43-68.
3. Lewin S, Glenton C, Munthe-Kaas H, Carlsen B, Colvin CJ, Gülmezoglu M, et al. Using qualitative evidence in decision making for health and social interventions: an approach to assess confidence in findings from qualitative evidence syntheses (GRADE-CERQual). PLoS Med. 2015;12(10):e1001895. doi:10.1371/journal.pmed.1001895. Erratum in: PLoS Med. 2016;13(6):e1002065. doi:10.1371/journal.pmed.1002065.
4. Lockwood C, Porrit K, Munn Z, Rittenmeyer L, Salmond S, Bjerrum M, et al. Chapter 2: Systematic reviews of qualitative evidence. In: Aromataris E, Munn Z, editors. JBI reviewer’s manual [Internet]. Adelaide, Australia: The Joanna Briggs Institute; 2020 [cited 2022 Sep 21]. p. 23-71. doi:10.46658/JBIMES-20-03.
5. Çınar N, Tecik S. İyi bir kalitatif kanıt sentezi nasıl yazılmalı? Sakarya Üniversitesi Holistik Sağlık Dergisi. 2022;5(2):186-205. doi:10.54803/sauhsd.1086071.
6. Gümüş S. Nitel Araştırmaların sistematik derlemesi: meta-sentez. In: Beycioğlu K, Özer N, Kondakçı Y, editors. Eğitim yönetiminde araştırma. Ankara: Pegem Akademi; 2018. p. 533-53.
7. Çınar N. İyi bir sistematik derleme nasıl yazılmalı? Online Türk Sağlık Bilimleri Dergisi. 2021;6(2):310-4. doi:10.26453/otjhs.888569.
8. Zhang J, Han L, Shields L, Tian J, Wang J. A PRISMA assessment of the reporting quality of systematic reviews of nursing published in the Cochrane Library and paper-based journals. Medicine (Baltimore) 2019;98(49):e18099. doi:10.1097/MD.0000000000018099.

9. Goldberg J, Boyce LM, Soudant C, Godwin K. Assessing journal author guidelines for systematic reviews and meta-analyses: findings from an institutional sample. J Med Libr Assoc 2022;110(1):63-71. doi:10.5195/jmla.2022.1273.
10. Zeng X, Zhang Y, Kwong JS, Zhang C, Li S, Sun F, et al. The methodological quality assessment tools for preclinical and clinical studies, systematic review and meta-analysis, and clinical practice guideline: a systematic review. J Evid Based Med 2015;8(1):2-10. doi:10.1111/jebm.12141.
11. Aromataris E, Lockwood C, Porritt K, Pilla B, Jordan Z, editors. JBI manual for evidence synthesis. JBI; 2024 [cited 2022 Sep 21]. Available from: https://jbi-global-wiki-refined-site/space/MANUEL
12. Hür G, Zengin H, Karakaya Suzan Ö, Kolukısa T, Eroğlu A, Çınar N. Joanna Briggs Enstitüsü (JBI) randomize kontrollü çalışmalar için kalite değerlendirme aracı’nın Türkçe’ye uyarlaması. Sağlık Bilimlerinde İleri Araştırmalar Dergisi. 2022;5(2):112-7. doi:10.26650/JARHS2022-1100929.
13. Nahcivan N, İncirkuş K. Türkiye’de hemsirelik dergilerinde yayınlanan sistematik derlemelerin raporlama özellikleri. Hemşirelikte Eğitim ve Araştırma Dergisi. 2018;15(2):106-16.
14. Pölkki T, Kanste O, Kääriäinen M, Elo S, Kyngäs H. The methodological quality of systematic reviews published in high-impact nursing journals: a review of the literature. J Clin Nurs 2014;23(3-4):315-32. doi:10.1111/jocn.12132.
15. Noyes J, Booth A, Cargo M, Flemming K, Harden A, Harris J, et al. Chapter 21: qualitative evidence. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al, editors. Cochrane handbook for systematic reviews of interventions version 6.5 [Internet]. Cochrane; 2024 [cited 2026 Mar 14]. Available from: https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current/chapter-21
16. Bujang MA, Baharum N. Guidelines of the minimum sample size requirements for Kappa agreement test. Epidemiol Biostat Public Health. 2017;14(2):e12267. doi:10.2427/12267.
17. The Joanna Briggs Institute. Critical appraisal tools for use in JBI systematic reviews checklist for randomized controlled trials [Internet]. JBI; 2017 [cited 2022 Nov 05]. Available from: https://jbi.global/sites/default/files/2019-05/JBI_RCTs_Appraisal_tool2017_0.pdf
18. Çapık C, Gözüm S, Aksayan S. Kültürlerarası ölçek uyarlama aşamaları, dil ve kültür uyarlaması: güncellenmiş rehber. Florence Nightingale Hemşirelik Dergisi. 2018;26(3):199-210. doi:10.26650/FNJN397481.
19. Kılıç S. Kappa testi. Psychiatry and Behavioral Sciences. 2015;5(3):142-4. doi:10.5455/jmood.20150920115439.
20. Alpar R. Spor, sağlık ve eğitim bilimlerinden örneklerle uygulamalı istatistik ve geçerlik-güvenirlik-SPSS’de çözümleme adımları ile birlikte. Ankara: Detay Yayıncılık; 2014.
21. Tufanaru C, Munn Z, Aromataris E, Campbell J, Hopp L. Chapter 3: Systematic reviews of effectiveness. In: Aromataris E, Munn Z, editors. JBI reviewer’s manual [Internet]. Adelaide, Australia: The Joanna Briggs Institute; 2020 [cited 2022 Sep 21]. p. 72-133. doi:10.46658/JBIMES-20-04.
22. Ergin E, Akın B. The Turkish adaptation of a quality assessment tool for quantitative studies: validity and reliability analyses. Türkiye Klinikleri J Nurs Sci 2018;10(4):292-308. doi:10.5336/nurses.2018-61334.
23. Moola S, Munn Z, Tufanaru C, Aromataris E, Sears K, Sfetcu R, et al. Chapter 7: Systematic reviews of etiology and risk. In: Aromataris E, Munn Z, editors. JBI reviewer’s mannual [Internet]. Adelaide, Australia: The Joanna Briggs Institute; 2020 [cited 2022 Sep 21]. p. 219-71. doi:10.46658/JBIMES-20-08.
24. Higgins JP, Savović J, Page MJ, Elbers RG, Sterne JAC. Chapter 8: Assessing risk of bias in included studies. In: Higgins JP, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al., editors. Cochrane handbook for systematic reviews of interventions version 6.5 [Internet]. Cochrane; 2024 [cited 2026 Mar 14]. Available from: https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current/chapter-08
25. Soilemezi D, Linceviciute S. Synthesizing qualitative research: reflections and lessons learnt by two new reviewers. Int J Qual Methods. 2018;17(1):1609406918768014. doi:10.1177/1609406918768014.
26. Maeda Y, Caskurlu S, Kozan K, Kenney RH. Development of a critical appraisal tool for assessing the reporting quality of qualitative studies: a worked example. Qual Quant. 2022;57(2):1011-31. doi:10.1007/s11135-022-01403-y.
27. Fleiss JL. Measuring nominal scale agreement among many raters. Psychological Bulletin. 1971;7:378-82. doi:10.1037/h0031619.
28. Gore S, Goldberg A, Huang MH, Shoemaker M, Blackwood J. Development and validation of a quality appraisal tool for validity studies (QAVALS). Physiother Theory Pract. 2021;37(5):646-54. doi:10.1080/09593985.2019.1636435.
29. Tang X, Zeng Z, Huang H, Symonds J. Quality appraisal tools for quantitative, qualitative, and mixed-methods studies: a review and a brief new checklist. ECNU Review of Education. 2026;9(3):1-29. doi:10.1177/20965311251371227.
30. Harrison R, Jones B, Gardner P, Lawton R. Quality assessment with diverse studies (QuADS): an appraisal tool for methodological and reporting quality in systematic reviews of mixed- or multi-method studies. BMC Health Serv Res. 2021;21(1):144. doi:10.1186/s12913-021-06122-y.
31. Nahcivan NO, Secginli S. Joanna Briggs Institute Mastari Critical Appraisal Tools: psychometric testing of the Turkish versions. The 2nd International Clinical Nursing Research Congress Abstract Book; 2015 June 24-27; İstanbul, Türkiye.