Agreement Statistics Impacts of Prevalence Between the Two Clinicians in Binary Diagnostic Tests

Abstract

Objective: It has been recommended a lot of statistics in the literature to test the agreement (consistent) of both clinicians (the raters) for a diagnostic test with two categories. Scott's p statistics and Cohen's kappa statistics used most frequently in the literature. As an alternative to this statistics, the AC1 statistics have been developed by Gwet. The purpose of this study, to determine agreement statistics, used to test the agreement between two raters, whether affected by the prevalence. Material and Methods: For testing marginal homogeneity of all agreement statistics, it's formulated and calculated by taking partial derivatives on behalf of prevalence. Results: It's determined that p, kappa, G-index and AC1 gave similar results with prevalence case is equal to 0.50. Moreover G-index is determined equal to a fixed value for all prevalence values. In addition, p and kappa statistics are equal to 0 when prevalence values case is high (equal to 1) or low (equal to 0) and its observed these values are not accurately reflect the agreement between raters. Conclusion: In this study, it's researched that the agreement statistics between raters in the 2x2 trial designs. And, it's concluded that G-index and AC1 statistics not affected sensitivity, specify and prevalence value than other agreement statistics and showed a better performance. Key words: Cohen's Kappa Statistics; AC1 Statistics; Prevalance; Agreement Between Raters.

Keywords

• Cohen's Kappa Statistics; AC1 Statistics; Prevalance; Agreement Between Raters.

İki Sonuçlu Tanı Testlerinde İki Hekim Arasındaki Uyum İstatistiklerinin Prevalanstan Etkilenme Durumları+

Öz

Amaç: İki kategorisi olan bir tanı testinin iki hekimin (değerlendiricinin) uyumunu (tutarlılığını) test edebilmek için literatürde pek çok uyum istatistikleri önerilmektedir. Literatürde çok yaygın olarak kullanılan Scott'ın p istatistiği ve Cohen'in kappa istatistiğidir. Bu istatistiklere alternatif olarak Gwet tarafından AC1 istatistiği geliştirilmiştir. Bu çalışmanın amacı, iki değerlendirici arasındaki uyumu test etmekte kullanılan uyum istatistiklerinin, prevalanstan etkilenip etkilenmediklerini ortaya koymaktır. Gereç ve Yöntemler: Tüm uyum istatistiklerinin marjinal homojenliğini test edebilmek adına prevalansa göre kısmi türevleri alınarak formüle edilip hesaplanmıştır. Bulgular: Prevalans değerinin 0.50'e eşit olduğu durumda p, kappa, G-index ve AC1 uyum istatistiklerinin benzer sonuçlar verdiği hatta G-index'in tüm prevalans değerleri için sabit bir değere eşit olduğu belirlenmiştir. Bunun yanı sıra prevalans değeri yüksek (1'e eşit) veya düşük (0'a eşit) olduğunda p ve kappa istatistiklerinin 0 değerini aldığı ve bu değerlerin değerlendiriciler arasındaki uyumu doğru bir şekilde yansıtmadığı gözlenmiştir. Sonuç: Bu çalışmada, 2X2 deneme düzenlerinde, değerlendiriciler arasındaki uyum istatistikleri araştırılmış ve diğer uyum istatistiklerine nazaran G-index ve AC1 istatistiğinin duyarlılık, seçicilik ve prevelans değerinden etkilenmediği ve daha iyi bir performans gösterdiği sonucuna varılmıştır. Anahtar kelimeler: Cohen Kappa İstatistiği; AC1 İstatistiği; Prevalans; Değerlendiriciler Arası Uyum.

Anahtar Kelimeler

• Cohen Kappa İstatistiği; AC1 İstatistiği; Prevalans; Değerlendiriciler Arası Uyum.