Tabakalı Örnekleme Şeması Altında Değerlendiriciler Arası Uyum

Abstract

Kappa katsayısı iki değerlendiricinin sınıflandırmaları arasındaki uyumu ölçen popüler bir istatistiktir. Kappa katsayısı ve varyansının tahmini yaklaşık olarak basit rasgele örnekleme yöntemiyle elde edilir. Kappa istatistiğinin güven aralığı tahmininde daha etkin sonuçlar elde edebilmek için tabakalı rasgele örnekleme yöntemi de kullanılabilir. Bu çalışmada, kappa katsayısının güven aralığı tahmin etmek için tabakalı rasgele örneklem seçimi altında bir bootstrap yöntemi önerilmiştir. Sonuçlar üç veri kümesi üzerinden tartışılmıştır.

Keywords

• uyum,bootstrap,kappa katsayısı,tabakalı rasgele örnekleme

Inter-Rater Agreement under Stratified Random Sampling Scheme

Abstract

Kappa coefficient is a popular statistic to measure the agreement between the classifications of two raters. The estimator of the coefficient and its variance are approximately satisfied by a simple random sampling method. To get more efficient results for confidence interval estimation of kappa, stratified random sampling method can also be used, alternatively. In this study, a bootstrap method under stratified sampling is suggested to use to estimate the confidence interval of kappa coefficient. The results are discussed over three data sets.

Keywords

• agreement,bootstrap,kappa coefficient,stratified random sampling

References

1. Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46.
2. Fleiss, J.L., Cohen, J., and Everitt, B.S. (1996). Large sample standard errors of kappa and weighted kappa. Psychological Bulletin, 72, 323-327.
3. Stehman, S.V. (1996). Estimating the kappa coefficient and its variance under stratified random sampling. Photogrammetric Engineering and Remote Sensing, 62(4), 401-407.
4. Cochran, W.G. (1977). Sampling techniques, 3rd ed., John Wiley and Sons, New York.
5. Särdal, C.E., Swensson, B., and Wretman, J. (1992). Model-assisted survey sampling, Springer-Verlag, New York.
6. Efron, B., and Tibshirani R.J. (1993). An introduction to the bootstrap, Monographs on statistics and applied probability, no. 57., Chapman and Hall, London.
7. Klar, N., Lipsitz, S.R., Parzen, M., and Leong, T. (2002). An exact bootstrap confidence interval for κ in small samples. The Statistician, 51(4), 467-478.
8. Jiménez-Navarro, M.F., Garcia-Pinilla, J.M., and Garrido-Sanchez, L., et al. (2010). Poor reproducibility of the oral glucose tolerance test in the diagnosis of diabetes during percutaneous intervention. International Journal of Cardiology, 142(3), 245-249.

9. Landis, J.R., and Koch, G.G. (1977). The measurement of observed agreement for categorical data. Biometrics, 33(1), 159-174.
10. Stuart, A., (1953). The estimation and comparison of strengths of association in contingency tables. Biometrika, 40: 105-110.