Maximum Likelihood Estimation of the Kappa Coefficient Based on A Simulation Study

Abstract

In medical and social studies it is possible to come across with problems of determining the agreement between raters judges. The Kappa coefficient, suggested by Cohen, is one of the statistics used for estimating the raters agreement, after the sample units are rated with a categorical measure by the two raters. But it is wrong to use the Kappa cofficient in classification problems such that the raters classify each sample unit to the category “successfully (1)” with distinct probabilities П_ij. In this case, these classification probabilities can be estimated from logit models, which contains covariates of raters and/or units features. In this study, the maximum of the likelihood function, containing Ҡ and logit model parameters is obtained with the benefit of written two programs on Matlab packet programming. After the Maximum Likelihood Estimates (MLE) of the parameters are obtained from the simulation method which is based on different sample sizes of each with twenty replications, the significances of the parameters are tested.

Keywords

• Kappa Coefficient
• Logit Model
• Likelihood Function

Kappa Katsayısının En Çok Olabilirlik Tahmin Edicisinin Simülasyon Çalışmasına Dayalı Elde Edilmesi

Abstract

Tıbbi ve sosyal içerikli çalışmalarda, sınıflayıcıların değerlendirmeleri arasındaki uyuşmanın belirlenmesi problemleriyle karşılaşmak mümkündür. Örnek birimlerinin iki sınıflayıcı tarafından kategorik bir ölçekle sınıflandırılmasından sonra, sınıflayıcılar arasındaki uyuşmanın ölçülmesinde kullanılan istatistiklerden biri, Cohen tarafından önerilmiş olan Kappa katsayısıdır. Ancak sınıflayıcıların her örnek birimini farklı bir П_ij olasılıkla “başarılı” kategorisine sınıflandırması problemi ile karşılaşıldığında, Kappa katsayısını kullanmak doğru olmaz. Bu durumda söz konusu sınıflandırma olasılıkları sınıflayıcılara ve/veya birimlere ait özellikleri içeren açıklayıcı değişkenlerin yer aldığı, bir lojit model ile tahmin edilir. Bu çalışmada, Ҡ’yı ve lojit model parametrelerini içeren olabilirlik fonksiyonunun optimum noktası, Matlab paket programında yazılan iki programdan yararlanılarak bulunmuştur. Parametrelerin En Çok Olabilirlik (EÇOB) tahminleri, farklı örnek çapları için yirmi tekrarın yapıldığı simülasyon tekniğine dayalı olarak elde edilerek, anlamlılıkları test edilmiştir.

Keywords

• Kappa Katsayısı
• Lojit Model
• Olabilirlik Fonksiyonu

References

1. Bahadur, R.R., 1961. A Representation of the Joint Distribution of Responses to n Dichotomous Items, in Solomon, H.(ed). Studies in Item Analysis and Prediction, Stanford University Press, California, 158-176.
2. Bishop, Y.M.M., Fienberg, S.E., Holland, P.W., 1988. Discrete Multivariate Analysis: Theory and Practice, The MIT Press, The Massachusetts Institude of Technology, England.
3. Cohen, J., 1960. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, 20 (1), 37-46.
4. Kraemer, H.C., Periyakoil, V.S., Noda, A., 2002. Kappa Coefficient in Medical Research. Statistics in Medicine, 21, 2109-2129.
5. Lipsitz, S.R., Williamson, J., Klar, N., Ibrahim, J., Parzen, M., 2001. A Simple Method for κ Between A Pair Of Raters. Journal of Royal Statististical Society A, 164 (3), 449-465.
6. Shoukri, M.M., Mian, I.U.H., 1996. Maximum Likelihood Estimation of the Kappa Coefficient from Bivariate Logistic Regression. Statistics in Medicine, 15, 1409-1419.