Effect of Regularization on Error Rates in Discriminant Analysis

Year 2011, Volume: 8 Issue: 2, 13 - 20, 17.10.2011

Hayrinisa Demirci Biçer , Cemal Atakan

Abstract

As in many statistical analyses, when the number of variables (p) is higher than the number of objects in groups (ni) , the sample variance- covariance matrix estimates become high and the sample variance-covariance matrix becomes singular in discriminant anaylsis as well. To solve this problem, Friedman (1989) proposed Regularized Discriminant Analysis. The sample variance-covariance matrix is re-obtained by employing a shrinkage parameter in regularized discriminant analysis. In this paper Linear and Regularized Discriminant Analysis are compared with respect to their error rates with a simulation study when the number of variables is bigger than the sample size.

Keywords

Regularized Discriminant Analysis , Discriminant Analysis , Error Rate

Ayarlamanın Diskriminant Analizinde Hata Oranlarına Etkisi

Abstract

Bir çok istatistiki analizde olduğu gibi, Diskriminant Analizi’nde de değişken sayısı p , örneklem hacimleri ni (i=1, 2,…,g) olmak üzere ni< p olduğunda, örneklem varyans-kovaryans matrisinin tahminleri büyük değerler olmakta ve örneklem varyans-kovaryans matrisi singüler olmaktadır. Bu problemi çözmek için Friedman (1989) Ayarlanmış Diskriminant Analizi’ni (Regularized Discriminant Analysis) önermiştir. Ayarlanmış diskriminant analizinde, örneklem varyans-kovaryans matrisi daraltma parametresi ile tekrar elde edilir. Bu çalışmada, ni< p olduğu durumda, simülasyon çalışması ile hata oranları bakımından Ayarlanmış Diskriminant Analizi ve Lineer Diskriminant Analizi karşılaştırılmıştır.

Keywords

Ayarlanmış Diskriminant Analizi , Diskriminant Analizi , Hata Oranı

References

• Anderson, T. W., 1984. An Introduction to Multivariate Satistical Analysis. Second Edition. John Wiley& Sons. Inc., New York.
• Atakan, C., 2003. Diskriminant Analizinde Gerçek Hata Oranına İlişkin Güven Aralıkları için Simülasyon Çalışması. Selçuk Üniversitesi Fen-Edebiyat Fakültesi Fen Dergisi, Sayı: 22, 93-100.
• Campbell, N. A., 1980. Shrunken Estimator in Discriminant and Canonical Variate Analysis. Applied Statistics, 29, 5-14.
• Di Pillo, P. J., 1976. The Application of Bias to Discriminant Analysis. Comm. Stat. Theory Method, A5, 843-854.
• Friedman, J. H., 1989. Regularized Discriminant Analysis. JASA, 84, 165-175.
• Lachenbruch, P. A., 1975. Discriminant Analysis. Hafner Press, New York.
• Mkhadri, A., 1995. Shrinkage Parameter for Modified Linear Discriminant Analysis. Pattern Recognition Letters, 16, 267-275.
• Peck, R., Van Ness, J., 1982. The Use of Shrinkage Estimators in Linear Discriminant Analysis. IEEE Trans. Patt. Anal. Mach. Intel., 5, 530-537.