Effect of Regularization on Error Rates in Discriminant Analysis

Abstract

As in many statistical analyses, when the number of variables (p) is higher than the number of objects in groups (ni) , the sample variance- covariance matrix estimates become high and the sample variance-covariance matrix becomes singular in discriminant anaylsis as well. To solve this problem, Friedman (1989) proposed Regularized Discriminant Analysis. The sample variance-covariance matrix is re-obtained by employing a shrinkage parameter in regularized discriminant analysis. In this paper Linear and Regularized Discriminant Analysis are compared with respect to their error rates with a simulation study when the number of variables is bigger than the sample size.

Keywords

• Regularized Discriminant Analysis
• Discriminant Analysis
• Error Rate

Ayarlamanın Diskriminant Analizinde Hata Oranlarına Etkisi

Abstract

Bir çok istatistiki analizde olduğu gibi, Diskriminant Analizi’nde de değişken sayısı p , örneklem hacimleri ni (i=1, 2,…,g) olmak üzere ni< p olduğunda, örneklem varyans-kovaryans matrisinin tahminleri büyük değerler olmakta ve örneklem varyans-kovaryans matrisi singüler olmaktadır. Bu problemi çözmek için Friedman (1989) Ayarlanmış Diskriminant Analizi’ni (Regularized Discriminant Analysis) önermiştir. Ayarlanmış diskriminant analizinde, örneklem varyans-kovaryans matrisi daraltma parametresi ile tekrar elde edilir. Bu çalışmada, ni< p olduğu durumda, simülasyon çalışması ile hata oranları bakımından Ayarlanmış Diskriminant Analizi ve Lineer Diskriminant Analizi karşılaştırılmıştır.

Keywords

• Ayarlanmış Diskriminant Analizi
• Diskriminant Analizi
• Hata Oranı

References

1. Anderson, T. W., 1984. An Introduction to Multivariate Satistical Analysis. Second Edition. John Wiley& Sons. Inc., New York.
2. Atakan, C., 2003. Diskriminant Analizinde Gerçek Hata Oranına İlişkin Güven Aralıkları için Simülasyon Çalışması. Selçuk Üniversitesi Fen-Edebiyat Fakültesi Fen Dergisi, Sayı: 22, 93-100.
3. Campbell, N. A., 1980. Shrunken Estimator in Discriminant and Canonical Variate Analysis. Applied Statistics, 29, 5-14.
4. Di Pillo, P. J., 1976. The Application of Bias to Discriminant Analysis. Comm. Stat. Theory Method, A5, 843-854.
5. Friedman, J. H., 1989. Regularized Discriminant Analysis. JASA, 84, 165-175.
6. Lachenbruch, P. A., 1975. Discriminant Analysis. Hafner Press, New York.
7. Mkhadri, A., 1995. Shrinkage Parameter for Modified Linear Discriminant Analysis. Pattern Recognition Letters, 16, 267-275.
8. Peck, R., Van Ness, J., 1982. The Use of Shrinkage Estimators in Linear Discriminant Analysis. IEEE Trans. Patt. Anal. Mach. Intel., 5, 530-537.