Çoklu Doğrusal Bağlantı Durumunda Ridge Regresyon ve Temel Bileşenler Regresyon Yöntemlerinin Benzetim Çalışması ile Karşılaştırılması

Abstract

Bu çalışmada, çoklu doğrusal regresyon modelinde, çoklu doğrusal bağlantı sorununu ortadan kaldırmak için kullanılan yöntemlerden, temel bileşenler regresyon ve ridge regresyon yöntemleri incelenmiştir. Çoklu doğrusal regresyon modelinin varsayımlardan biri de bağımsız değişkenler arasında tam ilişki olmamasıdır. Bağımsız değişkenler arasında önemli derecede ilişki olması, çoklu doğrusal bağlantı olarak adlandırılır. Çoklu doğrusal bağlantı olması durumunda uygulanan en küçük kareler yöntemi ile parametre tahminleri büyük standart hatalara sahip olmakta ve hipotez testleri çelişkili sonuçlar vermektedir. Bu sorunun ortadan kaldırmak için kullanılan çeşitli yöntemler vardır. Bu yöntemlerden yanlı regresyon yöntemleri, hem çoklu doğrusal bağlantı yapısının açıklanabildiği hem de standart hatası daha küçük hata kareler ortalamalı tahminlerin bulunabildiği yöntemlerdir. Çalışmada, yanlı regresyon yöntemlerinden temel bileşenler ile ridge regresyon yöntemi kuramsal açıdan incelenmiş, benzetim çalışması ile hangi yöntemin daha iyi sonuç verdiği araştırılmıştır. Benzetim çalışmasında, genişlikleri 40, 80 ve 120 olan örneklemlerin her birisi için 50 tekrar yapılmış ve bu örneklemlere en küçük kareler, ridge ve temel bileşenler yöntemi uygulanarak regresyon katsayılarının tahminleri hesaplanmıştır. Tahmin ediciler arasında yapılan karşılaştırmalarda kriter olarak tahminlerin ortalaması ve standart hatası dikkate alınmıştır. Yapılan karşılaştırmalara göre, temel bileşenler regresyon yönteminin diğerlerinden daha iyi sonuçlar verdiği gözlemlenmiştir.

Keywords

• Regresyon
• Çoklu Doğrusal Bağlantı
• Yanlı Regresyon Yöntemleri
• Temel Bileşenler Regresyon
• Ridge Regresyon

The Comparison of Ridge Regression and Principal Components Regression Methods in the Problem of Multicollinearity by Simulation

Abstract

In this study, principal components regression and ridge regression are examined among the methods used to remedy multicollinearity problem in multiple linear regression model. One of the assumptions in multiple linear regression is that there must be no perfect linear relations among the regressors. The relationship among the regressors is called multicollinearity. In case of multicollinearity, parameter estimations by least square method have large variances and hypothesis tests result in contradictory. There are various methods for dealing with multicollinearity problem. Biased regression methods (BRM) are the ones that can explain the structure of multicollinearity and provide small standard errors among the methods used. In this study two of biased regression methods; principal components regression and ridge regression are examined as theoretically and researched which methods give the best consequence by simulation. In the application, 50 repetitions have been generated for each of the sample sizes of 40, 80 and 120. Least squares, ridge and principal components regression are used for each sample. Regression coefficients for each estimator were computed and the mean and the standard deviation of the estimates were used as statistical comparison criteria. According to comparisons among the estimators the principal components regression has been found to provide better estimates.

Keywords

• Regression
• Multicollinearity
• Biased Regression Methods
• Principal Components Regression
• Ridge Regression

References

1. Aldrin, M. (1997), Length Modifted Ridge Regression, Computational Statistics & Data Analysis, 25, 377-398.
2. Boneh, S. and Mendieta, G.R. (1994), Variable Selection in Regression Models Using Principal Components, Commun. Statist. - Theory Meth., 23(1), 197-213.
3. Gujarati, D.N. (1995). Basic Econometrics, (3rd ed.). New York, MCGraw-Hill, Inc.
4. Hoerl, A.E., Kennard R.W. and Baldwin K.F. (1975), Ridge Regression Some Simulations, Communications in Statistics, 4(2), 105-123.
5. Jackson, J.E. (1991), A User's Guide to Principal Components, Canada, John-Wiley&Sons, Inc.
6. Johnson, D.E. (1998), Applied Multivariate Methods for Data Analysis, California, Duxburry Press.
7. Johnson R.A. and Bhattacharyya G.K. (1992), Statistics Principles and Methods, Canada, John-Wiley&Sons. Inc.
8. Lawless, J.F. and Wang, P. (1976), A Simulation Study of Ridge and Other Regression Estimators, Commun. Statis.-Theor. Meth., A5(4), 307-323

9. Mansfield, E.R., Webster, J.T. and Gunst, R.F. (1977), An Analytic Variable Selection Technique for Principal Component Regression, Appl. Statist., 36, 34-40.
10. Marquardt, D.W. and Snee, R.D. (1975), Ridge Regression in Practice, Am. Statist. 29(1), 3-20
11. Mason, R.L. (1975), Regression Analysis and Problems of Multicollinearity , Communication Statistics, 4(3), 277-292
12. Montgomery D.C. and Peck E. (1992), Introduction to Linear Regression Analysis. Canada, John Wiley & Sons, Inc.
13. Rawlings, J.O. (1988), Applied Regression Analysis: A Research Tool, California, Wadsworth&Brooks.