Bazı Yanlı Tahmin Edicilerinin Karşılaştırılması: Bir Monte Carlo Çalışması

Year 2013, Volume: 17 Issue: 1, 1 - 15, 01.06.2013

Fela Özbey

Abstract

Doğrusal regresyon modellerinin tahmininde en küçük kareler (EKK) tahmin edicisi yaygın olarak kullanılmaktadır. Ancak, açıklayıcı değişkenlerin birbirleriyle ilişkili olduğu durumlarda EKK tahmin edicisi istikrarsızlaşır. Bu nedenle, çoklu iç ilişkinin varlığı durumunda EKK tahmin edicisine alternatif olarak yanlı tahmin ediciler önerilmektedir. Birçok alanda, gelecek zamana ait verileri kestirmek/öngörmek büyük önem taşır çünkü öngörü, gelecekteki potansiyel olaylar ve onların sonuçları hakkında belli bilgiler ortaya koymaktadır. Bu da politika belirleyicinin (veya yöneticinin) önemli kararları daha güvenli bir şekilde almasını sağlamaktadır. Yanıt değişkenin bilinmeyen değerlerinin kestirimi ile ilgilendiğimizde, regresyon modelinin uygun bir kestirim denklemi üretebilmesi öncelikli gereksinimdir. Bu nedenle, bu çalışmada, çoklu iç ilişkinin mevcut olduğu durumlarda bazı yanlı tahmin edicilerin kestirim/öngörü performanslarını iyileştirecek yöntemler kullanılmış ve bu yöntemlere göre oluşturulmuş kestirim denklemleri, hem gerçek veriler kullanılarak hem de simülasyonlarla kendi aralarında karşılaştırılmıştır.

Keywords

Yanlı Tahmin Edici, Hata Kareleri Ortalaması, GCV, Kestirim

Comparison of Some Biased Estimators: A Monte Carlo Study

Abstract

The Ordinary Least Squares (OLS) estimator is the widely used technique for estimating linear regression models. However, the OLS estimator can be highly variable in certain directions, especially when the explanatory variables are collinear. Therefore, in the presence of multicollinearity, biased estimation techniques are often suggested as alternatives to the OLS. In many areas, the prediction/forecasting of the future values is very important because, forecasting provides information about the potential future events and their consequences. Thus, it increases the confidence of the policy maker (or the manager) to make important decisions. When a multiple linear regression model is used in predicting/forecasting unknown values of the response variable, its ability to produce an adequate prediction equation is of prime importance. In this study, some techniques are suggested to improve the prediction/forecasting performances of alternative biased estimators. Prediction equations based on these techniques are compared on real data and simulations.

Keywords

Biased Estimator, Mean Squared Error, GCV, Prediction

References

• ALLEN, D. M. (1971), Mean Square Error of Prediction as a Criteration for selection of Variables, Technometrics, 13: 469-475.
• ALLEN, D. M. (1974), The Relationship Between Variable Selection and Data Augmentation and a Method for Prediction, Technometrics, 16: 125-127.
• BAYE, M. R. ve PARKER D. F. (1984), Combining Ridge and Principal Component Regression: A Money Demand Illustration, Comm. Statist. Theory Methods, 13 (2): 197-205.
• GOLUB,G. H., HEATH, M. ve WAHBA, G. (1979), Generalized Cross-Validation as a Method for Choosing a Good Ridge Parameter. Technometrics, 21: 215-223
• GÜLER, H. ve KAÇIRANLAR, S. (2009), A Comparision of Mixed and Ridge Estimators of Linear Models, Communications in Statistics – Simulation and Computation, 38: 368-401.
• HOERL, A. E ve KENNARD, R. W. (1970), Ridge regression: biased estimation for nonorthogonal problems, Technometrics, 12 (1): 55-76.
• KAÇIRANLAR, S. VE SAKALLIOĞLU S. (2001), Combining the Liu Estimator and the Principal Component Regression Estimator, Communications in Statistics – Theory and Methods, 30 (12): 2699-2705.
• KIBRIA, B.M.G. (2003), Performance of Some New Ridge Regression Estimators, Communications in Statistics – Simulation and Computation, 32: 419-435
• LIU,K. (1993), A New Class of Biased Estimate in Linear Regression. Communications in Statistics – Theory and Methods., 22 (2): 393-402
• MALLOWS, C.L. (1973a), Data Analysis in a Regression Context. University of Kentucky Conference on Regression with a Large Number of Predictor Variables, Department of Statistics, University of Kentucky.
• MALLOWS, C.L. (1973b), Some Comments on C. Technometrics, 15: 661-675
• p. Technometrics, 15: 661-675
• MASSY W.F. (1965), “Principal components regression in exploratory Statistical Research. ” Journal of the American Statistical Association, 60: 234-256.
• McDONALD, G.C. ve GALARNEAU, D.I. (1975), A Monte Carlo Evaluation of Some Ridge-Type Estimators, Journal of the American Statistical Association, 30: 407-416.
• MONTGOMERY, D.C. ve FRIEDMAN, D.J. (1993), Prediction Using Regression Models with Multicollinear Predictor Variables. IIE Transactions, 25 (3): 73- 85
• NEWHOUSE, J.P. ve OMAN, S.D. (1971), An Evaluation of Ridge Estimators, Rand Corporation R-716-PR.
• NOMURA, M. ve OHKUBO, T. (1985), A Note on Combining Ridge and Principal Component Regression, Communications in Statistics – Theory and Methods, 14: 2489-2493.
• ÖZBEY, F. ve KAÇIRANLAR, S. (2010), Bazı Yanlı Tahmin Edicilerin Kestirim Per- formanslarının Karşılaştırılması. X. Ekonometri ve İstatatistik Sempozyumu, Sakarya.
• ÖZKALE, M. R. ve KAÇIRANLAR, S. (2008), Comparisons of the r-k Class Estimator to the Ordinary Least Squares Estimator under the Pitman’s Closeness Criteration, Statistical Papers, 49: 503-512
• SARKAR, N. (1989).,Comparisions Among Some Estimators in Misspecified Linear Models with Multicollinearity, Ann. Inst. Statist. Math., 41: 717-724.
• SARKAR, N. (1996). Mean Square Error Matrix Comparision of Some Estimators in Linear Regressions with Multicollinearity, Statistics and Probability Letters, 30: 133-138
• STEIN C. 1956. Inadmissibility of usual estimator for the mean of a multivariate normal distribution. Proceedings of the Third Berkeley Symposium on Mathematical Statistics and Probability, 1: 197-206.