İçilişki ve Genelleştirilmiş Maksimum Entropi Tahmin Edicileri

Abstract

Bu çalışmada, alışılmış gösterimlerle y=Xβ+u genel lineer regresyon modeli düşünülmüştür. Birçok uygulamada tasarım matrisi X şiddetli içilişkiye sahip olabilir. İçilişkinin varlığında Ridge regresyon tahmin edicisi _k=(X'X+kI)^-1X'y (Hoerl ve Kennard, 1970) ve Liu tahmin edicisi _d=(X'X+I)^-1(X'y+d) (Liu, 1993) ya da geliştirilmiş Ridge ve Liu-tipi tahmin ediciler en küçük kareler tahmin edicilerini iyileştirmek amacıyla kullanılmaktadır. Çalışmada, alternatif tahmin etme yöntem bilimi olarak maksimum entropi verilmiş ve temel veri kümesinde kötü koşulluluk olduğunda, genel lineer regresyonda parametreleri tahmin etmek için maksimum entropi yöntemi kullanılmıştır. Genelleştirilmiş maksimum entropi (GME) tahmin edicisi nitelendirilerek, parametre destek matrisleriyle birlikte parametreler üzerine eşitsizlik kısıtlarının koyulduğu tahmin yöntemi geliştirilmiştir. GME tahmin ediciler alternatif tahmin etme yöntemleri (En küçük kareler (EKK), eşitsizlik kısıtlı EKK, Ridge regresyon ve Liu-tip) ile hata kareleri ortalaması (HKO) ölçütüne göre karşılaştırılmıştır. Bu amaç için ABD'de tavuk talebi veri kümesi (Gujarati, 1992) üzerinde tahmin ediciler için nümerik olarak analiz edilmiştir.

Keywords

• Destek Noktası
• Eşitsizlik Kısıtlı EKK Tahmin Edicisi
• Genelleştirilmiş Maksimum Entropi Tahmin Edicisi
• Liu Tahmin Edicisi
• Ridge Regresyon Tahmin Edicisi

Multicollinearity and Generalized Maximum Entropy Estimators

Abstract

In this paper, we have considered the general linear model (GLM) y=Xβ+u in the usual notation. In many applications the design matrix X is frequently subject to severe multicollinearity. In the presence of multicollinearity certain biased estimators, like the ordinary Ridge regression estimator _k=(X'X+kI)^-1X'y and the Liu estimator _d=(X'X+I)^-1(X'y+d_OLS) or improved Ridge and Liu-type estimators, are used to outperform the ordinary least squares (OLS) estimates in the linear model. In this paper an alternative estimation methodology, maximum entropy, is given and used to estimate the parameters in a linear regression model when the basic data are ill-conditioned. We described the generalized maximum entropy (GME) estimator and develop a method for imposing parameter inequality restrictions through the GME parameter support matrix. We compared the GME estimator to the alternative estimation methodologies (least squares estimator, inequality restricted least squares (IRLS) estimator, Ridge regression estimator and Liu estimator) analyzed empirically for a US chicken demand data set.

Keywords

• Generalized Maximum Entropy Estimator
• Inequality Restricted Least Squares Estimator
• Liu Estimator
• Ridge Regression Estimator
• Support Point

References

1. Akdeniz, F. and Erol, H., 2003. Mean squared error matrix comparisons of some biased estimators in linear regression. Communications in Statistics-Theory and Methods 32( 12), 2389-2413.
2. Belsley, D. A., Kuh, E., Welsch, R. E., 1980. Regression diagnostics, New York, Wiley.
3. Belsley, D. A., 1991. Conditioning diagnostics: Collinearity and weak data in Regression. Wiley Series, New York.
4. Campbell, R. C. and Carter Hill, R., 2006. Imposing parameter inequality restrictions using the principle of maxirnum entropy. Journal of Statistical Cornputation and Simulation 76 (11),985-1000.
5. Fraser, 1., 2000. An application of maximum entropy estimation: The dernand for meat in the United Kingdom. Applied Economics 32, 45-59.
6. Golan, A., Jodge, G. and Miller, D., 1996. Maximum entropy econometrics. John Wiley and Sons. New York.
7. Gujarati, D., 1992. Essentials of econometrics. McGraw-Hill International Editions, New York.
8. Hoerl, A. E. and Kennard, R.W., 1970. Ridge regression: Biased estirnation for orthogonal Problems. Technometrics 12,55-67.

9. Hoerl, A. E. , Kennard, R., Baldwin, K. F., 1975. Ridge regression: Some simulations. Communications in Statistics-Theory and Methods 4(2), 105-123.
10. Jaynes, E. T., 1957a. Information theory and statistical mechanics. Physics Review 106, 620-630.
11. Jaynes, E. T., 1957b. Information theory and statistical mechanics II. Physics Review 108, 171-190.
12. Lawless, J. F., Wang, P., 1976. A simulation study of Ridge and other regression estimators. Communications in Statistics-Theory and Methods A5, 307-323.
13. Liu, Kejian,1993. A new class of biased estimate in linear regression. Communications in Statistics Theory and Methods 22, 393-402.
14. Paris, Q. And Howitt, R. E. 1998. An analysis of ill-posed production problems using maximum entropy. American Journal of Aggricultural Economics, 80, 124-138.
15. Paris, Q. 2001. MELE: Maximum entropy Leuven estimators. University of California Davis, Working Paper 01 -003.
16. Pukelsheim, F., 1994. The three sigma rule. American Statistician 48, 88-91.
17. Shannon, C. E., 1948. A mathematical theory of communication. Bell System Technical Journal 27, 379-423.
18. Shen, E. Z., Perloff, J.M., 2001. Maximum entropy and Bayesian approaches to the ratio problem. Journal of Econometrics, 104,289-313.
19. Soofi, E. S.,1990. Effects of collinearity on information about regression coefficients. Journal of Econometrics, 43, 255-274.