ÇOKLU DOĞRUSAL BAĞLANTI PROBLEMİ ALTINDA TAHMİN EDİCİLERİN KARŞILAŞTIRILMASI: GENELLEŞTİRİLMİŞ MAKSİMUM ENTROPİ, RİDGE, LİU

Abstract

Genel lineer regresyon modellerinde, çoklu doğrusal bağlantının varlığı durumunda, en küçük kareler (EKK) yöntemi kullanıldığında parametre tahminleri kararsız ve yüksek varyanslı olarak elde edilirler. Bu durumda, çoklu doğrusal bağlantının olumsuz etkilerini azaltmak için EKK yerine alternatif yanlı tahmin edicilerin kullanılması önerilir. Çalışmada, çoklu doğrusal bağlantının tespit edildiği bir genel lineer regresyon modelinde daha kararlı parametre tahminleri elde etmek amacıyla yanlı tahmin edicilerden Ridge, Liu ve Genelleştirilmiş maksimum entropi (GME) tahmin edicileri kullanılmıştır. Tahmin edicilerin performansları hata kareleri ortalamaları (HKO) bazında karşılaştırılmıştır. Tahmin edicilerin HKO değerleri hem bootstrap yöntemi ile hem de Monte Carlo simülasyon çalışması ile elde edilmiştir. Sonuç olarak, çoklu doğrusal bağlantı durumu söz konusu iken en etkin tahmin edicinin GME olduğuna karar verilmiştir.

Keywords

• Çoklu iç ilişki
• Genelleştirilmiş Maksimum Entropi
• Liu
• Ridge

COMPARISON OF ESTIMATORS UNDER MULTICOLLINEARITY PROBLEM: GENERALIZED MAXIMUM ENTROPY, RIDGE, LIU

Abstract

In general linear regression models, in the presence of multicollinearity, the parameter estimates are obtained as unstable and with inflated variance when the least squares (OLS) method is used. In such cases, the usage of alternative biased estimators is recommended instead of OLS for reducing the negative effects of multicollinearity. In this study, biased estimators which are Ridge, Liu and Generalized Maximum Entropy (GME) have been used to obtain more stable parameter estimates in a general linear regression model with multicollinearity. Performances of these estimators have been compared according to the mean square error (MSE) criteria. MSE values of these estimators have been obtained by both the bootstrap method using observed data and Monte Carlo simulation study. As a result, in the presence of multicollinearity, it has been decided that GME estimator is the most efficient estimator. 

Keywords

• Multicollinearity
• Ridge
• Liu
• Generalized Maximum Entropy

References

1. Adegoke, A. S., Adewuyi, E., Ayinde, K. & Lukman, A. F. (2016). A comparative study of some robust Ridge and Liu estimators. Science World Journal, 11(4), 16-20.
2. Akdeniz, F., Çabuk, A., & Güler, H. (2011). Generalized maximum entropy estimators: Applications to the Portland cement dataset. The Open Statistics and Probability Journal, 3, 13-20.
3. Akdeniz, F., Çabuk, A., & Güler, H. (2014). Doğrusal eşanlı denklem modellerinin tahmininde kullanılan tahmincilerin kötü koşulluluk durumunda HKO bazında performanslarının özyetinim ile karşılaştırılması. K. O. Oruç & H. Demirgil (Ed.), 15th International Symposium on Econometrics, Operations Research and Statistics Abstract Book içinde (ss.76). Ankara: Nobel Akademik Yayıncılık
4. Akdeniz, F., & Kaçıranlar, S. (1995). On the almost unbiased generalized Liu estimator and unbiased estimation of the bias and MSE. Communications in Statistics-Theory and Methods, 24(7), 1789-1797.
5. Aktaş, C., & Yılmaz, V. (2003). Çoklu bağıntılı modellerde Liu ve Ridge regresyon kestiricilerinin karşılaştırılması. Anadolu Üniversitesi Bilim ve Teknoloji Dergisi, 4(2), 189-194.
6. Belsley, D. A., Kuh, E., & Welsch, R. E. (1980). Regression diagnostics. New York: Wiley.
7. Çabuk, A., & Akdeniz, F. (2007). İçilişki ve genelleştirilmiş maksimum entropi tahmin edicileri. Journal of Statistical Research, 5(2), 1-19.
8. Çabuk, H. A., & Örk Özel, S. (2017). Çoklu iç ilişki sorunu olan regresyon modelinin HKO ölçütü ile bir etkin tahmin edicisi. Ç.Ü. Sosyal Bilimler Enstitüsü Dergisi, 26(3), 13-25.

9. Derman, D. A. (2019). Çoklu bağlantı durumunda yanlı regresyon yöntemlerinin incelenmesi. Yayımlanmamış yüksek lisans tezi, Ordu Üniversitesi, Ordu.
10. Efron, B. (1979). Bootstrap methods: Another look at the Jacknife. The Annals of Statistics, 7(1), 1-26.
11. Gezer, F. (2016). Eşanlı denklem modellerinde çoklu iç ilişkinin etkileri ve alternatif tahmin edicilerin karşılaştırılması. Yayımlanmamış yüksek lisans tezi, Çukurova Üniversitesi, Adana.
12. Golan, A., Judge, G., & Miller, D. (1996). Maximum entropy econometrics: Robust estimation with limited data. New York, USA: John Wiley & Sons
13. Gruber, M. H. J. (2012). Liu and ridge estimators-a comparison. Communications in Statistics - Theory and Methods, 41(20), 3739-3749.
14. Güler, H., Akdeniz, F., Çabuk H. A., & Örk Özel, S. (2015). Poverty rate and its determinants for 12 statistical regions of Turkey: Generalized maximum entropy approach. Ç.Ü. Sosyal Bilimler Enstitüsü Dergisi, 24(2), 337-348.
15. Hoerl, A. E., & Kennard, R. W. (1970). Ridge regression: Biased estimation for nonorthogonal problems. Technometrics, 12(1), 55-67.
16. Hoerl, A. E., Kennard, R. W., & Baldwin, K. F. (1975). Ridge regression: Some simulation. Communication in Statistics, 4, 105-123.
17. Jaynes, E. T. (1957). Information theory and statistical mechanics. II. Physics Rewiev, 108(2), 171-190.
18. Karakaş, S. (2008). Çoklu doğrusal bağlantı problemi ve yanlı regresyon tahmincileri. Yayımlanmamış yüksek lisans tezi, İstanbul Üniversitesi, İstanbul.
19. Karakaya, E. (2011). Ridge ve Liu tahmincilerinin etkinliklerinin ve yanlılıklarının karşılaştırılması. Yayımlanmamış yüksek lisans tezi, Anadolu Üniversitesi, Eskişehir.
20. Klein, L. R. (1950). Economic fluctuations in the United States, 1921-1941. John Wiley and Son, New York.
21. Küçük, A. (2019). Doğrusal regresyonda Ridge, Liu ve LASSO tahmin edicileri üzerine bir çalışma. Yayımlanmamış yüksek lisans tezi, Hacettepe Üniversitesi, Ankara.
22. Lawless, J. F., & Wang, P. (1976). A simulation study of Ridge and other regression estimators. Communications in Statistics-Theory and Methods, 14, 1589-1604.
23. Liu, K. (1993). A new class of biased estimate in linear regression. Communications in Statistics-Theory and Methods, 22(2), 393-402.
24. Macedo, P. (2017). Ridge regression and generalized maximum entropy: An improved version of the Ridge–GME parameter estimator. Communications in Statistics-Simulation and Computation, 46(5), 1532-4141.
25. Marquardt, D. W., & Snee, R. D. (1975). Ridge regression in practice. The American Statistician, 29(1), 3-20.
26. Mishra, S. K. (2004). Estimation under multicollinearity: application of restricted Liu and maximum entropy estimators to the Portland cement dataset. MPRA Paper 1809, University Library of Munich, Germany.
27. Najarian, S., Arashi, M., & Kibria, B. M. G. (2013). A simulation study on some restricted ridge regression estimators. Communications in Statistics - Simulation and Computation, 42(4), 871-890.
28. Oman, S. D. (1982). Shrinking towards subspaces in multiple linear regression. Technometrics, 24(4), 307-311.
29. Örk Özel, S. (2019). Transcendental logaritmik (translog) modelin etkin tahmini: Tahmin edicilerin monte carlo ile karşılaştırılması. Yayımlanmamış doktora tezi, Çukurova Üniversitesi, Adana.
30. Pires, C., Coelho, L. A., & Dionisio, A. (2010). GME versus OLS – Which is the best to estimates utility functions? (CEFAGE-UE Working Paper 2010/02). Retrieved from https://www.researchgate.net/profile/Andreia_Dionisio/publication/46448323_GME_versus_OLS__Which_is_the_best_to_estimate_utility_functions/links/0912f50f3e8b29627a000000/GME-versus-OLS-Which-is-the-best-to-estimate-utility-functions.pdf
31. Pukelsheim, F. (1994). The three sigma rule. The American Statistician, 48(2), 88-91.
32. Ramanathan, R. (2002). Introductory econometrics with applications (5th Edition). Harcourt College Publishers.
33. Shannon, C. E. (1948). A mathematical theory of communication. The Bell System Technical Journal, 27(3), 379-423.
34. Smith, G., & Campbell, F. (1980). A critique of some ridge regression methods. Journal of the American Statistical Association, 75(369), 74-81.
35. Şamkar, H., & Güner, D. (2018). OECD ülkelerindeki beş yaş altı çocuk ölüm sayılarının yanlı tahmin teknikleriyle modellenmesi. UİİİD-IJEAS, 21, 273-284.