Genel Doğrusal Regresyon Modelinin Parametrelerine Yönelik Tahmin Edicilerin Simülasyon Yoluyla Karşılaştırılması ve İki Gerçek Hayat Veri Örneği

Abstract

Bu çalışmada genel doğrusal regresyon modelinin parametrelerine yönelik bir çok tahmin edicinin ki bunlar en küçük kareler (EKK) tahmin edicileri, Huber ve Tukey M-tahmin edicileri, S-tahmin edicileri ve MM-tahmin edicileri olmak üzere etkinlik ve dayanıklılıklarını simülasyon yoluyla karşılaştırdık. Öncelikle her bir yöntem için Matlab kullanılarak program yazıldı. Daha sonra bir çok model altında kapsamlı bir simülasyon çalışması yürütüldü. Sonuçlar literatürle uyumlu olmakla beraber üstünde durulması gereken bazı önemli noktalar da bulunmuştur. Literatürde önerildiği şekilde genel olarak MM-tahmin edicileri en etkin tahmin edicilerdir ve burada ele alınan dayanıklı tahmin ediciler arasında S-tahmin edicileri en az etkinliğe sahiptirler. Doğal olarak EKK tahmin edicileri hassas yapıları sebebiyle varsayılan modelden sapmalardan kötü bir şekilde etkilenmektedirler. Ayrıca hata teriminin varyansının EKK tahmin edicisi yansızken burada ele alınan dayanıklı tahmin edicilerinin genelde yanlı olduğu bulunmuştur. Bunun yanında hata teriminin varyansının MM-tahmin edicisi diğer dayanıklı tahmin edicilere göre daha az yanlıyken örneklem hacmi arttıkça da yan miktarı diğerlerine göre daha hızlı bir şekilde azalmaktadır. Çalışmanın sonunda daha aydınlatıcı olması için ilgili yorumlarıyla beraber iki gerçek hayat verisi örneği verilmiştir.

Keywords

• Genel doğrusal regresyon modeli,En küçük kareler,M-tahmin edicileri,MM-tahmin edicileri,S-tahmin edicileri,Dayanıklı

The Comparison of the Estimators for the Parameters of the General Linear Regression Model via Simulation and Two Real Life Data Examples

Abstract

In this study we compared the efficiency and robustness of several estimators, namely, the least squares (LS) estimators, the Huber and Tukey M-estimators, the S-estimators and the MM-estimators for the parameters of the general linear regression (GLR) model via simulation. First, the programs for each method were written by using Matlab. Then, an extensive simulation study was conducted under several models. The results are consistent with the literature but some important points were also found to be remarked. As the literature suggests, in general, the MM-estimators are the most efficient estimators, and among the robust estimators discussed here, the S-estimators are the least efficient ones. Naturally, the LS estimators are badly affected by the deviations from the assumed model because of their sensitive nature. Moreover, it was found that while the LS estimator of the variance of the error term is unbiased, the robust estimators discussed here are generally biased. Additionally, the MM-estimator of the variance of the error term is less biased than the other robust estimators and its bias gets smaller faster as the sample size increases compared to the others. At the end of the study, to be more illustrative, two real life data examples were given with the related comments.

Keywords

• General linear regression model,Least squares,M-estimators,MM-estimators,S-estimators,Robust

References

1. [1] Neter, J., Kutner, M. H., Nachstheim, C .J., Wasserman, W. 1996. Applied Linear Statistical Models. McGraw-Hill, USA.
2. [2] Andersen, R. 2008. Modern Methods for Robust Regression. Thousand Oaks: SAGE Publications.
3. [3] Hampel, F. R, Ronchetti, E. M., Rousseeuw P. J. 1986. Robust Statistics. Wiley, New York.
4. [4] Rousseeuw, P. 1984. Least Median of Squares Regression. Journal of the American Statistical Association, 79, 871-880.
5. [5] Rousseeuw, P., Leroy, M. 1987. Robust Regression and Outlier Detection. Wiley, New York.
6. [6] Huber, P. J. 1964. Robust Estimation of a Location Parameter. The Annals of Mathematical Statistics, 35, 73-101.
7. [7] Türkay, H. 2004. Doğrusal Regresyon Analizinde M Tahminciler ve Ekonometrik Bir Uygulama. Doğu Anadolu Bölgesi Araştırmaları, 106-115.
8. [8] Susanti, Y., Pratiwi, H., Sulistijowati, S., Liana, T. 2014. M estimation, S estimation, and MM estimation in robust regression. International Journal of Pure and Applied Mathematics, 91(3), 349-360.

9. [9] Holland, P. W., Welsch, R. E. 1977. Robust Regression Using Iteratively Reweighted Least-Squares. Communications in Statistics-Theory and Methods, 6(9), 813-827.
10. [10] Rousseeuw, P., Yohai, V. 1984. Robust Regression by Means of S-Estimators. Robust and Nonlinear Time Series Analysis, edited by J. Franke, W. Hardle, D. Martin, Lecture Notes in Statistics, 26, 256-272, Springer Verlag, Berlin/New York.
11. [11] Çetin, M., Toka, O. 2011. The Comparing of S-Estimator and M-Estimators in Linear Regression. Gazi University Journal of Science, 24, 747-752.
12. [12] Stuart, C. 2011. Robust Regression. Department of Mathematical Sciences, Durham University.
13. [13] Yohai, V. J. 1987. High Breakdown Point and High Efficiency Robust Estimates for Regression. The Annals of Statistics, 15(2), 642-656.
14. [14] Mutlu, N. 2018. The Comparison of the Iteration Methods Used in Parameter Estimation, M.Sc. Thesis, Ege University, İzmir.
15. [15] Sazak, H. S., Tiku, M. L., Islam, M. Q. 2006. Regression Analysis with a Stochastic Design Variable. International Statistical Review, 74(1), 77-88.
16. [16] Çetin, M. C., Orsoy, A. 2001. Doğrusal Regresyonda Sağlam Tahmin Ediciler ve Bir Uygulama. Anadolu University Journal of Science and Technology, 2(2), 265-270.