Genel Doğrusal Regresyon Modelinin Parametrelerine Yönelik Tahmin Edicilerin Simülasyon Yoluyla Karşılaştırılması ve İki Gerçek Hayat Veri Örneği

Year 2019, Volume: 23 Issue: Special [en], 119 - 130, 01.03.2019

Nalan Mutlu Hakan Savaş Sazak

https://doi.org/10.19113/sdufenbed.538869

Cited By: 3

Abstract

Bu çalışmada
genel doğrusal regresyon modelinin parametrelerine yönelik bir çok tahmin
edicinin ki bunlar en küçük kareler (EKK) tahmin edicileri, Huber ve Tukey
M-tahmin edicileri, S-tahmin edicileri ve MM-tahmin edicileri olmak üzere
etkinlik ve dayanıklılıklarını simülasyon yoluyla karşılaştırdık. Öncelikle her
bir yöntem için Matlab kullanılarak program yazıldı. Daha sonra bir çok model
altında kapsamlı bir simülasyon çalışması yürütüldü. Sonuçlar literatürle uyumlu
olmakla beraber üstünde durulması gereken bazı önemli noktalar da bulunmuştur.
Literatürde önerildiği şekilde genel olarak MM-tahmin edicileri en etkin tahmin
edicilerdir ve burada ele alınan dayanıklı tahmin ediciler arasında S-tahmin
edicileri en az etkinliğe sahiptirler. Doğal olarak EKK tahmin edicileri hassas
yapıları sebebiyle varsayılan modelden sapmalardan kötü bir şekilde
etkilenmektedirler. Ayrıca hata teriminin varyansının EKK tahmin edicisi
yansızken burada ele alınan dayanıklı tahmin edicilerinin genelde yanlı olduğu
bulunmuştur. Bunun yanında hata teriminin varyansının MM-tahmin edicisi diğer
dayanıklı tahmin edicilere göre daha az yanlıyken örneklem hacmi arttıkça da
yan miktarı diğerlerine göre daha hızlı bir şekilde azalmaktadır. Çalışmanın
sonunda daha aydınlatıcı olması için ilgili yorumlarıyla beraber iki gerçek
hayat verisi örneği verilmiştir.

Keywords

Genel doğrusal regresyon modeli, En küçük kareler, M-tahmin edicileri, MM-tahmin edicileri, S-tahmin edicileri, Dayanıklı

The Comparison of the Estimators for the Parameters of the General Linear Regression Model via Simulation and Two Real Life Data Examples

Abstract

In
this study we compared the efficiency and robustness of several estimators,
namely, the least squares (LS) estimators, the Huber and Tukey M-estimators,
the S-estimators and the MM-estimators for the parameters of the general linear
regression (GLR) model via simulation. First, the programs for each method were
written by using Matlab. Then, an extensive simulation study was conducted
under several models. The results are consistent with the literature but some
important points were also found to be remarked. As the literature suggests, in
general, the MM-estimators are the most efficient estimators, and among the
robust estimators discussed here, the S-estimators are the least efficient
ones. Naturally, the LS estimators are badly affected by the deviations from
the assumed model because of their sensitive nature. Moreover, it was found
that while the LS estimator of the variance of the error term is unbiased, the
robust estimators discussed here are generally biased. Additionally, the
MM-estimator of the variance of the error term is less biased than the other
robust estimators and its bias gets smaller faster as the sample size increases
compared to the others. At the end of the study, to be more illustrative, two
real life data examples were given with the related comments.

Keywords

General linear regression model, Least squares, M-estimators, MM-estimators, S-estimators, Robust

References

• [1] Neter, J., Kutner, M. H., Nachstheim, C .J., Wasserman, W. 1996. Applied Linear Statistical Models. McGraw-Hill, USA.
• [2] Andersen, R. 2008. Modern Methods for Robust Regression. Thousand Oaks: SAGE Publications.
• [3] Hampel, F. R, Ronchetti, E. M., Rousseeuw P. J. 1986. Robust Statistics. Wiley, New York.
• [4] Rousseeuw, P. 1984. Least Median of Squares Regression. Journal of the American Statistical Association, 79, 871-880.
• [5] Rousseeuw, P., Leroy, M. 1987. Robust Regression and Outlier Detection. Wiley, New York.
• [6] Huber, P. J. 1964. Robust Estimation of a Location Parameter. The Annals of Mathematical Statistics, 35, 73-101.
• [7] Türkay, H. 2004. Doğrusal Regresyon Analizinde M Tahminciler ve Ekonometrik Bir Uygulama. Doğu Anadolu Bölgesi Araştırmaları, 106-115.
• [8] Susanti, Y., Pratiwi, H., Sulistijowati, S., Liana, T. 2014. M estimation, S estimation, and MM estimation in robust regression. International Journal of Pure and Applied Mathematics, 91(3), 349-360.
• [9] Holland, P. W., Welsch, R. E. 1977. Robust Regression Using Iteratively Reweighted Least-Squares. Communications in Statistics-Theory and Methods, 6(9), 813-827.
• [10] Rousseeuw, P., Yohai, V. 1984. Robust Regression by Means of S-Estimators. Robust and Nonlinear Time Series Analysis, edited by J. Franke, W. Hardle, D. Martin, Lecture Notes in Statistics, 26, 256-272, Springer Verlag, Berlin/New York.
• [11] Çetin, M., Toka, O. 2011. The Comparing of S-Estimator and M-Estimators in Linear Regression. Gazi University Journal of Science, 24, 747-752.
• [12] Stuart, C. 2011. Robust Regression. Department of Mathematical Sciences, Durham University.
• [13] Yohai, V. J. 1987. High Breakdown Point and High Efficiency Robust Estimates for Regression. The Annals of Statistics, 15(2), 642-656.
• [14] Mutlu, N. 2018. The Comparison of the Iteration Methods Used in Parameter Estimation, M.Sc. Thesis, Ege University, İzmir.
• [15] Sazak, H. S., Tiku, M. L., Islam, M. Q. 2006. Regression Analysis with a Stochastic Design Variable. International Statistical Review, 74(1), 77-88.
• [16] Çetin, M. C., Orsoy, A. 2001. Doğrusal Regresyonda Sağlam Tahmin Ediciler ve Bir Uygulama. Anadolu University Journal of Science and Technology, 2(2), 265-270.