Comparison of Robust and Theil Estimators in Simple Linear Regression

Abstract

According to Gauss-Markov Theorem, ordinary least squares (OLS) estimates are best linear unbiased estimators when the assumptions are satisfied in simple linear regression. However, these estimates in regression models are not resistant to deviations from classical assumptions. In this situation, some nonparametric or robust methods are used as alternatives in regression analysis. Nonparametric statistical methods require no normality assumption about the error distribution. Theil’s estimator gives robust results when outliers are present in the sample (Nevitt, J., Tam, H. P., 1998). Robust methods are also alternative methods to ordinary least square estimates when the necessary assumptions in regression analysis are not satisfied. In this study, the robust methods of median least squares (MLS), least squares, Huber’s M estimator and nonparametric Theil’s regression method are compared by performing a simulation study for simple linear regression model when data consist of outliers. The performances of estimators are compared and interpreted with respect to their efficiency. According to simulation results, estimators obtained from robust methods provide more efficient results than the ones obtained from Theil’s method.

Keywords

• Outliers
• Robust regression
• Simple linear regression
• Theil’s method

Basit Doğrusal Regresyonda Sağlam ve Theil Kestiricilerinin Karşılaştırılması

Abstract

Basit doğrusal regresyon çözümlemesinde varsayımlar sağlandığında elde edilen en küçük kareler (EKK) kestirim değerleri, Gauss-Markov teoremine göre parametrelerinin doğrusal, yansız ve en küçük varyanslı kestiricileridir. Ancak, varsayımlar sağlanmadığında elde edilen kestiriciler, olması gereken özelliklerini kaybederler. Bu durumda regresyon çözümlemesinde alternatif olarak bazı parametrik olmayan ya da sağlam yöntemler kullanılır. Parametrik olmayan regresyon yöntemleri, hata dağılımına ilişkin normallik varsayımı gerektirmezler. Theil kestirimi, örneklemde aykırı değerler bulunduğunda sağlam sonuçlar vermektedir (Nevitt, J., Tam, H. P., 1998). Sağlam regresyon ise yine regresyon çözümlemesinde gerekli olan varsayımlar sağlanmadığında, olağan en küçük kareler yöntemine alternatif olarak önerilen bir yöntemdir. Bu çalışmada, basit doğrusal regresyonda aykırı değer varlığında sağlam regresyon yöntemler olan ortanca en küçük kareler (OEKK), en küçük kesilmiş kareler (EKKK), Huber’in M kestiricisi ve parametrik olmayan Theil regresyonu yöntemini karşılaştırmak için bir benzetim çalışması yapılmıştır. Elde edilen sonuçlar göreli etkinliklerine göre karşılaştırılmış ve yorumlanmıştır. Benzetim sonuçlarına göre sağlam yöntemden elde edilen kestiricilerin, Theil yönteminden elde edilen kestiricilere göre daha etkin sonuçlar verdiği görülmüştür.

Keywords

• Aykırı değer
• Basit doğrusal regresyon
• Robust regresyon
• Theil yöntemi

References

1. Candan, M., 1995. Doğrusal Regresyon Çözümlemesinde Sağlam Kestiriciler. H. Ü. Fen Bilimleri Enstitüsü, Ankara (Türkçe).
2. Dietz, E. J., 1987. On Estimating a Slope and Intercept in a Nonparametric Statistics Course. North Carolina State University, USA (İngilizce).
3. Huber, P. J., 1973. Robust Regression: Asymptotics, Conjectures and Monte Carlo. Ann. Stat., 1, 199-821.
4. Mutan, O., 2004. Comparision of Regression Techniques via Monte Carlo Simulation. Graduate School of Natural and Applied Sciences of METU, Ankara (İngilizce).
5. Nevitt, J., Tam, H. P., 1998. A Comparison of Robust and Nonparametric Estimators Under the Simple Linear Regression Model. Multiple Linear Regression Viewpoints, 25, 54-69.
6. Randles, R. H., Wolfes, D. A., 1979. Introduction to the Theory of Nonparametric Statistics. Wiley & Son, New York.
7. Rousseeuw, P. J., 1984. Least Median of Squares Regression. J. Am. Stat. Assoc., 79, 971-880.
8. Rousseeuw, P. J., Leroy, A. M., 1987. Robust Regression and Outlier Detection. Wiley & Son, New York.

9. Ryan, T. P., 1997. Modern Regression Methods. John Wiley&Sons, Inc, New York.
10. Scholz, F. W., 1978. Weighted median regression estimates. The Annals of Statistics, 6(3): 603–609.
11. Sievers, G. L., 1978. Weighted rank statistics for simple linear regression. Journal of the American Statistical Association, 73(363): 628–631.
12. Theil, H., 1950. A rank-invariant method of linear and polynomial regression analysis. Ned. Akad. Wetensch. Proc. Ser. A, 53.