Robust Regression: A Comparative Simulation Study

Abstract

Today, many researchers assume that the distribution of the error term is Gaussian (Normal) in regression analysis and uses the Ordinary Least Squares (OLS) method to estimate the regression parameters. However, in practice, even if the distribution of errors is assumed to be normal, residuals are not generally normally distributed. Especially, if the data contains outliers or there are observations which suspected to be outlier, the assumption of normality is violated and parameter estimates which made using the OLS, are biased. Researchers use robust methods to overcome when such problems occur. Among these methods, M-estimators (Maximum Likelihood Type) are the most used. The M- estimation method is a generalized version of the Maximum Likelihood (MLE) estimation method, and the OLS method is also known as an M-estimator. In the M-estimation method, it minimizes a objective function suitable for the data set and obtains parameter estimates iteratively. In this study, the OLS method, Huber M- estimation method and Tukey Bisquare M- estimation method were compared using different scenarios. In addition, the Objective, Influence and Weight functions of these methods were examined. Iteratively Re-Weighted Least Squares (IRWLS) method is used for parameter estimation. When using IRWLS method, an initial solution is selected by an appropriate estimation method (eg. OLS) and iterative solution is obtained by using the Weighted OLS method with the weight functions of the M-estimation methods. By comparing the obtained parameter estimates, Bias, Mean Squared Error (MSE) and R2 criterias are used. If the data set is normal, the most useful method is OLS, whereas the OLS method has lost its efficiency when there is contaminated distribution or outliers in the data set. Huber and Tukey M- estimation methods give better results than OLS, especially when there is outlier in the Y direction.

Keywords

• Robust Regression
• M- Estimators
• Outliers
• Iteratively Re-Weighted Least Squares

Dayanıklı (Robust) Regresyon: Karşılaştırmalı Simülasyon Çalışması

Abstract

Günümüzde birçok araştırmacı regresyon analizinde hata teriminin dağılışının Gausyan (Normal) olduğunu varsaymakta ve regresyon parametrelerinin tahminini yaparken için En Küçük Kareler (EKK) yöntemini kullanmaktadır. Ancak uygulamada normal dağılış varsayımı kabul edilse bile artıklar genellikle normal dağılıştan farklı bir dağılış göstermektedirler. Özellikle veri setinde bulunan sapan gözlemler veya sapan gözlem olduğundan şüphelenilen gözlemler, verilerin normallik varsayımını bozmakta ve EKK yöntemi ile yapılan parametre tahminleri hatalı (sapmalı) olmaktadır. Araştırmacılar böyle durumların üstesinden gelebilmek için son yıllarda sıklıkla kullanılan dayanıklı (robust) yöntemleri kullanmaktadırlar. Bu yöntemlerin arasında en çok kullanılan M- tahminciler (En Yüksek Olabilirlik tipi) gelmektedir. M- tahminleme yöntemi, En Çok Olabilirlik (MLE) yönteminin genelleştirilmiş bir versiyonudur ve EKK yöntemi de bir M- tahminci olarak bilinmektedir. M- tahminleme yöntemi, eldeki veri setine uygun bir amaç fonksiyonunu minimize ederek parametre tahminlerini iteratif olarak elde etmektedir. Bu çalışmada farklı senaryolar ele alınarak EKK yöntemi, Huber M- tahminleme yöntemi ve Tukey Bisquare M- tahminleme yöntemi karşılaştırılmıştır. Ayrıca bu yöntemlerin amaç, etki ve ağırlık fonksiyonları incelenmiştir. Regresyon parametreleri tahminlenirken İteratif Olarak Tekrar Ağırlıklandırılan En Küçük Kareler (IRWLS) yöntemi kullanılmıştır. IRWLS yönteminde bir başlangıç çözümü uygun bir tahminleme yöntemiyle seçilir (Örn: EKK) ve M- tahminleme yöntemlerinin ağırlık fonksiyonları kullanılarak Ağırlıklı EKK yöntemiyle iteratif olarak parametre tahminleri elde edilir. Elde edilen parametre tahminleri Ortalama Karesel Hata (MSE), Sapma ve R2 kriterleri açısından karşılaştırılmıştır. Eğer veri seti normal ise en kullanışlı yöntem EKK iken veri setinde kirlenme (contaminated) veya sapan gözlem olduğunda EKK yönteminin etkinliğini kaybettiği görülmüştür. Özellikle açıklanan değişken Y yönünde sapan gözlem olduğunda Huber ve Tukey M- tahminleme yöntemleri EKK’ya göre daha iyi sonuçlar vermektedir.

Keywords

• Dayanıklı (Robust) Regresyon
• M- Tahminciler
• Sapan Gözlem
• İteratif Olarak Tekrar Ağırlıklandırılmış En Küçük Kareler

References

1. Andersen, R. (2008). Modern methods for robust regression (No. 152). Sage.
2. Beaton, A. E., ve Tukey, J. W. (1974). The fitting of power series, meaning polynomials, illustrated on band-spectroscopic data. Technometrics, 16(2), 147-185.
3. Draper, N. R.,ve Smith, H. (2014). Applied regression analysis(Vol. 326). John Wiley & Sons.
4. Hampel FR, Ronchetti EM, Rousseuw PJ, Stahel WA (1986) Robust statistics. The approach based on influence functions. Wiley, New York.
5. Hogg, R. V. (1979). Statistical robustness: One view of its use in applications today. The American Statistician, 33(3), 108-115.
6. Huber, Peter J. Robust Estimation of a Location Parameter. Ann. Math. Statist. 35 (1964), no. 1, 73--101. doi:10.1214/aoms/1177703732.
7. Rousseeuw, P. J., ve Leroy, A. M. (1987). Robust regression and outlier detection (Vol. 1). New York: Wiley.
8. Stuart, C. (2011). Robust regression. Department of Mathematical Sciences, Durham University, 169.