Comparison of Parametric and Non-Parametric Estimation Methods in Linear Regression Model

Abstract

In this study, the aim was to review the methods of parametric and non-parametric analyses in simple linear regression model. The least squares estimator (LSE) in parametric analysis of the model, and Mood-Brown and Theil-Sen methods that estimates the parameters according to the median value in non-parametric analysis of the model are introduced. Also, various weights of Theil-Sen method are examined and estimators are discussed. In an attempt to show the need for non-parametric methods, results are evaluated based on real life data.

Keywords

• Outlier,Least Squares,Non-Parametric Estimation Methods,Median,Mean Absolute Deviation

Doğrusal Regresyon Modelinde Parametrik ve Parametrik Olmayan Tahmin Yöntemlerinin Karşılaştırması

Öz

Bu çalışmada, basit doğrusal regresyon modelinde parametrik ve parametrik olmayan analiz yöntemlerinin karşılaştırmalı olarak incelenmesi amaçlanmıştır. Modelin parametrik analizinde EKK tahmini, parametrik olmayan analizinde ise medyana göre parametre tahmini yapan Mood-Brown ve Theil-Sen yöntemleri tanıtılmıştır. Ayrıca Theil-Sen yöntemine ait çeşitli ağırlıklar incelenerek parametre tahmin ediciler tartışılmıştır. Parametrik olmayan yöntemlere olan ihtiyacı göstermek amacı ile sonuçlar gerçek yaşam verisi üzerinde değerlendirilmiştir.

Anahtar Kelimeler

• Aykırı Değer,EKK,Mood-Brown Tahmini,Theil-Sen Tahmini,Ortalama Mutlak Sapma,Medyan

References

1. Candan, M. (1995). Doğrusal Regresyon Çözümlemesinde Sağlam Kestiriciler. H. Ü. Fen Bilimleri Enstitüsü. Ankara.
2. Daniel, C., ve Wood, F.S., (1971). Fitting Equations to Data, John Wiley&Sons, New-York.
3. Daniel, W.W., (1990). Applied Nonparametric Statistics. Georgia State University, Boston, 2nd edition, p: 18-20, 426-443.
4. Hussain, S.S., and Sprent, P., (1983). Non Parametric Regression. J.Roy Statist. Soc., Series A, 146, 182-191.
5. Kıroğlu, G. (2001). Uygulamalı Parametrik Olmayan İstatistiksel Yöntemler. Mimar Sinan Üniversitesi Fen-Edebiyat Fakültesi, İstanbul.
6. Lehmann, E. L. (2006). Nonparametrics: Statistical methods based on ranks. New‐York: Springer pp. 463.
7. Maritz, J.S., (1979). On Theil’s Method in Distribution-Free Regression. Australian J. of Statistics, 21, 30-35.
8. Mood, A.M., (1950). Introduction to the Theory of Statistics, New York: Mcgraw- Hill.

9. Mood, A.M. and Brown, G.W. (1951). ’’On Median Tests for Linear Hypotheses’’. Proceedings of the Second Berkeley Symposium On Mathematical Statistics and Probability, Berkeley and Los Angeles: The Universitey of California Pres.
10. Ransles, R. H., Wolfes, D. A., (1979). Introduction to the Theory of Nonparametric Statistics. Wiley & Son, New York.
11. Rao, K.S.M. and Gore, A.P., (1982). Nonparametric Tests for Intercept in Linear Regression Problems. Australian J.of Statistics, 24(1), 42-50.
12. Scholz, F. W., (1978). Weighted Median Regression Estimates. The Annals of Statistics, 6(3): 603-609.
13. Sen, P. K. (1968), Estimates of the regression coefficient based on Kendall’s tau., J.Amer. Statist. Assoc., 63, 1379-1389.
14. Sievers, G.L., (1978). Weighted Rank Statistics For Simple Linear Regression. J.Amer.Statist.Ass., 73, 628-631.
15. Wang, X. and Yu, Q., (2004). Unbiasedness of the Theil-Sen Estimator. http://home.olemiss.edu/xuegin/papers/tsun.pdf.
16. Theil, H. (1950), A rank-invariant method of lineer and polynomial regression analysis, I. Proc. Kon. Ned. Akad. v . Wetensch. A53, 386-392.
17. Toka, O., Çetin M.,Altunay, S. A. (2011). Basit Doğrusal Regresyonda Sağlam ve Theil Kestiricilerinin Karşılaştırılması. Tüik, İstatistik Araştırma Dergisi. Volume: 08. Number: 03. Category: 02. Page: 45-53. ISSN No: 1303-6319.
18. Yıldız N. Ve Topal M., (2001). Nonparametrik Regresyon Metodlarının İncelenmesi. Atatürk Üniversitesi, Ziraat Fakültesi Dergisi, 32(4), 429-435.
19. Zaman, T. and Alakuş, K. (2015). Some Robust Estimation Methods and Their Applications. The Journal of Operations Research, Statistics, Econometrics and Management Information Systems. Alphhanumeric Journal. Volume 3, Issue 2.