Comparison of Diagnostic Methods for Detecting Influential Sets in Multiple Linear Regression

Abstract

In regression, an influential observation and influential sets would cause noticeable differentiations on fitted values. Since these differentiations decrease explicability of model, detecting the influential observation or the influential sets in data is important for efficiency of regression analysis. In this study COVRATIO, Cook Distance statistics and graphical technique used for detecting influential sets are examined. These methods are compared with regard to ratios of detecting influential set in data which includes two influential observations.

Keywords

• Influential observation
• Simulation
• Diagnostics

Çoklu Doğrusal Regresyonda Etkili Gözlem Gruplarının Saptanması için Kullanılan Tanı Yöntemlerinin Karşılaştırılması

Abstract

Regresyonda etkili gözlem ve gözlem grupları, tahmin değerlerinde önemli derecede farklılaşmalara neden olabilir. Bu farklılaşmalar modelin açıklanabilirliğini azalttığı için veri kümesindeki etkili gözlem veya gözlem gruplarının saptanması regresyon analizinin verimliliği açısından önemlidir. Bu çalışmada etkili gözlem gruplarının saptanması için kullanılan COVRATIO, Cook Uzaklığı istatistikleri ve grafik yöntemi incelenmiştir. Bu yöntemler, iki gözlemden oluşan etkili bir gözlem grubu içeren veri kümesinde bu gözlem grubunu etkili olarak saptama oranı bakımından karşılaştırılmıştır.

Keywords

• Etkili gözlem
• Simülasyon
• Tanı istatistikleri

References

1. Altunkaynak, B., Ekni, M., 2002. Detection of influential observation vectors for Multivariate linear regression. Hacettepe Journal of Mathematics and Statistics, 31: 139-151.
2. Altunkaynak, B., 2003. Doğrusal sınırlamalar ve izdüşüm teorisi yardımıyla çoklu doğrusal regresyonda etkili gözlemlerin tespiti. Gazi Üniversitesi Fen Bilimleri Dergisi, 16(3): 457-466.
3. Andrews, D. F., Pregibon, D., 1976. Finding outliers that matter. J. Roy. Statist. Soc., Ser. B. 40: 85-93.
4. Belsley, D. A., Kuh, E., Welsch, R.E., 1980. Regression diagnostics: Identifying influential data and sources of collinearity. Wiley Series in Probability and Mathematical Statistics, New York, 6-84.
5. Chatterjee, S., Hadi, A. S., 1986. Influential observations, high leverage points and outliers in linear regression. Statistical Science, 1(3): 379-416.
6. Cook, R. D., 1977a. Detection of influential observations in linear regression. Technometrics, 19 (1): 15-18.
7. Cook, R. D., Weisberg, S., 1982. Residuals and influence in regression. Chapman and Hall, New York, 10-20, 101-156.
8. David, H. A., 1981, Order statistics, 2nd Edn. Wiley, New York, 110-150.

9. Hadi, A. S., Simonoff, J. S., 1993. Procedures for the identification of multiple outliers in linear models. Journal of the American Statistical Association, 88(424): 1264-1272 .
10. Hoaglin, D. C., Welsch, R. E., 1978. The hat matrix in regression and ANOVA. The American Statistician, 32 (1): 17-22.
11. Lawrance, A. J., 1995. Deletion influence and masking in regression. Journal of the Royal Statistical Society Series B (Methodological), 57(1): 181-189.
12. Li, B., Martin, E. B., Morris, A.J., 2001. A graphical technique for detecting influential cases in regression analysis. Communications in Statistics – Theory and Methods, 30(3): 463-483.
13. Margolin, B. H., 1977. The distribution of internally studentized statistics via laplace transform inversion. Biometrica, 64: 573-582.
14. Montgomery, D. C., Peck, E.A., Vining, G.G., 2001. Introduction to linear regression analysis. Wiley Series in Probability and Mathematical Statistics, New York, 207-219.