Tukey M Dayanıklı Regresyon Yönteminin Çoklu Doğrusal Bağlantıya Karşı Zafiyeti

Year 2023, Volume: 27 Issue: 1, 84 - 89, 25.04.2023

Filiz Karadağ , Hakan Savaş Sazak

https://doi.org/10.19113/sdufenbed.1141519

Abstract

Bu çalışmada, Tukey M dayanıklı regresyon metodunun, çoklu doğrusal bağlantı problemine sahip veri setleri için bir çözüm sunup sunmadığı araştırılmıştır. Çalışmada açıklayıcı değişkenler arasında çoklu doğrusal bağlantı göstergesi olan yüksek VIF (varyans şişirme faktörü) değerlerinin, artık değerler üstünden çalışan dayanıklı metotlarla kontrol edilemediği gözlenmiştir. Bunun sebebi çoklu doğrusal bağlantının ve bunun sonucu olan yüksek VIF değerlerinin ekstrem artık değerler üretmiyor olmasıdır. Dolayısıyla dayanıklı metotlar yüksek VIF problemine bir çözüm sunamamaktadır. Bu durum kapsamlı bir simülasyon çalışması ile gösterilmiştir. Simülasyon çalışmasında üç farklı korelasyon değeri için üç değişkenli normal dağılıma sahip açıklayıcı değişkenler üretilmiştir. Çalışmada ayrıca iki gerçek hayat veri örneği kullanılmış ve sonuçların simülasyon bulgularını desteklendiği görülmüştür. Tüm bu sebeplerden dolayı çoklu doğrusal bağlantı durumunda özel yöntemlerin kullanılması gerektiği sonucunu çıkarabiliriz.

Keywords

Koşul indeksi, Korelasyon, En küçük kareler, M tahmin edicileri, Varyans şişirme faktörü

Vulnerability of the Tukey M Robust Regression Method Against Multicollinearity

Abstract

In this study, we investigate whether the Tukey M robust regression method provides a solution for the data sets suffering from multicollinearity problem. It is observed that high values of variance inflation factors (VIF) which is a sign of the multiple linear link among the explanatory variables, cannot be controlled by the robust methods which work through the residual values. The reason for this fact is that multicollinearity and high values of VIF which is a result of multicollinearity do not produce extreme residuals. For this reason, the robust methods cannot provide a solution for the high VIF problem. This fact is shown by an extensive simulation study. In the simulation study, the explanatory variables were derived from trivariate normal distribution for three different correlation values. In this study, we also used two real-life data examples and we observed that the results support the findings of the simulation study. For all these reasons, we can conclude that specialized methods should be utilized in the case of multicollinearity.

Keywords

Condition index, Correlation, Least squares, M estimators, Variance inflation factors

References

• [1] Hocking, R.R., Pendleton, O.J. 1983. The regression dilemma. Commun. Stat. Theory Methods, 12(5), 497-527.
• [2] Mansfield, E.R., Helms, B.P. 1982. Detecting multicollinearity. Am. Stat., 36, 158-160.
• [3] Kutner, M.H., Nachtsheim, C.J., Neter, J., Li, W. 2004. Applied Linear Statistical Models, 5th edn. McGraw Hill, New York.
• [4] Chatterjee, S., Hadi, A.S. 2012. Regression Analysis by Example, 5th edn. John Wiley and Sons, New Jersey.
• [5] Marquaridt, D.W. 1970. Generalized inverses, ridge regression, biased linear estimation, and nonlinear estimation. Technometrics 12(3), 591-612.
• [6] Belsley, D.A., Klema, V.C. 1974. Detecting and assessing the problems caused by multicollinearity: A use of the singular-value decomposition. NBER Working Paper Series, 66.
• [7] Belsley, D.A., Kuh, E., Welsch, R.E. 1980. Regression Diagnostics: Identifying Influential Data and Sources of Collinearity. John Wiley and Sons, New York.
• [8] Montgomery, D.C., Askin, R.G. 1981. Problems of nonnormality and multicollinearity for forecasting methods based on least squares. AIIE Trans. 13(2), 102-115.
• [9] Hoerl, A.E., Kennard, R.W. 1970. Ridge regression. Biased estimation for nonorthogonal problems. Technometrics. 12(1), 55-67.
• [10] Holland, P.W. 1973. Weighted Ridge Regression: Combining Ridge and Robust Regression Methods. NBER Working Paper Series. 11.
• [11] Askin, R.G., Montgomery, D.C. 1980. Augmented Robust Estimators. Technometrics. 22, 333-341.
• [12] Yu, C., Yao, W. 2017. Robust linear regression: A review and comparison. Communications in Statistics - Simulation and Computation. 46(8), 6261-6282.
• [13] Huber, P.J. 1964. Robust estimation of a location parameter. Ann. Math. Stat. 35, 73-101.
• [14] Elsaid, H., Fried, R. 2015. Tukey’s M-estimator of the Poisson parameter with a special focus on small means. Stat. Methods Appl. 25, 191–209.
• [15] Becker, R. A., Chambers, J. M., Wilks, A. R. 1988. The New S Language. Wadsworth & Brooks/Cole.