GIBBS SAMPLING APPROACH TO VARIABLE SELECTION IN LINEAR REGRESSION WITH OUTLIER VALUES

Abstract

In this study, Gibbs sampling has been applied to the variable selection in the linear regression model with outlier values. Gibbs sampling has been compared with classical variable selection criteria by using dummy data with different β and priors.

Keywords

• prior distribution
• Gibbs sampling
• Markov Chain Monte Carlo
• outlier values
• entropy
• Bayesian variable selection

AYKIRI DEĞER VARLIĞINDA DOĞRUSAL REGRESYONDA DEĞİŞKEN SEÇİMİNE GİBBS ÖRNEKLEMESİ YAKLAŞIMI

Abstract

Bu çalışmada, aykırı değerlerin olduğu doğrusal regresyon modelinde değişken seçimine, Gibbs örneklemesi yaklaşımı uygulanmıştır. Klasik değişken seçimi ölçütleri ile Gibbs örneklemesi yaklaşımı, değişik β ve önsel yapıları için yapay veriler üzerinden karşılaştırılmıştır.

Keywords

• Bayesci değişken seçimi
• önsel dağılım
• Gibbs örneklemesi
• Markov Chain Monte Carlo
• aykırı değer
• entropi

References

1. Carlin, B.P. and Chib, S., “Bayesian model choice via markov chain monte carlo methods”, J.R. Statist. Soc., B, 57, No. 3: 473-484 (1995).
2. Cavanaugh, J.E., “Unifying the derivations for the Akaike and corrected Akaike information criteria”, Statistics and Probability Letters, Vol 33, 201-208 (1997).
3. Draper, N. and Smith, H., Applied Regression Analysis, John Wiley, (1981).
4. Foster, D.P., and George, E.I., “The risk inflation criterion for multiple regression”, The Annals of Statistics, Vol. 22, No. 4: 1947-1975 (1995).
5. Gamerman, D., Markov Chain Monte Carlo: Stochastic Simulation for Bayesian Inference, Chapman and Hall, London, (1997).
6. George, E.I. and McCulloch, R.E., “Approaches for Bayesian variable selection”, Statistica Sinica, 7, 339-373 (1997).
7. Gray, R.M., Entropy and Information Theory, Springer Verlag, New York, (1990).
8. Kuo, L. and Mallick, B., “Variable selection for regression models”, Sankhya, B, 60, 65-81 (1998).

9. Miller, A.J., “Selection of subsets of regression variables”, J.R. Statist. Soc., A 147, part 3: 389-425 (1984).
10. Toutenburg, H., Prior Information in Linear Models, John Wiley Inc., (1982).
11. Shannon, C.E, “A mathematical theory of communication”, Bell System Tech. J., 27, 379-423, 623-656, (1948).
12. Wasserman, L., “Bayesian model selection”, Symposium on Methods for Model Selection, Indiana Uni., Bloomington (1997).
13. Yardımcı, A., “Doğrusal regresyonda değişken seçimine Bayes yaklaşımlarının karşılaştırılması”, Doktora Tezi, Hacettepe Üniversitesi Fen Bilimleri Enstitüsü, Ankara, (2000).
14. Yardımcı, A. ve Erar, A., “Doğrusal regresyonda Bayesci değişken seçimi ve BARVAS yazılımı”, 2. İstatistik Kongresi, Antalya, (2001).
15. Yardımcı, A and Erar, A., “Bayesian variable selection in linear regression an a comparison”, Hacettepe Journal of Mathematics and Statistics, 31, 63-76 (2002).
16. EK-1: k=5 için olası altkümeler listesi
17. Appendix 1: List of subsets for k=5 Altküme No Subset No Variables /Subset No Variables 1 x1 2 x1, x2 3 17 x1, x4, x5 18 19 20 21 22 23 24 25 26 27 28 29 30 31 x5 15 16 x, x