Bayesian Approach to Parameter Estimation in Regression Models

Year 2021, Volume: 11 Issue: 2, 439 - 462, 15.12.2021

Samet Kaya , Esin Köksal Babacan

https://doi.org/10.31466/kfbd.910703

Cited By: 1

Abstract

Regression analysis is a statistical method used to model and analyze the relationship between variables. The main objective of regression analysis is to estimate unknown parameters in the regression model. In classical statistics, the least-squares estimation method is used to estimate these unknown parameters. On the other hand, in Bayesian statistics, parameters are considered as random variables and they have their distribution. By using this distribution information and sample information, the posterior distribution of the parameters is obtained. Any results related to the parameter are made by using this posterior distribution. This study aims to compare the estimation results which are obtained by classical regression and Bayesian regression. For this purpose, first, the data are obtained for the considering model by the simulation and the results of both methods are compared. Then, a similar comparison is made for the real dataset given in the literature. The Matlab program is used for the simulations and the Winbugs program is used for Bayesian regression results.

Keywords

MCMC, Bayesian Approach, Regression Analysis, Winbugs

Bayesci Yaklaşım ile Regresyon Modellerinde Parametre Tahmini

Abstract

Regresyon analizi, aralarında sebep- sonuç ilişkisi bulunan iki veya daha fazla değişken arasındaki ilişkiyi modellemek ve incelemek için kullanılan istatistiksel bir yöntemdir. Klasik istatistikte, bilinmeyen parametreler sabit birer değer olarak alınırken Bayesci istatistikte birer rasgele değişken olarak göz önüne alınır ve bunların da kendilerine ait dağılımları olduğu varsayımı kullanılır. Önsel dağılım olarak adlandırılan bu dağılım bilgisi ve örneklem bilgisi kullanılarak parametrelere ilişkin sonsal dağılım elde edilir. Parametre ile ilgili her türlü sonuç çıkarımı bu sonsal dağılım kullanılarak yapılır. Bu çalışmada ilk olarak alınan bir model için simülasyonla veriler üretilmiş ve üretilen bu veriler kullanılarak model parametreleri klasik regresyon ve Bayesci regresyon kullanılarak tahmin edilmiş ve her iki yöntemin sonuçları karşılaştırılmıştır. Daha sonra literatürde verilen teslim süresi verileri için benzer karşılaştırma işlemi yapılmıştır. Yapılan karşılaştırma sonucunda her iki yöntemle elde edilen tahminlerin benzer olduğu sonucuna ulaşılmıştır. Simülasyonlar için Matlab programı ve Bayesci regresyon sonuçları için Winbugs programı kullanılmıştır.

Keywords

MCMC, Bayesci çıkarım, Regresyon analizi, Winbugs

References

• Albert, J., H., Chib, S. (1993). Bayesian Analysis of Binary and Polychotomous Response Data, Journal of the American Statistical Association, Vol. 88, No. 422, pp. 669- 679.
• Box, G., E., P., Tiao, G.,C. (1973). Bayesian Inference in Statistical Analysis, John Wiley And Sons, Inc.
• Congdon, P. (2004). Bayesian Statistical Modelling. John Wiley& Sons Inc., West Sussex.
• Ekici, O. (2005). Bayesyen Regresyon ve WinBUGS ile Bir Uygulama, İstanbul Üniversitesi Sosyal Bilimler Enstitüsü, Yüksek lisans tezi, 115s, İstanbul.
• Erar, A., M. (2013). Doğrusal Regresyon Analizine Giriş. Nobel Yayıncılık, Ankara
• Gamerman, D., Lopes, H. F. (2006). Markov Chain Monte Carlo Stochastic Simulation for Bayesian Inference (Second Edition), London.
• Geman, S., Geman, D. (1984). Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images. IEEE Transactions On Pattern Analysis And Machine Intellegence, 721-741
• Gelman A., Carlin, J., B., Stern, H., S., Rubin, D., B. (2004). Bayesian Data Analysis. Chapman-Hall, Florida.
• Gilks, W., R., Richardson, S., Spiegelhalter, D. J. (1996). Markov Chain Monte Carlo in Practice, London.
• Heath, S., Snow, G., Thompson, E., Tseng, C., Wijsman, E. (1997). MCMC segregation and linkage analysis. Genet. Epidemiol., 14: 1011-1016. https://doi.org/10.1002/(SICI)1098-2272(1997)14:6<1011:AID-GEPI75> 3.0.CO;2-L
• Link ,W. A., Barker, R. J. (2010). Bayesian Inference With Ecological Applications, Academic Press, Boston, United States.
• Raiffa, H., Schlaifer, R. (1968). Applied Statistical Decision Theory, America, MIT Press.
• Steyvers, M. (2015). Advanced Matlab: Exploratory Data Analysis and Computational Statistics.
• Walsh, B. (2004). Markov Chain Monte Carlo and Gibbs Sampling. http://nitro.biosci.arizona.edu/courses/EEB519A-2007/pdfs/Gibbs.pdf
• Wundervald, B. (2019). Bayesian Linear Regression, Technical Report, June 2019, https://Brunaw.Com/Phd/Bayes-Regression/Report.pdf, doi: 10.13140/RG.2.2.28385.97121
• Zellner, A. (1971). An Introduction to Bayesian Inference in Econometrics. John Wiley & Sons, New York.