Konum parametrelerinin bootstrap tahminleri ile ilişkili varyasyona ampirik bir bakış

Abstract

Bootstrap bir istatistiğin standart hatasını ve yanlılığını tahmin etmek üzere kullanılan bir tekniktir. Bootstrap tekniği; eldeki örneklemden yeniden örnekleme ile üretilen bootstrap dağılımının, istatistiğin örneklem dağılımını temsil edeceği ana fikri üzerine kuruludur. Buna karşın; bootstrap uygulanırken örneklem büyüklüğünün ve bootstrap yineleme sayısının bootstrap tahminlerinin doğruluğuna olan etkisi genelikle dikkate alınmamakta ve ihmal edilmektedir. Her ne kadar literatürde bu konuyu ele alan sınırlı sayıda çalışma olsa da, bu çalışmalarda elde edilen sonuçlar örneklemin alındığı ana kütle dağılımına bağımlı olarak ifade edilmektedir. Bu makalede, örneklem büyüklüğü ve bootstrap yineleme sayısı ile konum parametrelerinin bootstrap tahminlerinin standart hataları arasındaki ilişkiyi farklı ana kütle dağılımları için inceleyen ampirik bir çalışmanın sonuçları sunulmaktadır. Bu maksatla öncelikle farklı sürekli ve kesikli dağılımlardan çekilmiş farklı büyüklüğe sahip örneklemlere uygulanan bootstrap işlemi sonrası bootstrap dağılımının örneklem dağılımını ne oranda temsil ettiği incelenmektedir. Uygulama sonucunda, bootstrap tahminlerinin doğruluğuna örneklem büyüklüğünün bootstrap yineleme sayısına göre daha fazla etki ettiği görülmüştür. Ayrıca, medyana ilişkin bootstrap dağılımlarının özellikle küçük örneklemler için örnekleme dağılımını temsil etmede oldukça yetersiz olduğu tespit edilmiştir. En son olarak da bootstrap tahminleri standart hataları ile örneklem büyüklüğü ve bootstrap yineleme sayısı arasındaki ilişkinin ana kütle dağılımından bağımsız olarak tahmin edilebilmesi için jackknife-sonrası-bootstrap tekniği ve regresyon modeli tabanlı bir yöntem önerilmektedir.

Keywords

• Bootstrap,Bootstrap yinelemesi,Jackknife-sonrası-bootstrap,Örnekleme değişkenliği,Yeniden örnekleme değişkenliği

An empirical look at the variation associated with bootstrap estimates of location parameters

Abstract

Bootstrap is a technique for estimating standard error and bias of the statistic of interest. The idea behind the bootstrap technique is that bootstrap distribution generated by resampling from the sample at hand mimics the sampling distribution of the statistic. Nevertheless, the effect of sample size and number of bootstrap replications on the accuracy of bootstrap predictions is rarely considered and ignored while applying bootstrap. Although there exist limited studies on this matter in the literature, results obtained in these studies are expressed based on the population distribution. In this paper, we provide results of an empirical study that examines the relationship between sample size and number of bootstrap replications and standard errors of bootstrap estimates of location parameters for different population distributions. To that end, we focus on the representativeness of bootstrap distribution to sampling distribution for different continuous and discrete population distributions and different sample sizes, firstly. According to application results, we observe that sample size has more impact on accuracies of bootstrap estimates as regards to number of bootstrap replications. Additionally, we confirm that bootstrap distributions of median based on small sample sizes are inadequate for representing sampling distribution. Lastly, in order to model relationship between standard errors of bootstrap estimates and sample size and number of bootstrap estimations independently of population distribution, we propose a methodology based on jackknife-after-bootstrap technique and regression modeling.

Keywords

• Bootstrap,Bootstrap repetitions,Jackknife-after-bootstrap,Sampling variability,Resampling variability

References

1. Efron B. “Bootstrap methods: another look at the jackknife”. The Annals of Statistics, 7(1), 1-26, 1979.
2. Efron B, Tibshirani RJ. “Bootstrap methods for standard errors, confidence intervals, and other measures of statistical measures of statistical accuracy”. Statistical Science, 1(1), 54-75, 1986.
3. Efron B. “Better bootstrap confidence intervals”. Journal of the American Statistical Association, 82(397), 171-185, 1987.
4. DiCiccio TJ, Efron B. “Bootstrap confidence intervals”. Statistical Science, 11(3), 189-212, 1996.
5. Pawitan Y. “Computing empirical likelihood from the bootstrap”. Statistics & Probability Letters, 47(4), 337-345, 2000.
6. Hall P. “Theoretical comparison of bootstrap confidence intervals”. The Annals of Statistics, 16(3), 927-953, 1988.
7. Hall P. The Bootstrap and Edgeworth Expansion. New York, USA, Springer-Verlag, 1992.
8. Hesterberg T, Monaghan S, Moore DS, Clipson A, Epstein R. Bootstrap Methods and Permutation Tests. Editors: Moore D, McCabe GP, Duckworth WM, Sclove SL. The Practice of Business Statistics, 18.1-18.78, New York, USA, Freeman, 2003.

9. Lo AY. "A Bayesian bootstrap for a finite population". The Annals of Statistics, 16(4), 1684-1695, 1988.
10. Booth JG, Butler RW, Hall P. "Bootstrap methods for finite populations". Journal of the American Statistical Association, 89(428), 1282-1289, 1994.
11. Shao J. "Impact of the bootstrap on sample surveys". Statistical Science, 18(2), 191-198, 2003.
12. Aitkin M. "Applications of the Bayesian bootstrap in finite population inference". Journal of Official Statistics, 24(1), 21-51, 2008.
13. Antal E, Yves T. "A direct bootstrap method for complex sampling designs from a finite population". Journal of the American Statistical Association, 106(494), 534-543, 2011.
14. Efron B. “Jackknife-after-bootstrap standard errors and influence functions”. Journal of the Royal Statistical Society, 54(1), 83-127, 1992.
15. Hill RC, Cartwright PA, Arbaugh JF. “Jackknifing the bootstrap: some monte carlo evidence”. Communications in Statistics-Simulation and Computation, 26(1), 125-139, 1997.
16. Andrews DW, Buchinsky M. “A three‐step method for choosing the number of bootstrap repetitions”. Econometrica, 68(1), 23-51, 2000.
17. Davidson R, MacKinnon JG. “Bootstrap tests: How many bootstraps?”. Econometric Reviews, 19(1), 55-68, 2000.
18. Lunneborg CE. Data Analysis by Resampling: Concepts and Applications. Pacific Groove, California, USA, Brooks/Cole, 2000.
19. Pattengale ND, Alipour M, Bininda-Emonds OR, Moret BM, Stamatakis A. “How many bootstrap replicates are necessary?”. Journal of Computational Biology, 17(3), 337-354, 2010.
20. Chernick MR. Bootstrap Methods: A Guide For Practitioners and Researchers. New Jersey, USA, Wiley, 2008.
21. Efron B, Tibshirani RJ. An Introduction to the Bootstrap. New York, USA, Chapman and Hall, 1993.
22. Martinez WL, Martinez AR. Computational Statistics Handbook with MATLAB. 2nd ed. New York, USA, Chapman and Hall/CRC, 2007.
23. Jentsch C, Leucht A. “Bootstrapping sample quantiles of discrete data”. Annals of Institute of Statistical Mathematics, 68(3), 491-539, 2016.