Year 2017, Volume 17 , Issue 68, Pages 1 - 18 2017-03-20

Applying Bootstrap Resampling to Compute Confidence Intervals for Various Statistics with R
Bootstrap Örnekleme Yönteminin Çeşitli İstatistikler için Güven Aralığının Hesaplanmasında R Yazılımı ile Kullanımı

C. Deha DOGAN [1]


Background: Most of the studies in academic journals use p values to represent statistical significance. However, this is not a good indicator of practical significance. Although confidence intervals provide information about the precision of point estimation, they are, unfortunately, rarely used. The infrequent use of confidence intervals might be due to estimation difficulties for some statistics. The bootstrap method enables researchers to calculate confidence intervals for any statistics. Bootstrap resampling is an effective method of computing confidence intervals for nearly any estimate, but it is not very commonly used. This may be because this method is not well known or people may think that it is complex to calculate. On the other hand, researchers may not be familiar with R and be unable to write proper codes.

Purpose:  The purpose of this study is to present the steps in the bootstrap resampling method to calculate confidence intervals using R. It is aimed toward guiding graduate students and researchers who wish to implement this method. Computations of bootstrapped confidence interval for mean, median and Cronbach’s alpha coefficients were explained with the R syntax step-by-step. Moreover, traditional and bootstrapped confidence intervals and bootstrapped methods were compared in order to guide researchers. Main Argument and Conclusions: With the help of statistical software today it is easy to compute confidence intervals for almost any statistics of interest. In this study R syntax were used as an example so that beginners can use R to compute confidence intervals. Results showed that traditional and bootstrapped confidence intervals have very similar results for normally distributed data sets. Moreover different bootstrapped methods produce different results with skewed data sets. This is because bias corrected and accelerated interval methods are suggested for use with skewed data sets.  Implications for Research and Practice: R codes presented in this study guide researchers and graduate students while computing bootstrap confidence intervals. Furthermore findings about the comparison of bootstrap methods help researchers choose the most appropriate bootstrap methods. Results and the main argument of this study may encourage researchers to compute bootstrap confidence intervals in their studies.


Çalışmanın Temeli: Yokluk hipotezine dayalı istatistiksel testler istatistiksel manidarlığı belirlemek için p değerini kullanır. Akademik dergilerde en çok rapor edilen istatistik olan p değeri pratik manidarlık anlamında önemli sınırlılıklara sahiptir. Güven aralığının p değerine kıyasla daha fazla bilgi sağladığı belirtilebilir. Etki büyüklüğü, güven aralığı ve etki büyüklüğüne ilişkin güven aralığı pratik manidarlığın göstergeleri olarak görülür. Pek çok akademik dergi editörü güven aralığı hesaplarının makalelerde rapor edilmesi gerektiğini vurgulamaktadır. Aynı şekilde APA 2001 raporunda güven aralığı ve etki büyüklüğünün raporlanmasının önemi vurgulanmıştır. Ancak tüm bunlara rağmen akademik makalelerde güven aralığının raporlanma oranı çok düşüktür.  Bunun bir nedeni araştırmacıların çok yaygın rapor edilen p değerinden daha farklı bir istatistiği rapor etme konusundaki çekinceleri olabilir. Bu durum araştırmacıların hatalı da olsa grubun büyük çoğunluğuna uyum sağlama davranışı sergilemelerine ve bu sayede makalenin kabul edilme olasılığına artırmak istemelerine dayalı olabilir. Bir diğer neden ise bazı istatistikler için güven aralığının hesaplanmasının pratik veya mümkün olmamasıdır. Bootstrap örnekleme yöntemi güven aralığı hesaplama sürecinde kullanılabilecek güçlü bir istatistiksel yaklaşımdır. Temel amaç evrenden seçilen bir örneklem üzerinden yerine koyarak örnekleme yöntemi ile yeni örneklemler oluşturmaya dayanır. Elde edilen yeni örneklemlere ilişkin istatistikler hesaplanarak standart hata ve güven aralığı kestirimi yapılabilir. Bu sayede geleneksel olarak standart hata ve güven aralığı tahmini yapılamayan pek çok istatistik için güven aralığının hesaplanmasına olanak tanır. Yerine koyarak örnekleme yöntemi kullanıldığı için orijinal örneklemden daha fazla gözlem sayısını içeren örneklemler oluşturulabilir. Temelleri 1979 yılında atılan bootstrap analizinin kullanımı bilgisayar yazılımlarının gelişimi ile yaygınlık kazanmıştır. Yazılımların da yardımı ile pratik bir şekilde hesaplanabilecek bu yöntem maalesef çok nadir kullanılmakta ve araştırma makalelerinde rapor edilmemektedir. Bu durumun temel nedeni bootstrap yönteminin ve bu süreçte R yazılımının nasıl kullanılacağının yeteri kadar bilinmemesi yatabilir. Alan yazına bakıldığında bootstrap yönteminin R kodları ile açıklandığı çalışmaların sınırlı olduğu belirlenmiştir.

Çalışmanın Amacı: Bu çalışmada bootstrap örnekleme yöntemine dayalı olarak yaygın kullanılan bazı istatistikler için güven aralığı hesaplama sürecinin R kodları ile açıklanması amaçlanmıştır.  Çalışmada öncelikli olarak bootstrap örnekleme yöntemine ilişkin kuramsal bilgiler verilmiş ve kullanılabilecek farklı bootstrap yöntemlerine ilişkin açıklamalar yapılmıştır. Akabinde sosyal bilimlerde yaygın olarak kullanılan aritmetik ortalama, ortanca ve Cronbach Alfa içtutarlık katsayısına ilişkin bootstrap güven aralığı hesaplama süreci örneklendirilmiştir. İlk olarak R kodları kullanılarak aritmetik ortalama için geleneksel güven aralıkları ve “boot” paketinden faydalanarak bootstrap güven aralıkları hesaplanmış ve sonuçlar karşılaştırılmıştır. Daha sonra normal ve çarpık olan iki dağılım üzerinden ortanca için bootstrap güven aralıkları hesaplanmış ve farklı bootstrap yöntemleri bu bağlamda karşılaştırılmıştır. Son olarak Cronbach Alfa içtutarlık katsayısına ilişkin bootstrap güven aralıkları hesaplanmış ve örneklendirilmiştir.

Kaynak Kanıtları: Çalışma sürecinde geleneksel güven aralığı hesaplama sürecine ilişkin R kodları sunulmuştur. Ayrıca “boot” paketinden faydalanılmış  ve bu paket içerisinde yer alan “boot” ve “boot.ci” fonksiyonları açıklanmıştır. Bu paket içerisinde yer alan “boot” ve “boot.ci” fonksiyonları güven aralığı için hesaplanacak her istatistik için yeni kodların yazımını gerektirmektedir. Bu kodlar da araştırma içerisinde sunulmuş ve nasıl kullanılacağına yönelik açıklamalarda bulunulmuştur. Çalışmanın özet bölümün sayfa sınırlılığı nedeni ile orijinal İngilizce metninde sunulan R kodları ve fonksiyonlar burada verilmemiştir. Ancak tartışma ve sonuçlar bölümünde öne çıkan bulgular ve ilgili yöntemin kullanımına ilişkin önemli açıklamalar sunulmuştur.

Tartışma ve Sonuçlar: Bootstrap örnekleme yöntemi uygulama ve yorumlama açısından oldukça pratiktir. R programlama diline ilişkin temel düzeyde bilgiler ile bootstrap örnekleme yöntemi kolaylıkla gerçekleştirilebilir.  Çalışma kapsamında gerçekleştirilen karşılaştırmada aritmetik ortalama için geleneksel ve bootstrap yöntemi ile kestirilen güven aralıklarının birbirine çok yakın olduğu gözlenmiştir. Ancak bu durumun normal dağılıma sahip veri setleri için böyle olduğu belirtilebilir. Bunun yanı sıra çarpık ve normal dağılıma sahip veri setleri üzerinden ortanca için kestirilen bootstrap güven aralıklarının farklı yöntemlere göre değiştiği görülmüştür (Normal aralık, yüzdelikli aralık, temel aralık ve yanlılık düzeltmeli aralık). Çarpık dağılımlar için “yanlılık düzeltmeli aralık” yönteminin daha doğru sonuç verdiği alan yazında vurgulanmıştır. Ölçek geliştirme sürecinde kullanılan gerçek veri seti üzerinde Cronbach Alfa içtutarlık katsayısı ve madde toplam korelasyonları için hesaplanan bootstrap güven aralıklarının ise oldukça geniş olduğu gözlenmiştir. Bu bağlamda ölçek uyarlama ve geliştirme sürecinde bootstrap güven aralıklarının hesaplanmasının araştırmacılara önemli boyutta yol göstereceği ve daha nitelikli araçların geliştirilmesine katkı sağlayacağı belirtilebilir. Bootstrap örnekleme yönteminin uygulaması pratik olmakla beraber önemli kuramsal temellere dayandığı belirtilebilir. Bu bağlamda ilgili okuyucuların İngilizce tam metinde önerilen kaynaklara ulaşmaları önerilir. Bu çalışmanın araştırmacılara bootstrap örnekleme yöntemini kullanma sürecinde yol göstermesi ve  araştırmacıları güven aralıklarını rapor etmeleri konusunda teşvik etmesi beklenmektedir

Confidence Interval P value Bootstrapped resampling Methods of bootstrapping R software
  • Angelo Canty and Brian Ripley (2016). boot: Bootstrap R (S-Plus) Functions. R package version 1.3-18
  • American Psychological Association. (2001). Publication manual of the American Psychological Association, 5th Edition. Washington, D.C.: American Psychological Association.
  • Banjanovic, Erin S., and Osborne, Jason W. (2016). Confidence Intervals for Effect Sizes: Applying Bootstrap Resampling. Practical Assessment, Research & Evaluation, 21(5).
  • Carpenter, J. and Bithell, J. (2000), Bootstrap confidence intervals: when, which, what? A practical guide for medical statisticians. Statistics in Medicine, 19: 1141–1164.
  • Cooper RJ, Wears RL, Schriger DL (2003) Reporting research results: recommendations for improving communication. Ann Emerg Med. 41:561–4.
  • Chernick, M. R., & Labudde, R. A. (2011). An introduction to bootstrap methods with applications to R. A john Wiley & Sons, Inc. New Jersey.
  • Davison, A. C., & Hinkley, D. V. (1997). Bootstrap methods and their application. Cambridge, United Kingdom: Cambridge University Press.
  • DiCiccio, T. J., & Efron, B. (1996). Bootstrap confidence intervals. Statistical science. A Review Journal Of The Institute Of Mathematical Statistics., 11(3), 189-212.
  • Efron, B. (1988). Computer intensive methods in statistical regression. Slam Review. 30 421-449
  • Haukoos, J. S., Roger, Lewis, R. J. (2005). Advanced statistics: Bootstrapped confidence interval for statistics with “difficult” distributions. Academic Emergency Medicine 12(4), 360-354.
  • James, G., Witten, D., Hastie, T., & Tibshirani, R. (2014). An introduction to statistical learning: with applications in R. Springer, New York. USA
  • M. Marshall, A. Lockwood, C. Bradley, C. Adams, C. Joy, and M. Fenton. (2000). Unpublished rating scales: a major source of bias in randomized controlled trials of treatments for schizophrenia. The British Journal of Psychiatry 176 ( 3 ) 249–252.
  • Reinhart, A., (2015). Statistics done wrong. The woefully complete guide. No Stretch Press. San Francisco, USA.
  • Tavakol, M., Dennick, R. (2011). Making sense of Cronbach’s alpha. International Journal of Medical Education. 2:53-55.
  • John T. Willse (2014). CTT: Classical Test Theory Functions. R package version 2.1. https://CRAN.R-project.org/package=CTT
  • Zar JH. (1999). Biostatistical analysis.4th edition. Englewood Cliffs, NJ: Prentice Hall
Primary Language en
Journal Section Articles
Authors

Author: C. Deha DOGAN

Dates

Publication Date : March 20, 2017

Bibtex @research article { ejer511268, journal = {Eurasian Journal of Educational Research}, issn = {1302-597X}, eissn = {2528-8911}, address = {}, publisher = {Anı Yayıncılık Eğitim ve Danışmanlık Ltd. Şti.}, year = {2017}, volume = {17}, pages = {1 - 18}, doi = {}, title = {Applying Bootstrap Resampling to Compute Confidence Intervals for Various Statistics with R}, key = {cite}, author = {Dogan, C. Deha} }
APA Dogan, C . (2017). Applying Bootstrap Resampling to Compute Confidence Intervals for Various Statistics with R . Eurasian Journal of Educational Research , 17 (68) , 1-18 . Retrieved from https://dergipark.org.tr/en/pub/ejer/issue/42457/511268
MLA Dogan, C . "Applying Bootstrap Resampling to Compute Confidence Intervals for Various Statistics with R" . Eurasian Journal of Educational Research 17 (2017 ): 1-18 <https://dergipark.org.tr/en/pub/ejer/issue/42457/511268>
Chicago Dogan, C . "Applying Bootstrap Resampling to Compute Confidence Intervals for Various Statistics with R". Eurasian Journal of Educational Research 17 (2017 ): 1-18
RIS TY - JOUR T1 - Applying Bootstrap Resampling to Compute Confidence Intervals for Various Statistics with R AU - C. Deha Dogan Y1 - 2017 PY - 2017 N1 - DO - T2 - Eurasian Journal of Educational Research JF - Journal JO - JOR SP - 1 EP - 18 VL - 17 IS - 68 SN - 1302-597X-2528-8911 M3 - UR - Y2 - 2021 ER -
EndNote %0 Eurasian Journal of Educational Research Applying Bootstrap Resampling to Compute Confidence Intervals for Various Statistics with R %A C. Deha Dogan %T Applying Bootstrap Resampling to Compute Confidence Intervals for Various Statistics with R %D 2017 %J Eurasian Journal of Educational Research %P 1302-597X-2528-8911 %V 17 %N 68 %R %U
ISNAD Dogan, C. Deha . "Applying Bootstrap Resampling to Compute Confidence Intervals for Various Statistics with R". Eurasian Journal of Educational Research 17 / 68 (March 2017): 1-18 .
AMA Dogan C . Applying Bootstrap Resampling to Compute Confidence Intervals for Various Statistics with R. Eurasian Journal of Educational Research. 2017; 17(68): 1-18.
Vancouver Dogan C . Applying Bootstrap Resampling to Compute Confidence Intervals for Various Statistics with R. Eurasian Journal of Educational Research. 2017; 17(68): 1-18.
IEEE C. Dogan , "Applying Bootstrap Resampling to Compute Confidence Intervals for Various Statistics with R", Eurasian Journal of Educational Research, vol. 17, no. 68, pp. 1-18, Mar. 2017