Tekrarlanabilirlik Krizi ve Geçerlilik Krizi Kıskacındaki Psikoloji ve Sosyal Bilimlerde Krizden Çıkış İçin Öne Çıkan İki Trend: “Yeni İstatistik” ve “Bayesyen İstatistik”

Yıl 2023, Cilt: 13 Sayı: 2, 599 - 624, 31.07.2023

Ergün Kara

https://doi.org/10.18039/ajesi.1240655

Öz

Başta psikolojinin ana aktörlerinden olduğu ve sosyal bilimlere sirayet eden tekrarlanabilirlik krizi ve p-değerinin sorgulanması son 10 yılda en çok tartışılan konulardan olmuştur. Son yapılan çalışmalar tekrar edilebilirlik krizinin sadece sosyal bilimler ile sınırlı kalmadığı temel bilimlerde etkili olduğunu göstermiştir. Bütün bunlara ek olarak yine psikoloji temelli başlayan teori ve geçerlilik krizi tartışmaları başlamıştır. Bütün bu tartışmalar genel olarak tüm bilim alanlarında özel olarak psikoloji ve sosyal bilimlerde yöntem, uygulanan istatistiksel analizler, örnekleme ve araştırma pratiklerinin değişimine yol açmıştır. Bu çalışma kapsamında kısaca tekrarlanabilirlik ve geçerlik krizlerine değinilecek ve krizden çıkış yolları kapsamında kullanılan istatistiksel yöntemler bağlamında önerilerde bulunulmuştur. Krizlerin sebeplerinden biri olarak gösterilen p-değerinin kötüye ve yanlış kullanımı öne çıkmaktadır. Bunun önüne geçebilmek için iki önemli yaklaşım önerilmektedir. Bunlardan ilki “yeni istatistik” (the New Statistics) olarak da adlandırılan ve klasik hipotez testinde etki büyüklüğü, güven aralığı ve meta-analizin belirsizlik tahminlemede kullanılmasına dayanan trenddir. İkincisi ise klasik istatistik yerine Bayesyen istatistiği öneren trenddir. Klasik istatistikten Bayesyen yöntemlere geçmek genel olarak büyük örneklem oluşturmanın zor olduğu, kategorik ve kayıp verinin yaygın olduğu ve çok değişkenli normalliği sağlamanın oldukça zor olduğu sosyal bilimlerde yararlı olacaktır. Bayesyen yaklaşım özellikle önsel bilgiyi kullanarak sonsal dağılımlar elde etmesi ve küçük örneklemde de daha doğru sonuçlar vermesinin etkisi ile bu krizin istatistik boyutuna büyük bir yenilik ve fayda getirecektir.

Anahtar Kelimeler

bayesyen istatistik, geçerlilik krizi, tekrarlanabilirlik krizi, geçerlilik krizi

Two Prominent Trends In Psychology and Social Sciences In The Grip Of The Reproducibility Crisis and Validity Crisis : “New Statistics” and “Bayesian Statistics ”

Öz

The reproducibility and P-value crises that started in social sciences, especially psychology, have left their mark in the last 10 years. In addition to all these, discussions of theory and validity crisis, which started from psychology but spread to social sciences, started. All these debates have imposed compulsory reform in the field of methods, applied statistical analysis, sampling and research practices in all fields of science in general and in social sciences. Within the scope of this study, the causes of these crises and the ways to get out of the crisis were discussed and suggestions were made. In this context, two historical transitions began to occur in data analysis in this short period of time. First, the use of effect size, confidence interval and meta-analysis in uncertainty estimation in classical hypothesis testing, this trend was named as “the New Statistics”. The second is the transition from classical statistics to Bayesian statistics. As a result, preferring open science, being transparent in research, utilizing the opportunities offered by new methods and statistics will contribute to the exit from this crisis and the production of healthier scientific knowledge. In social sciences, where it is difficult to create large samples, categorical and missing data are common, and difficult to meet assumption of multivariate normality. Bayesian approach, especially with the effect of obtaining posterior distributions by using a priori information and giving more accurate results in small samples, it will bring great innovation and benefit to the statistical dimension of the crisis.

Anahtar Kelimeler

Bayesian statistics, reproducibility crisis, the validation crisis, new statistics

Kaynakça

• Amrhein, V. ve Greenland, S. (2018). Remove, rather than redefine, statistical significance. Nature human behaviour, 2(1), 4-4. https://doi.org/10.1038/s41562-017-0224-0 . adresinden 28.3.2022 tarihinde erişilmiştir.
• Andrews, M., ve Baguley, T. (2013). Prior approval: The growth of Bayesian methods in psychology. British Journal of Mathematical and Statistical Psychology, 66(1), 1-7. https://doi.org/10.1111/bmsp.12004 adresinden 28.3.2022 tarihinde erişilmiştir.
• Baker, M. (2015). Over half of psychology studies fail reproducibility test. Nature News, 27. https://doi.org/10.1038/nature.2015.18248 adresinden 28.3.2022 tarihinde erişilmiştir.
• Baker, M. (2016). 1,500 scientists lift the lid on reproducibility. Nature, 533(7604). https://doi.org/10.1038/533452a 05.5.2023 tarihinde erişilmiştir.
• Bakker, M., van Dijk, A., & Wicherts, J. M. (2012). The rules of the game called psychological science. Perspectives on Psychological Science, 7, 543-554. https://doi.org/10.1177/1745691612459060 adresinden 28.3.2022 tarihinde erişilmiştir.
• Bayes, T. (1763). LII. An essay towards solving a problem in the doctrine of chances. By the late Rev. Mr. Bayes, FRS communicated by Mr. Price, in a letter to John Canton, AMFR S. Philosophical transactions of the Royal Society of London, (53), 370-418. https://doi.org/10.1098/rstl.1763.0053 adresinden 28.3.2022 tarihinde erişilmiştir.
• Benjamin, D. J., Berger, J. O., Johannesson, M., Nosek, B. A., Wagenmakers, E. J., Berk, R., ... ve Johnson, V. E. (2018). Redefine statistical significance. Nature human behaviour, 2(1), 6-10. https://doi.org/10.1038/s41562-017-0189-z adresinden 28.3.2022 tarihinde erişilmiştir.
• Benjamin, D. J., ve Berger, J. O. (2019). Three recommendations for improving the use of p-values. The American Statistician, 73(sup1), 186-191. https://doi.org/10.1080/00031305.2018.1543135 adresinden 28.3.2022 tarihinde erişilmiştir.
• Berger, J. O., & Sellke, T. (1987). Testing a point null hypothesis: The irreconcilability of p values and evidence. Journal of the American statistical Association, 82(397), 112-122. https://doi.org/10.1080/01621459.1987.10478397 05.5.2023 tarihinde erişilmiştir.
• Bertamini, M., & Munafò, M. R. (2012). Bite-size science and its undesired side effects. Perspectives on Psychological Science, 7(1), 67-71. https://doi.org/10.1177/1745691611429353 adresinden 28.3.2022 tarihinde erişilmiştir.
• Bird A. (2018). Understanding the replication crisis as a base rate fallacy. The British Journal for the Philosophy of Science. Advance Online Publication. New York. https://doi.org/10.1093/bjps/axy051 adresinden 28.3.2022 tarihinde erişilmiştir.
• Bryan, C. J., Tipton, E., ve Yeager, D. S. (2021). Behavioural science is unlikely to change the world without a heterogeneity revolution. Nature human behaviour, 5(8), 980-989. https://doi.org/10.1038/s41562-021-01143-3 adresinden 28.3.2022 tarihinde erişilmiştir.
• Chambers, C. D., Feredoes, E., Muthukumaraswamy, S. D., ve Etchells, P. (2014). Instead of" playing the game" it is time to change the rules: Registered Reports at AIMS Neuroscience and beyond. AIMS Neuroscience, 1(1), 4-17. https://doi.org/10.3934/neuroscience.2014.1.4 adresinden 28.3.2022 tarihinde erişilmiştir.
• Coleman, M., ve Briggs, A. R. (Eds.). (2002). Research methods in educational leadership and management. Sage. New York. http://dx.doi.org/10.4135/9781473957695 adresinden 25.3.2022 tarihinde erişilmiştir.
• Colling, L. J., ve Szűcs, D. (2021). Statistical inference and the replication crisis. Review of Philosophy and Psychology, 12(1), 121-147. http://dx.doi.org/10.1007/s13164-018-0421-4 adresinden 25.3.2022 tarihinde erişilmiştir.
• Cronbach, L. J., ve Meehl, P. E. (1955). Construct validity in psychological tests. Psychological bulletin, 52(4), 281. http://dx.doi.org/10.1037/h0040957 adresinden 25.3.2022 tarihinde erişilmiştir.
• Cumming, G. (2013). Understanding the new statistics: Effect sizes, confidence intervals, and meta-analysis. Routledge. New York. http://dx.doi.org/10.4324/9780203807002 adresinden 25.3.2017 tarihinde erişilmiştir.
• Cumming, G. (2014). The new statistics: Why and how. Psychological Science, 25(1), 7-29. http://dx.doi.org/10.1177/0956797613504966 adresinden 25.3.2022 tarihinde erişilmiştir.
• Dienes, Z. (2016). How Bayes factors change scientific practice. Journal of Mathematical Psychology, 72, 78-89. https://doi.org/10.1016/j.jmp.2015.10.003 05.5.2023 tarihinde erişilmiştir.
• Dienes, Z., ve Mclatchie, N. (2018). Four reasons to prefer Bayesian analyses over significance testing. Psychonomic bulletin ve review, 25(1), 207-218. http://dx.doi.org/10.3758/s13423-017-1266-z adresinden 25.3.2022 tarihinde erişilmiştir.
• Earp, B. D., ve Trafimow, D. (2015). Replication, falsification, and the crisis of confidence in social psychology. Frontiers in psychology, 6, 621. http://dx.doi.org/10.3389/fpsyg.2015.00621 adresinden 25.3.2022 tarihinde erişilmiştir.
• Ekici, O. (2009). İstatistikte Bayesyen ve Klasik yaklaşımın kavramsal farklılıkları. Balıkesir Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 12(21), 89-101. Retrieved from https://dergipark.org.tr/en/pub/baunsobed/issue/50238/647985 adresinden 25.3.2022 tarihinde erişilmiştir.
• Erkan, G. (2017). Klasik ve Bayesci Yapısal Eşitlik Modellerinde Parametre Tahminlerinin Karşılaştırılması: Sıralı Kategorik Verilerle Bir Uygulama. [Yüksek Lisans Tezi, Hacettepe Üniversitesi]. https://tez.yok.gov.tr/UlusalTezMerkezi/ adresinden 05.5.2023 tarihinde erişilmiştir.
• Errington, T. M., Iorns, E., Gunn, W., Tan, F. E., Lomax, J., ve Nosek, B. A. (2014). Science forum: An open investigation of the reproducibility of cancer biology research. Elife, 3, e04333. http://dx.doi.org/10.7554/elife.04333 adresinden 25.3.2022 tarihinde erişilmiştir.
• Etz A, Vandekerckhove J (2016) A Bayesian Perspective on the Reproducibility Project: Psychology. PLoS ONE 11(2): e0149794. https://doi.org/10.1371/journal.pone.0149794 05.5.2023 tarihinde erişilmiştir.
• Etz, A., ve Vandekerckhove, J. (2016). A Bayesian perspective on the reproducibility project: Psychology PloS one, 11(2), e0149794. http://dx.doi.org/10.1371/journal.pone.0149794 adresinden 25.3.2022 tarihinde erişilmiştir.
• Friese, M., & Frankenbach, J. (2020). p-Hacking and publication bias interact to distort meta-analytic effect size estimates. Psychological Methods, 25(4), 456. DOI: 10.1037/met0000246 16.5.2022 tarihinde erişilmiştir.
• Gelman, A., ve Carlin, J. (2014). Beyond power calculations: Assessing type S (sign) and type M (magnitude) errors. Perspectives on Psychological Science, 9(6), 641-651. http://dx.doi.org/10.1177/1745691614551642 16.5.2022 tarihinde erişilmiştir.
• Gibson, E. W. (2021). The role of p-values in judging the strength of evidence and realistic replication expectations. Statistics in Biopharmaceutical Research, 13(1), 6-18. http://dx.doi.org/10.1080/19466315.2020.1724560 16.5.2022 tarihinde erişilmiştir.
• Gurevitch, J., Koricheva, J., Nakagawa, S., & Stewart, G. (2018). Meta-analysis and the science of research synthesis. Nature, 555(7695), 175-182. https://doi.org/10.1038/nature25753 16.5.2022 tarihinde erişilmiştir.
• Hanel, P. H., ve Mehler, D. M. (2019). Beyond reporting statistical significance: Identifying informative effect sizes to improve scientific communication. Public understanding of science, 28(4), 468-485. http://dx.doi.org/10.1177/0963662519834193 16.5.2022 tarihinde erişilmiştir.
• Ioannidis, J. P. (2005). Why most published research findings are false. PLoS medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.1004085 05.5.2023 tarihinde erişilmiştir.
• Jackman, S. (2009). Bayesian analysis for the social sciences (Vol. 846). John Wiley ve Sons. http://dx.doi.org/10.1002/9780470686621 15.6.2022 tarihinde erişilmiştir.
• John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological science, 23(5), 524-532. DOI: 10.1177/0956797611430953 1.11.2022 tarihinde erişilmiştir.
• John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5), 524–532. https://doi.org/10.1177/095679761143095 22.7.2022 tarihinde erişilmiştir.
• Kara, E., Türküm, A. S., & Turner, M. J. (2023). The Effects of Rational Emotive Behaviour Therapy (REBT) Group Counselling Program on Competitive Anxiety of Student-Athletes. Journal of Rational-Emotive & Cognitive-Behavior Therapy, 1-18. https://doi.org/10.1007/s10942-023-00497-z 05.5.2023 tarihinde erişilmiştir.
• Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and social psychology review, 2(3), 196-217. https://doi.org/10.1207/s15327957pspr0203 11.5.2022 tarihinde erişilmiştir.
• Koptur, Murat (2020). Bayesci İstatistiğe Giriş. Preprint. DOI: 10.13140/RG.2.2.30359.93608/
• König, C., ve van de Schoot, R. (2018). Bayesian statistics in educational research: a look at the current state of affairs. Educational Review, 70(4), 486-509. http://dx.doi.org/10.1080/00131911.2017.1350636 18.1.2022 tarihinde erişilmiştir.
• Kruschke, J. K., Aguinis, H., ve Joo, H. (2012). The time has come: Bayesian methods for data analysis in the organizational sciences. Organizational Research Methods, 15(4), 722-752. http://dx.doi.org/10.1177/1094428112457829 1.7.2022 tarihinde erişilmiştir.
• Kruschke, J. K., ve Liddell, T. M. (2018). The Bayesian New Statistics: Hypothesis testing, estimation, meta-analysis, and power analysis from a Bayesian perspective. Psychonomic bulletin ve review, 25(1), 178-206. http://dx.doi.org/10.3758/s13423-016-1221-4 19.6.2022 tarihinde erişilmiştir.
• Lakens, D., Adolfi, F. G., Albers, C. J., Anvari, F., Apps, M. A., Argamon, S. E., ... ve Zwaan, R. A. (2018). Justify your alpha. Nature human behaviour, 2(3), 168-171. https://doi.org/10.1038/s41562-018-0311-x 14.7.2022 tarihinde erişilmiştir.
• Lee, S. Y., ve Song, X. Y. (2004). Evaluation of the Bayesian and maximum likelihood approaches in analyzing structural equation models with small sample sizes. Multivariate Behavioral Research, 39(4), 653-686. http://dx.doi.org/10.1207/s15327906mbr3904_4 21.3.2022 tarihinde erişilmiştir.
• Makowski, D., Ben-Shachar, M. S., Chen, S. H., ve Lüdecke, D. (2019). Indices of effect existence and significance in the Bayesian framework. Frontiers in psychology, 10, 2767. http://dx.doi.org/10.3389/fpsyg.2019.02767 15.3.2022 tarihinde erişilmiştir.
• Matzke, D., Nieuwenhuis, S., van Rijn, H., Slagter, H. A., van der Molen, M. W., & Wagenmakers, E.-J. (2015). The effect of horizontal eye movements on free recall: A preregistered adversarial collaboration. Journal of Experimental Psychology: General, 144(1), e1–e15. https://doi.org/10.1037/xge0000038. 05.5.2023 tarihinde erişilmiştir.
• Maxwell, S. E., Lau, M. Y., ve Howard, G. S. (2015). Is psychology suffering from a replication crisis? What does “failure to replicate” really mean? American Psychologist, 70(6), 487. http://dx.doi.org/10.1037/a0039400 18.7.2022 tarihinde erişilmiştir.
• Morey, R. D., Hoekstra, R., Rouder, J. N., Lee, M. D., ve Wagenmakers, E. J. (2016). The fallacy of placing confidence in confidence intervals. Psychonomic bulletin ve review, 23(1), 103-123. http://dx.doi.org/10.3758/s13423-015-0947-8 15.2.2022 tarihinde erişilmiştir.
• Morey, R. D., Rouder, J. N., Verhagen, J., ve Wagenmakers, E. J. (2014). Why hypothesis tests are essential for psychological science: A comment on Cumming. Psychological science, 25(6), 1289-1290. http://dx.doi.org/10.1037/a0039400 13.1.2022 tarihinde erişilmiştir.
• Nelson, L. D., Simmons, J., & Simonsohn, U. (2018). Psychology's renaissance. Annual Review of Psychology, 69, 511-534. https://doi.org/10.1146/annurev-psych-122216-011836 14.1.2022 tarihinde erişilmiştir.
• Nosek, B. A., ve Errington, T. M. (2017). Reproducibility in cancer biology: Making sense of replications. Elife, 6, e23383. http://dx.doi.org/10.7554/elife.23383 17.1.2022 tarihinde erişilmiştir.
• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. http://dx.doi.org/10.1126/science.aac4716 18.1.2022 tarihinde erişilmiştir.
• Pashler, H., ve Wagenmakers, E. J. (2012). Editors’ introduction to the special section on replicability in psychological science: A crisis of confidence? Perspectives on psychological science, 7(6), 528-530. https://doi.org/10.1177/1745691612465 18.1.2022 tarihinde erişilmiştir.
• Rietbergen, C., Debray, T. P., Klugkist, I., Janssen, K. J., ve Moons, K. G. (2017). Reporting of Bayesian analysis in epidemiologic research should become more transparent. Journal of Clinical Epidemiology, 86, 51-58. https://doi.org/10.1016/j.jclinepi.2017.04.008 18.1.2022 tarihinde erişilmiştir.
• Rogers, A. (2018). "The Science Behind Social Science Gets Shaken Up—Again". Wired. 2022-08-25. https://www.wired.com/story/social-science-reproducibility/ 6.5.2022 tarihinde erişilmiştir.
• Rouder, J. N. (2014). Optional stopping: No problem for Bayesians. Psychonomic bulletin & review, 21, 301-308. https://doi.org/10.3758/s13423-014-0595-4 05.5.2023 tarihinde erişilmiştir.
• Rupp, A. A., Dey, D. K., ve Zumbo, B. D. (2004). To Bayes or not to Bayes, from whether to when: Applications of Bayesian methodology to modeling. Structural Equation Modeling, 11(3), 424-451. https://doi.org/10.1207/s15328007sem1103_7 21.5.2022 tarihinde erişilmiştir.
• Schimmack, U. (2010). What multi‐method data tell us about construct validity. European Journal of Personality: Published for the European Association of Personality Psychology, 24(3), 241-257. https://doi.org/10.1002/per.771 21.7.2022 tarihinde erişilmiştir.
• Schimmack, U. (2021). The validation crisis in psychology. Meta-Psychology, 5. https://doi.org/10.15626/MP.2019.1645 17.11.2022 tarihinde erişilmiştir.
• Schönbrodt, F. D., Wagenmakers, E.-J., Zehetleitner, M., & Perugini, M. (2017). Sequential hypothesis testing with Bayes factors: Efficiently testing mean differences. Psychological Methods, 22(2), 322–339. https://doi.org/10.1037/met0000061 05.5.2023 tarihinde erişilmiştir.
• Sharpe, D., ve Poets, S. (2020). Meta-analysis as a response to the replication crisis. Canadian Psychology/Psychologie canadienne, 61(4), 377. https://doi.org/10.1037/cap0000215 13.4.2022 tarihinde erişilmiştir.
• Shrout, P. E., ve Rodgers, J. L. (2018). Psychology, science, and knowledge construction: Broadening perspectives from the replication crisis. Annual review of psychology, 69(1), 487-510. https://doi.org/10.1146/annurev-psych-122216-011845 19.7.2022 tarihinde erişilmiştir.
• Siddaway, A. P., Wood, A. M., ve Hedges, L. V. (2019). How to do a systematic review: a best practice guide for conducting and reporting narrative reviews, meta-analyses, and meta-syntheses. Annual review of psychology, 70, 747-770. https://doi.org/10.1146/annurev-psych-010418-102803 19.6.2022 tarihinde erişilmiştir.
• Siegfried, T. (2010). Odds are, it’s wrong. Science news, 177(7), 26. http://www.aakkozzll.com/pdf/siegfried2.pdf 15.5.2022 tarihinde erişilmiştir.
• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632 11.7.2022 tarihinde erişilmiştir.
• Şehribanoğlu, S. (2012). Yapısal eşitlik modellerinde parametre tahmininde gibbs örneklemesi. Doktora Tezi, Yüzüncü Yıl Üniversitesi Fen Bilimleri Enstitüsü, Van, 140. https://tez.yok.gov.tr/UlusalTezMerkezi/tezSorguSonucYeni.jsp 21.9.2022 tarihinde erişilmiştir.
• Van De Schoot, R., Winter, S. D., Ryan, O., Zondervan-Zwijnenburg, M., ve Depaoli, S. (2017). A systematic review of Bayesian articles in psychology: The last 25 years. Psychological Methods, 22(2), 217. https://doi.org/10.1037/met0000100 10.10.2022 tarihinde erişilmiştir.
• Veen, D., ve Egberts, M. (2020). The Importance of Collaboration in Bayesian Analyses with Small Samples. In Small Sample Size Solutions (pp. 50-70). Routledge. https://doi.org/10.4324/9780429273872-5 1.9.2022 tarihinde erişilmiştir.
• Wagenmakers, E. J., Lee, M., Lodewyckx, T., ve Iverson, G. J. (2008). Bayesian versus frequentist inference. In Bayesian evaluation of informative hypotheses (pp. 181-207). Springer, New York, NY. https://doi.org/10.4324/9780429273872-5 6.5.2022 tarihinde erişilmiştir.
• Wagenmakers, E. J., Love, J., Marsman, M., Jamil, T., Ly, A., Verhagen, J., ... ve Morey, R. D. (2018). Bayesian inference for psychology. Part II: Example applications with JASP. Psychonomic bulletin ve review, 25(1), 58-76. https://doi.org/10.3758/s13423-017-1323-7 4.2.2022 tarihinde erişilmiştir.
• Wasserstein, R. L., Schirm, A. L., ve Lazar, N. A. (2019). Moving to a world beyond “p<0.05”. The American Statistician, 73(sup1), 1-19. https://doi.org/10.1007/978-0-387-09612-4_9 2.3.2022 tarihinde erişilmiştir.
• Williams, R. T., Polanin, J. R., ve Pigott, T. D. (2017). Meta-analysis and reproducibility. In. M. C. Makel ve J. A. Plucker (Eds.), Toward a more perfect psychology (pp. 255–270). American Psychological Association. https://doi.org/10.1037/0000033-016 1.8.2022 tarihinde erişilmiştir.
• Witkowski T (2019). "Is the glass half empty or half full? Latest results in the replication crisis in Psychology" (PDF). Skeptical Inquirer. Vol. 43, no. 2. pp. 5–6. https://skepticalinquirer.org/2019/03/is-the-glass-half-empty-or-half-full-latest-results-in-the-replication-crisis-in-psychology/ 11.2.2022 tarihinde erişilmiştir.
• Yang, Y., Youyou, W., & Uzzi, B. (2020). Estimating the deep replicability of scientific findings using human and artificial intelligence. Proceedings of the National Academy of Sciences, 117(20), 10762-10768. https://doi.org/10.1073/pnas.1909046117 05.5.2023 tarihinde erişilmiştir.
• Yardımcı, A., & Erar, A. (2005). Gibbs sampling approach to variable selection in linear regression with outlier values. GU Journal of Science, 18(4), 603-611.