Açık Bilim ve Yeniden Üretilebilirlik: Çok Kriterli Karar Alma Vaka Çalışmasından Perspektifler

Kemal Yayla; Haluk Soyuer

doi:10.24146/tk.1694565

TR EN

Açık Bilim ve Yeniden Üretilebilirlik: Çok Kriterli Karar Alma Vaka Çalışmasından Perspektifler

Öz

Amaç: Bu çalışma, yeniden üretilebilirlik (reproducibility) ve çoğaltılabilirlik (replicability) kavramlarının nicel araştırmalarda nasıl uygulanabileceğini göstermeyi amaçlamaktadır. Kavramsal çerçeve olarak MRIR (Yöntemsel-Sonuçsal-Çıkarımsal Yeniden Üretilebilirlik) ve EDCR (Tam-Doğrudan-Kavramsal Yeniden Üretilebilirlik) modelleri kullanılmış ve somut bir Çok Kriterli Karar Verme (ÇKKV) vakası üzerinden uygulanmıştır. Bu sayede Türkçe akademik yazındaki uygulamalı örnek eksikliğini gidermek ve açık bilim standartlarına tam uygun olmayan mevcut bir çalışmanın FAIR prensipleri doğrultusunda nasıl şeffaflaştırılabileceğini ortaya koymaktır.

Yöntem: Çalışmada, bir doktora tezinde TODIM yöntemiyle analiz edilmiş olan ürün önceliklendirme problemi metodolojik bir vaka olarak ele alınmıştır. İki aşamalı bir analiz deseni benimsenmiştir: İlk aşamada, orijinal TODIM analizi, tezde açıklanan algoritmalar kullanılarak R programlama dilinde yeniden üretilmiş ve MRIR modelinin yöntemsel ve sonuçsal boyutları test edilmiştir. İkinci aşamada ise EDCR modelinin kavramsal düzeyine uygun olarak, aynı veri seti üzerinde farklı bir yöntem (MARE) ve nesnel bir ağırlıklandırma tekniği (IDOCRIW) kullanılarak bağımsız bir analiz gerçekleştirilmiştir. Tüm süreç, şeffaflığı artırmak amacıyla geliştirilen interaktif web arayüzleri ve OSF üzerinden paylaşılan açık kaynak kodlarla desteklenmiştir.

Bulgular: Yeniden üretilebilirlik analizi, orijinal çalışmadaki alternatif sıralamasının (A2>A3>A1) birebir aynı kaldığını doğrulayarak metodolojik tutarlılığı göstermiştir. Çoğaltılabilirlik analizi ise sıralamanın korunmasına rağmen, TODIM yönteminin ürettiği deterministik skorların ardında yüksek düzeyde epistemik belirsizlik bulunduğunu ortaya çıkarmıştır. MARE yöntemi, A1 ve A3 alternatifleri için neredeyse tüm karar uzayını kapsayan belirsizlik aralıkları (0,20-0,90) göstermiştir. Ayrıca, IDOCRIW ile hesaplanan nesnel ağırlıkların, orijinal çalışmadaki sübjektif ağırlıklardan kayda değer ölçüde farklılaştığı ve kriter önceliklerinde bir paradigma değişimine işaret ettiği gözlemlenmiştir.

Sonuç: Bu çalışma, yeniden üretilebilirlik ve çoğaltılabilirlik ilkelerinin teorik modellerle uyumlu bir şekilde pratiğe aktarılmasına yönelik bütünleşik bir metodoloji sunmakta ve Türkiye literatürüne bu alanda somut bir katkı sağlamaktadır. Bulgular, farklı yöntemlerin aynı olguyu incelerken deterministik sonuçlar ve epistemik belirsizlikler gibi gerçekliğin farklı boyutlarını görünür kılabileceğini, dolayısıyla çoğaltma girişimlerinde sadece sonuç tutarlılığının değil, yöntemsel tamamlayıcılığın da değerlendirilmesi gerektiğini göstermektedir. "Geriye dönük şeffaflaştırma" uygulaması, mevcut akademik birikimin açık bilim standartlarına kazandırılması için uygulanabilir bir model önermektedir.

Özgünlük: Bu çalışma, Türkiye bağlamındaki somut bir ÇKKV problemi üzerinden, yeniden üretilebilirlik ve çoğaltılabilirlik kavramlarını MRIR ve EDCR gibi güncel teorik çerçevelerle entegre ederek inceleyen ilk uygulamalı örneklerden biridir. Verileri paylaşılmamış bir çalışmayı açık bilim prensipleri doğrultusunda geriye dönük şeffaflaştırma sürecini belgelemesi ve farklı yöntemlerin ortaya çıkardığı epistemik belirsizliği nicel olarak göstermesi açısından özgün bir değer taşımaktadır.

Anahtar Kelimeler

Yeniden üretilebilirlik , Çoğaltılabilirlik , Çok Kriterli Karar Verme , MRIR , EDCR

Open Science and Reproducibility: Perspectives from a Multi-Criteria Decision-Making Case Study

Abstract

Purpose: This study aims to show how reproducibility and replicability concepts can be applied in quantitative research. The MRIR (Methods-Results-Inferential Reproducibility) and EDCR (Exact-Direct-Conceptual Reproducibility) models were used as conceptual frameworks and applied through a specific Multi-Criteria Decision Making (MCDM) case. This approach fills a gap in practical examples in Turkish academic literature and demonstrates how existing studies that do not fully adhere to open science standards can be made transparent in line with FAIR principles.

Method: In this regard, the MCDM analysis in a doctoral thesis (Yayla, 2017), which was not previously published in full compliance with open science standards, was considered as a “methodological case”. A two-phase analytical approach was employed: In the first phase, the original TODIM analysis was recreated in R using the algorithms from the dissertation, and the MRIR model's methods and results were evaluated. In the second phase, in line with the EDCR model, a separate analysis was conducted on the same data using a different method (MARE) and a specific weight assignment method (IDOCRIW). The entire process was supported by interactive web interfaces developed to improve transparency and was complemented by open-source code shared via OSF.

Findings: The reproducibility analysis confirmed methodological consistency by verifying that the alternative ranking from the original study (A2>A3>A1) remained unchanged. The replicability analysis showed that, despite preserving the ranking, substantial epistemic uncertainty underlies the deterministic scores produced by the TODIM method. The MARE method displayed uncertainty intervals (0.20-0.90) that covered nearly the entire decision space for alternatives A1 and A3. Additionally, it was observed that the objective weights calculated using IDOCRIW differed significantly from the subjective weights in the original study, indicating a paradigm shift in criterion priorities.

Implications: This study introduces an integrated approach to translating the principles of reproducibility and replicability into practice, grounded in theoretical models, making a solid contribution to the Turkish literature in this area. The findings show that different methods can uncover various dimensions of reality—such as deterministic results and epistemic uncertainties—when examining the same phenomenon. This suggests that replication efforts should assess not just result consistency but also methodological complementarity. The “retrospective transparency” approach offers a practical model for turning existing academic work into resources that align with open science standards.

Originality: This study is one of the first practical examples to examine the concepts of reproducibility and replicability by integrating them with contemporary theoretical frameworks such as MRIR and EDCR, using a specific MCDM problem in the Turkish context. It is especially valuable for documenting the process of retrospectively revealing transparency in a study whose data were not originally shared, in line with open science principles, and for quantitatively demonstrating the epistemic uncertainty revealed by different methods.

Keywords

Reproducibility , Replicability , Multi-Criteria Decision Making , MRIR , EDCR

Kaynakça

Abdel-Kader, M. G., ve Dugdale, D. (2001). Evaluating Investments in Advanced Manufacturing Technology: A Fuzzy Set Theory Approach. The British Accounting Review, 33(4), 455-489. https://doi.org/10.1006/bare.2001.0177
Andrade, C. (2021). HARKing, Cherry-Picking, P-Hacking, Fishing Expeditions, and Data Dredging and Mining as Questionable Research Practices. The Journal of Clinical Psychiatry, 82(1). https://doi.org/10.4088/JCP.20f13804
Aydin, B., Kaplan, M., Atilgan, H., ve Gürel, S. (2019). A Preliminary Study to Evaluate the Reproducibility of Factor Analysis Results: The Case of Educational Research Journals in Turkey. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 10(1), 1-11. https://doi.org/10.21031/epod.482393
Barba, L. A. (2018). Terminologies for Reproducible Research (Versiyon 1). arXiv. https://doi.org/10.48550/ARXIV.1802.03311
Claerbout, J. F., ve Karrenbach, M. (1992). Electronic Documents Give Reproducible Research a New Meaning. SEG Technical Program Expanded Abstracts 1992, 601-604. https://doi.org/10.1190/1.1822162
Crandall, C. S., ve Sherman, J. W. (2016). On the Scientific Superiority of Conceptual Replications for Scientific Progress. Journal of Experimental Social Psychology, 66, 93-99. https://doi.org/10.1016/j.jesp.2015.10.002
De Rond, M., ve Miller, A. N. (2005). Publish or Perish: Bane or Boon of Academic Life? Journal of Management Inquiry, 14(4), 321-329. https://doi.org/10.1177/1056492605276850
Derksen, M., ve Morawski, J. (2022). Kinds of Replication: Examining the Meanings of “Conceptual Replication” and “Direct Replication”. Perspectives on Psychological Science, 17(5), 1490-1505. https://doi.org/10.1177/17456916211041116
Donoho, D. L., Maleki, A., Rahman, I. U., Shahram, M., ve Stodden, V. (2009). Reproducible Research in Computational Harmonic Analysis. Computing in Science & Engineering, 11(1), 8-18. https://doi.org/10.1109/MCSE.2009.15
Fanelli, D. (2009). How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data. PLoS ONE, 4(5), e5738. https://doi.org/10.1371/journal.pone.0005738

Fanelli, D., Ioannidis, J. P. A., ve Goodman, S. (2018). Improving the Integrity of Published Science: An Expanded Taxonomy of Retractions and Corrections. European Journal of Clinical Investigation, 48(4), e12898. https://doi.org/10.1111/eci.12898
Federation of American Societies for Experimental Biology. (2016). Enhancing Research Reproducibility. https://www.aai.org/AAISite/media/Public_Affairs/Policy_Issues/NIH_Peer_Review/FASEB_Enhancing-Research-Reproducibility.pdf
Ferreira, C., Bastille‐Rousseau, G., Bennett, A. M., Ellington, E. H., Terwissen, C., Austin, C., Borlestean, A., Boudreau, M. R., Chan, K., Forsythe, A., Hossie, T. J., Landolt, K., Longhi, J., Otis, J., Peers, M. J. L., Rae, J., Seguin, J., Watt, C., Wehtje, M., ve Murray, D. L. (2016). The Evolution of Peer Review as a Basis for Scientific Publication: Directional Selection Towards a Robust Discipline? Biological Reviews, 91(3), 597-610. https://doi.org/10.1111/brv.12185
Fineberg, H., Stodden, V., ve Meng, X.-L. (2020). Highlights of the US National Academies Report on “Reproducibility and Replicability in Science”. Harvard Data Science Review, 2(4). https://doi.org/10.1162/99608f92.cb310198
Fishburn, P. C. (1967). Letter to the Editor—Additive Utilities with Incomplete Product Sets: Application to Priorities and Assignments. Operations Research, 15(3), 537-542. https://doi.org/10.1287/opre.15.3.537
Gentleman, R., ve Temple Lang, D. (2007). Statistical Analyses and Reproducible Research. Journal of Computational and Graphical Statistics, 16(1), 1-23. https://doi.org/10.1198/106186007X178663
Gomes, L., ve Lima, M. (1991). TODIM: basics and application to multicriteria ranking. Found. Comput. Decis. Sci, 16(3-4), 1-16.
Goodman, S. N., Fanelli, D., ve Ioannidis, J. P. A. (2016). What Does Research Reproducibility Mean? Science Translational Medicine, 8(341). https://doi.org/10.1126/scitranslmed.aaf5027
Hicks, D. J. (2023). Open Science, the Replication Crisis, and Environmental Public Health. Accountability in Research, 30(1), 34-62. https://doi.org/10.1080/08989621.2021.1962713
Hodgett, R. E., Martin, E. B., Montague, G., ve Talford, M. (2014). Handling uncertain decisions in whole process design. Production Planning & Control, 25(12), 1028-1038. https://doi.org/10.1080/09537287.2013.798706
Huisman, J., ve Smits, J. (2017). Duration and Quality of the Peer Review Process: The Author’s Perspective. Scientometrics, 113(1), 633-650. https://doi.org/10.1007/s11192-017-2310-5
Hunter, P. (2017). The Reproducibility “Crisis”: Reaction to Replication Crisis Should Not Stifle Innovation. EMBO Reports, 18(9), 1493-1496. https://doi.org/10.15252/embr.201744876
Hwang, C.-L., ve Yoon, K. (1981). Multiple Attribute Decision Making (C. 186). Springer Berlin Heidelberg. https://doi.org/10.1007/978-3-642-48318-9
Kalelioğlu, U. B. (2019). Bilimsel Tekrarlanabilirlik İlkesi Kapsamında Pozitivist Metodolojinin Evrensel Yasalara Ulaşma İdeali. Uluslararası Beşeri Bilimler ve Eğitim Dergisi, 5(12), 1182-1200.
Kalelioğlu, U. B. (2021). Replicability: 21st Century Crisis of the Positivist Social Sciences. Uluslararası Sosyal Bilgilerde Yeni Yaklaşımlar Dergisi (IJONASS). https://doi.org/10.38015/sbyy.1003103
Kara, E. (2023). Tekrarlanabilirlik Krizi ve Geçerlilik Krizi Kıskacındaki Psikoloji ve Sosyal Bilimlerde Krizden Çıkış İçin Öne Çıkan İki Trend: “Yeni İstatistik” ve “Bayesyen İstatistik”. Anadolu Journal of Educational Sciences International, 13(2), 599-624. https://doi.org/10.18039/ajesi.1240655
LeBel, E. P., McCarthy, R. J., Earp, B. D., Elson, M., ve Vanpaemel, W. (2018). A Unified Framework to Quantify the Credibility of Scientific Findings. Advances in Methods and Practices in Psychological Science, 1(3), 389-402. https://doi.org/10.1177/2515245918787489
Leek, J. T., ve Peng, R. D. (2015). Reproducible Research Can Still Be Wrong: Adopting a Prevention Approach. Proceedings of the National Academy of Sciences, 112(6), 1645-1646. https://doi.org/10.1073/pnas.1421412111
Leekwijck, W. V., ve Kerre, E. E. (1999). Defuzzification: Criteria and classification. Fuzzy Sets and Systems, 108(2), 159-178. https://doi.org/10.1016/S0165-0114(97)00337-0
Leonelli, S. (2018). Rethinking Reproducibility as a Criterion for Research Quality. Içinde L. Fiorito, S. Scheall, ve C. E. Suprinyak (Ed.), Research in the History of Economic Thought and Methodology (C. 36, ss. 129-146). Emerald Publishing Limited. https://doi.org/10.1108/S0743-41542018000036B009
Matarese, V. (2022). Kinds of Replicability: Different Terms and Different Functions. Axiomathes, 32(S2), 647-670. https://doi.org/10.1007/s10516-021-09610-2
Matarese, V. (2023). A New Concept of Replication. Inquiry, 1-26. https://doi.org/10.1080/0020174X.2023.2278032
Mesirov, J. P. (2010). Accessible Reproducible Research. Science, 327(5964), 415-416. https://doi.org/10.1126/science.1179653
Munafò, M. R., Nosek, B. A., Bishop, D. V. M., Button, K. S., Chambers, C. D., Percie Du Sert, N., Simonsohn, U., Wagenmakers, E.-J., Ware, J. J., ve Ioannidis, J. P. A. (2017). A Manifesto for Reproducible Science. Nature Human Behaviour, 1(1), 0021. https://doi.org/10.1038/s41562-016-0021
Nelson, N. C., Ichikawa, K., Chung, J., ve Malik, M. M. (2021). Mapping the Discursive Dimensions of the Reproducibility Crisis: A Mixed Methods Analysis. PLOS ONE, 16(7), e0254090. https://doi.org/10.1371/journal.pone.0254090
Nosek, B. A., Alter, G., Banks, G. C., Borsboom, D., Bowman, S. D., Breckler, S. J., Buck, S., Chambers, C. D., Chin, G., Christensen, G., Contestabile, M., Dafoe, A., Eich, E., Freese, J., Glennerster, R., Goroff, D., Green, D. P., Hesse, B., Humphreys, M., … Yarkoni, T. (2015). Promoting an open research culture. Science, 348(6242), 1422-1425. https://doi.org/10.1126/science.aab2374
Nosek, B. A., Spies, J. R., ve Motyl, M. (2012). Scientific Utopia: II. Restructuring Incentives and Practices to Promote Truth Over Publishability. Perspectives on Psychological Science, 7(6), 615-631. https://doi.org/10.1177/1745691612459058
Open Science Collaboration. (2015). Estimating the Reproducibility of Psychological Science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
Paruzel-Czachura, M., Baran, L., ve Spendel, Z. (2021). Publish or Be Ethical? Publishing Pressure and Scientific Misconduct in Research. Research Ethics, 17(3), 375-397. https://doi.org/10.1177/1747016120980562
Peng, R. D. (2011). Reproducible Research in Computational Science. Science, 334(6060), 1226-1227. https://doi.org/10.1126/science.1213847
Peng, R. D. (2015). The Reproducibility Crisis in Science: A Statistical Counterattack. Significance, 12(3), 30-32. https://doi.org/10.1111/j.1740-9713.2015.00827.x
Peng, R. D., Dominici, F., ve Zeger, S. L. (2006). Reproducible Epidemiologic Research. American Journal of Epidemiology, 163(9), 783-789. https://doi.org/10.1093/aje/kwj093
Plesser, H. E. (2018). Reproducibility vs. Replicability: A Brief History of a Confused Terminology. Frontiers in Neuroinformatics, 11, 76. https://doi.org/10.3389/fninf.2017.00076
Reis, D., ve Friese, M. (2022). The Myriad Forms of p-Hacking. Içinde W. O’Donohue, A. Masuda, ve S. Lilienfeld (Ed.), Avoiding Questionable Research Practices in Applied Psychology (ss. 101-121). Springer International Publishing. https://doi.org/10.1007/978-3-031-04968-2_5
Resnik, D. B., Peddada, S., ve Brunson Jr, W. (2009). Research Misconduct Policies of Scientific Journals. Accountability in Research, 16(5), 254-267. https://doi.org/10.1080/08989620903190299
Ribeiro, M. D., Kalichman, M. W., ve Vasconcelos, S. M. (2023). Retractions and Rewards in Science: An Open Question for Reviewers and Funders. Science and Engineering Ethics, 29(4), 26. https://doi.org/10.1007/s11948-023-00446-0
Schmidt, S. (2009). Shall We Really Do It Again? The Powerful Concept of Replication Is Neglected in the Social Sciences. Review of General Psychology, 13(2), 90-100. https://doi.org/10.1037/a0015108
Serra-Garcia, M., ve Gneezy, U. (2021). Nonreplicable Publications Are Cited More Than Replicable Ones. Science Advances, 7(21), eabd1705. https://doi.org/10.1126/sciadv.abd1705
Stake, R. E. (2005). Multiple case study analysis. Guilford Press.
The Economist. (2013, Ekim 21). How Science Goes Wrong. https://www.economist.com/leaders/2013/10/21/how-science-goes-wrong
Tversky, A., ve Kahneman, D. (1992). Advances in Prospect Theory: Cumulative Representation of Uncertainty. Journal of Risk and Uncertainty, 5(4), 297-323. https://doi.org/10.1007/BF00122574
Van Dalen, H. P. (2021). How the Publish-or-Perish Principle Divides a Science: The Case of Economists. Scientometrics, 126(2), 1675-1694. https://doi.org/10.1007/s11192-020-03786-x
Van Dalen, H. P., ve Henkens, K. (2012). Intended and Unintended Consequences of a Publish‐or‐Perish Culture: A Worldwide Survey. Journal of the American Society for Information Science and Technology, 63(7), 1282-1293. https://doi.org/10.1002/asi.22636
Wilkinson, M. D., Dumontier, M., Aalbersberg, Ij. J., Appleton, G., Axton, M., Baak, A., Blomberg, N., Boiten, J.-W., Da Silva Santos, L. B., Bourne, P. E., Bouwman, J., Brookes, A. J., Clark, T., Crosas, M., Dillo, I., Dumon, O., Edmunds, S., Evelo, C. T., Finkers, R., … Mons, B. (2016). The FAIR Guiding Principles for Scientific Data Management and Stewardship. Scientific Data, 3(1), 160018. https://doi.org/10.1038/sdata.2016.18
Yin, R. K. (2009). Case study research: Design and methods (4. bs). Sage Publications.
Yayla, K. (2017). Müşteri Yönelimli Stratejik Kararlar Için Çok Kriterli Dilsel Karar Destek Sistemi Önerisi / a Linguistic Multi-Criteria Decision Support System for Customer Oriented Strategic Decisions [Doktora Tezi Ege Üniversitesi, Sosyal Bilimler Enstitüsü, İşletme Ana Bilim Dalı, İşletme Bilim Dalı]
Zavadskas, E. K., ve Podvezko, V. (2016). Integrated Determination of Objective Criteria Weights in MCDM. International Journal of Information Technology & Decision Making, 15(02), 267-283. https://doi.org/10.1142/S0219622016500036
Zencir, M. B. (2024). “Tekrarlanabilirlik Krizi” Bağlamında Açık Bilim Girişimi ve Akademik Kütüphanelere Etkisi. İçinde P. Bezirci ve I. İ. Sert (Ed.), Cumhuriyet’in 100. Yılında Bilgi ve Belge Yönetimi Teknolojisinde Güncel Yaklaşımlar (ss. 945-964). Istanbul University Press. https://doi.org/10.26650/B/SS53.2024.015.37
Zupanc, G. K. H. (2024). “It Is Becoming Increasingly Difficult to Find Reviewers”—Myths and Facts About Peer Review. Journal of Comparative Physiology A, 210(1), 1-5. https://doi.org/10.1007/s00359-023-01642-w

Ayrıntılar

Birincil Dil

Türkçe

Konular

Bilgi Sistemleri Geliştirme Metodolojileri ve Uygulamaları , İş Süreçleri Yönetimi , Karar Desteği ve Grup Destek Sistemleri , Açık Erişim

Bölüm

Araştırma Makalesi

Yazarlar

Kemal Yayla ^*
0000-0001-9064-611X
Türkiye

Haluk Soyuer
0000-0003-3038-0828
Türkiye

Erken Görünüm Tarihi

24 Aralık 2025

Yayımlanma Tarihi

24 Aralık 2025

Gönderilme Tarihi

7 Mayıs 2025

Kabul Tarihi

21 Kasım 2025

Yayımlandığı Sayı

Yıl 2026 Cilt: 40 Sayı: 1

DOI

https://doi.org/10.24146/tk.1694565

IZ

https://izlik.org/JA28NR37KY

APA

Yayla, K., & Soyuer, H. (2026). Açık Bilim ve Yeniden Üretilebilirlik: Çok Kriterli Karar Alma Vaka Çalışmasından Perspektifler. Türk Kütüphaneciliği, 40(1), 87-111. https://doi.org/10.24146/tk.1694565

Bu dergi içeriği CC BY 4.0 cc.svg?ref=chooser-v1 by.svg?ref=chooser-v1 ile lisanslanmaktadır.

Açık Bilim ve Yeniden Üretilebilirlik: Çok Kriterli Karar Alma Vaka Çalışmasından Perspektifler

Öz

Anahtar Kelimeler

Open Science and Reproducibility: Perspectives from a Multi-Criteria Decision-Making Case Study

Abstract

Keywords

Kaynakça

Ayrıntılar

Birincil Dil

Konular

Bölüm

Yazarlar

Erken Görünüm Tarihi

Yayımlanma Tarihi

Gönderilme Tarihi

Kabul Tarihi

Yayımlandığı Sayı

DOI

IZ

Kaynak Göster