Araştırmalarda Aşırı Derecede Örneklem Büyüklüğünün Neden Olduğu Tip I Hata: Bir Vaka Analizi

İrfan Ozturk; Kübra Taşçı

doi:10.55007/dufed.1810396

EN TR

Type I Error Caused by Extremely Large Sample Size in Research: A Case Analysis

Abstract

This research aims to highlight the critical importance of determining an appropriate sample size in scientific studies, to shed light on the problems that overly large samples can cause, and to provide a case analysis regarding the Type I error problem. An example of an Nrf2 analysis, for which the ideal sample size was calculated as 27 using statistical power analysis, was used. In the analysis conducted with this ideal size, the null hypothesis (H₀) was accepted (p=0.439); however, by increasing the sample size to 216 using a duplication method while keeping the mean value constant, the p-value dropped to 0.025 and the null hypothesis was rejected. This finding shows that it is possible to change the outcome of a research just by manipulating the sample size, which leads to a Type I error contrary to scientific ethical rules. Moreover, this case study emphasizes that focusing solely on statistical significance can be misleading and that other criteria, such as the coefficient of variation, should also be considered to assess data reliability. In the study, in addition to the examination conducted on a medical dataset (Nrf2), the manipulative effect of sample size on the p-value was presented from a multidisciplinary perspective through a simulated milk yield scenario designed in the field of animal husbandry. The findings support that researchers should work with optimal sample sizes to avoid scientific and unethical errors.

Keywords

Sample, Sample size, Data manipulation, Type 1 error, Data quality

Araştırmalarda Aşırı Derecede Örneklem Büyüklüğünün Neden Olduğu Tip I Hata: Bir Vaka Analizi

Abstract

Bu araştırma, bilimsel çalışmalarda uygun örneklem büyüklüğünün belirlenmesinin kritik önemini ortaya koyup, aşırı büyük örneklemlerin neden olabileceği problemleri ve Tip I hata problemine bir vaka analiziyle ışık tutmayı amaçlamaktadır. İstatistiksel güç analizi ile ideal örneklem büyüklüğü 27 olarak hesaplanan bir Nrf2 analizi örneği kullanılmıştır. Bu ideal büyüklükle yapılan analizde, sıfır hipotezi (H₀) kabul edilirken (p=0.439), ortalama değer sabit tutularak örneklem büyüklüğünün kopyalama yöntemiyle 216’ya çıkarılmasıyla p-değeri 0.025’e düşürülmüş ve sıfır hipotezi reddedilmiştir. Bu bulgu, araştırmanın sonucunu sadece örneklem büyüklüğünü manipüle ederek değiştirmenin mümkün olduğunu, bunun da bilimsel etik kurallarına aykırı bir Tip I hataya yol açtığını göstermektedir. Ayrıca, bu vaka analizi, yalnızca istatistiksel anlamlılığa odaklanmanın yanıltıcı olabileceğini ve veri güvenilirliğini değerlendirmek için varyasyon katsayısı, etki büyüklüğü gibi diğer ölçütlerin de dikkate alınması gerektiğini vurgulamaktadır. Çalışmada, tıbbi bir veri seti (Nrf2) üzerinden yapılan incelemenin yanı sıra, hayvancılık alanından kurgulanan bir süt verimi simülasyonu ile örneklem büyüklüğünün p-değeri üzerindeki manipülatif etkisi çok disiplinli bir bakış açısıyla ortaya konulmuştur. Elde edilen bulgular, araştırmacıların optimum örneklem büyüklükleri ile çalışarak bilimsel ve etik dışı hatalardan kaçınması gerektiğini desteklemektedir.

Keywords

Örneklem, Örnek büyüklüğü, Veri manipülasyonu, Tip 1 hata, Veri kalitesi

References

B. G. Tabachnick ve L. S. Fidell, Using Multivariate Statistics, 7. baskı. Boston, MA, ABD: Pearson, 2019.
Ş. Büyüköztürk, ve ark., Bilimsel Araştırma Yöntemleri, 23. baskı. Ankara, Türkiye: Pegem Akademi, 2017.
N. Süt, “Klinik çalışmalarda örneklem büyüklüğünün belirlenmesi ve güç analizi,” J. Turk. Soc. Rheumatol., c. 3, sayı. 2, ss. 29–33, 2011.
B. Lantz, “The large sample size fallacy,” Scand. J. Caring Sci., vol. 27, no. 2, pp. 487–492, 2013.
E. P. Kahraman Kılbaş ve F. Cevahir, “Bilimsel araştırmalarda örneklem seçimi ve güç analizi,” Journal of Biotechnology and Strategic Health Research, c. 7, sayı. 1, ss. 1–8, 2023, doi: 10.34084/bshr.1217279.
S. P. Gumpili and A. V. Das, “Sample size and its evolution in research,” IHOPE J. Ophthalmol., vol. 1, pp. 9–13, 2022.
M. Kaplan, “Sağlık Bilimlerindeki Araştırmalarda istatistiksel anlamlılık ve klinik uygunluk arasındaki ilişkinin değerlendirilmesi,” Bingöl Üniversitesi Sağlık Dergisi, c.5, sayı. 1, ss. 242–244, 2024, doi: 10.58605/bingolsaglik.1452046.
A. Baltacı, “Nitel araştırmalarda örnekleme yöntemleri ve örnek hacmi sorunsalı üzerine kavramsal bir inceleme,” Bitlis Eren Üniv. Sos. Bil. Enst. Dergisi, c. 7, sayı 1, ss. 231–274, 2018.
F. Yağar, “Nitel araştırmalarda örneklem büyüklüğünün belirlenmesi: veri doygunluğu,” Aksaray Üniv. Sos. Bil. Enst. Dergisi, c. 7, sayı 2, ss. 138–152, 2023, doi: 10.38122/ased.1030365.
B. Keskin, “İstatistiksel güç bir araştırmanın sonuçlarına etki eder mi? Örneklem büyüklüğüne nasıl karar verilmeli?” Manisa Celal Bayar Üniv. J. Soc. Sci., c. 18, sayı. Armağan Sayısı, ss. 157–174, 2020.

A. M. Stefan and F. D. Schönbrodt, “Big little lies: A compendium and simulation of p-hacking strategies,” Royal Society Open Science, vol. 10, no. 2, Article: 220346, 2023, https://doi.org/10.1098/rsos.220346.
J. Cohen, Statistical Power Analysis for the Behavioral Sciences, 2. baskı. Hillsdale, NJ, ABD: Lawrence Erlbaum Associates, 1988.
Ö. Akbulut, “Çok değişkenli ve farklı ölçekli araştırmalarda örneklem büyüklüğünün tespiti,” Hayvan Bilimi ve Ürünleri Dergisi, c. 4, sayı. 2, ss. 199–215, 2021, doi: 10.51970/jasp.946399.
S. Özsoy ve G. Özsoy, “Eğitim araştırmalarında etki büyüklüğü raporlanması”, Elementary Education Online, c. 12, sayı. 2, ss. 334‐346, 2013, https://izlik.org/JA28FR92ZN
J. F. Hair et al., Multivariate Data Analysis, 8. baskı. Londra, Birleşik Krallık: Cengage Learning, 2020.
R. L. Wasserstein and N. A. Lazar, “The ASA statement on p-values: Context, Process, and Purpose,” Amer. Statist., vol. 70, no. 2, pp. 129–133, 2016.
Z. Lin, H. C. Lucas, and G. Shmueli, “Too big to fail: Large samples and the p-value problem,” Information Systems Research, vol. 24, no. 4, pp. 906–917, 2013.
V. Amrhein, S. Greenland, and B. McShane, “Scientists rise up against statistical significance,” Nature, vol. 567, no. 7748, pp. 305–307, 2019, doi: 10.1038/d41586-019-00857-9.
D. Lakens, “Sample size justification,” Collabra: Psychology, vol. 8, no. 1, p. 33267, 2022, doi: 10.1525/collabra.33267.
A. Işık Öner and K. Yıldız, “Bilimsel araştırmalarda etik dışı davranışların nedenleri ve çözüm önerileri”, IZUJED, vol. 3, no. 5, pp. 1–14, June 2021, doi: 10.46423/izujed.830639.
G. Sullivan and R. Feinn, “Using effect size—or why the p value is not enough,” J. Grad. Med. Educ., vol. 4, no. 3, pp. 279–282, 2012, doi: 10.4300/JGME-D-12-00156.1.
Dünya Tabipler Birliği, “Helsinki Bildirgesi,” (2024). Erişim tarihi: 29 Ekim 2025. [Çevrimiçi]. Erişim adresi: https://www.ttb.org.tr/userfiles/files/dtb_helsinki_bildirgesi_2024.pdf.
R. Pellman, “Minimal Risk and Ethical Oversight in Clinical Trials,” JAMA, vol. 331, no. 14, pp. 1185–1186, 2024, doi: 10.1001/jama.2024.0269.
Gazi Üniversitesi Rektörlüğü, “Hayvan Deneyleri Yerel Etik Kurul Yönergesi,” Gazi Üniversitesi, Ankara, Türkiye. (2024). Erişim tarihi: 29 Ekim 2025. [Çevrimiçi]. Erişim adresi: https://dhek.gazi.edu.tr/view/page/282558.
M. A. Rothstein, “Ethical issues in big data health research,” J. Law Med. Ethics, vol. 43, no. 2, pp. 425–429, 2015.
United Nations Educational, Scientific and Cultural Organization (UNESCO), “Recommendation on the Ethics of Artificial Intelligence,” (2023). Erişim tarihi: 29 Ekim 2025. [Çevrimiçi]. Erişim adresi: https://www.unesco.org/en/articles/recommendation-ethics-artificial-intelligence.
IJ. Marshall, V. L’Esperance, R. Marshall, et al. “State of the evidence: A survey of global disparities in clinical trials”, BMJ Global Health. vol. 6, no. 1, 2021; 6:e004145, doi:10.1136/ bmjgh-2020-004145
Edge Delta, “10 most common data quality issues you need to know,” (2024). Erişim tarihi: 29 Ekim 2025. [Çevrimiçi]. Erişim adresi: https://edgedelta.com/company/blog/10-data-quality-issues.
Porsline OÜ, “Online anket tasarlamadaki 7 yaygın hata ve önleme yöntemleri,” Porsline Blog. (2021). Erişim tarihi: 29 Ekim 2025. [Çevrimiçi]. Erişim adresi: https://porsline.com/blog/tr/online-anket-tasarlamadaki-7-yaygin-hata/.
R. Y. Wang and D. M. Strong, “Beyond Accuracy: What Data Quality Means to Data Consumers,” J. Manag. Inf. Syst., vol. 12, no. 4, pp. 5–33, 1996, doi: 10.1080/07421222.1996.11518099.
Bi Technology, “Veri analisti nasıl olunur?” Bi Technology Blog. (2025). Erişim tarihi: 29 Ekim 2025. [Çevrimiçi]. Erişim adresi: https://www.bitechnology.com/tr/veri-analisti-nasil-olunur/.
W. R. Shadish, T. D. Cook ve D. T. Campbell, Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Boston, MA, ABD: Houghton Mifflin, 2001.
J. P. Simmons, L. D. Nelson, and U. Simonsohn, “False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant,” Psychol. Sci., vol. 22, no. 11, pp. 1359–1366, 2011.
J. P. A. Ioannidis, “Why most published research findings are false,” PLOS Med., vol. 2, no. 8, p. e124, 2005.
C. Andrade, “HARKing, cherry-picking, p-hacking, fishing expeditions, and data dredging and mining as questionable research practices,” J. Clin. Psychiatry, vol. 82, no. 3, p. 20f13804, 2021.
J. Botella and M. Suero, “Commentary: The extent and consequences of p-Hacking in science,” Front. Psychol., vol. 11, p. 581910, 2020.
M. Friese and J. Frankenbach, “p-Hacking and publication bias interact to distort meta-analytic effect size estimates,” Psychol. Methods, vol. 25, no. 4, pp. 456–471, 2020.
Ş. Akıncı, Bilimsel Araştırma ve Yayın Etiği. Ankara, Türkiye: Nobel Akademik Yayıncılık, 2017.
G. M. Souza, et al., “Selective outcome reporting bias is highly prevalent in randomized clinical trials,” J. Periodontal Res., vol. 57, no. 3, pp. 517–526, 2022.
MS. Karen, O. Jen, K. Stephen, D.T. Siobhan, A. Kerry, B. Molly, et al., “Selective outcome reporting in trials of behavioural health interventions in health psychology and behavioural medicine journals: a review,” Health Psychology Review, vol. 18, no. 4, pp. 824-838, 2024, doi: 10.1080/17437199.2024.2367613
A. Vuckovic, A. Tsimelzon, and A. Catic, “Misconducts in research and methods to uphold research integrity,” Indian J. Cancer, vol. 61, no. 2, pp. 354–359, Apr. 2024, doi: 10.4103/ijc.ijc_4_23.
H. Gümüş, et al., “Oxidative stress and decreased Nrf2 level in pediatric patients with COVID‐19,” J. Med. Virol., vol. 94, no. 5, pp. 2259–2264, 2022.
N. M. Razali and Y. B. Wah, “Power comparisons of Shapiro-Wilk, Kolmogorov-Smirnov, Lilliefors and Anderson-Darling tests,” Journal of Statistical Modeling and Analytics, vol. 2, no. 1, pp. 21–33, 2011.
J. O. Westgard, Basic QC Practices: Training in Statistical Quality Control for Medical Laboratories, 2. baskı. Madison, WI, ABD: Westgard Quality Corp, 2002.
K. A. Gomez ve A. A. Gomez, Statistical Procedures for Agricultural Research, 2. baskı. New York, NY: John Wiley & Sons, 1984.
C. E. Brown, Applied Multivariate Statistics in Geohydrology and Related Sciences. Berlin, Heidelberg: Springer-Verlag, 1998, doi: 10.1007/978-3-642-80328-4.
R. A. Zwaan, et al., “An introduction to the Bayesian approach to statistical inference,” Psychol. Bull., vol. 143, no. 3, pp. 329–350, 2017.
Z. Dienes, “Using Bayes to get the most out of non-significant results,” Front. Psychol., vol. 5, pp. 781, 2014, doi: 10.3389/fpsyg.2014.00781.
Z. Dienes, “Bayesian vs. Frequentist Hypothesis Testing,” Collabra: Psychology, vol. 7, no. 1, pp. 28202, 2021, doi: 10.1525/collabra.28202
A. Etz and J. Vandekerckhove, “A Bayesian perspective on the replication crisis,” J. Appl. Soc. Psychol., vol. 47, no. 4, pp. 185–199, 2017.
J. Fontenot, “Bayesian Approaches as a Mitigation Strategy for P-Hacking,” J. Nurs. Educ., vol. 64, no. 6, pp. e30, 2025.

Details

Primary Language

Turkish

Subjects

Agricultural Engineering (Other)

Journal Section

Research Article

Authors

İrfan Ozturk
0000-0002-6421-5604
Türkiye

Kübra Taşçı ^*
0009-0003-6141-6712
Türkiye

Early Pub Date

October 1, 2026

Publication Date

-

Submission Date

October 29, 2025

Acceptance Date

May 18, 2026

Published in Issue

Year 2026 Number: Advanced Online Publication

DOI

https://doi.org/10.55007/dufed.1810396

IZ

https://izlik.org/JA27HH63HH

APA

Ozturk, İ., & Taşçı, K. (2026). Araştırmalarda Aşırı Derecede Örneklem Büyüklüğünün Neden Olduğu Tip I Hata: Bir Vaka Analizi. Dicle Üniversitesi Fen Bilimleri Enstitüsü Dergisi, Advanced Online Publication. https://doi.org/10.55007/dufed.1810396

AMA

1.Ozturk İ, Taşçı K. Araştırmalarda Aşırı Derecede Örneklem Büyüklüğünün Neden Olduğu Tip I Hata: Bir Vaka Analizi. DUFED. 2026;(Advanced Online Publication). doi:10.55007/dufed.1810396

Chicago

Ozturk, İrfan, and Kübra Taşçı. 2026. “Araştırmalarda Aşırı Derecede Örneklem Büyüklüğünün Neden Olduğu Tip I Hata: Bir Vaka Analizi”. Dicle Üniversitesi Fen Bilimleri Enstitüsü Dergisi, no. Advanced Online Publication. https://doi.org/10.55007/dufed.1810396.

EndNote

Ozturk İ, Taşçı K (October 1, 2026) Araştırmalarda Aşırı Derecede Örneklem Büyüklüğünün Neden Olduğu Tip I Hata: Bir Vaka Analizi. Dicle Üniversitesi Fen Bilimleri Enstitüsü Dergisi Advanced Online Publication

IEEE

[1]İ. Ozturk and K. Taşçı, “Araştırmalarda Aşırı Derecede Örneklem Büyüklüğünün Neden Olduğu Tip I Hata: Bir Vaka Analizi”, DUFED, no. Advanced Online Publication, Oct. 2026, doi: 10.55007/dufed.1810396.

ISNAD

Ozturk, İrfan - Taşçı, Kübra. “Araştırmalarda Aşırı Derecede Örneklem Büyüklüğünün Neden Olduğu Tip I Hata: Bir Vaka Analizi”. Dicle Üniversitesi Fen Bilimleri Enstitüsü Dergisi. Advanced Online Publication (October 1, 2026). https://doi.org/10.55007/dufed.1810396.

JAMA

1.Ozturk İ, Taşçı K. Araştırmalarda Aşırı Derecede Örneklem Büyüklüğünün Neden Olduğu Tip I Hata: Bir Vaka Analizi. DUFED. 2026. doi:10.55007/dufed.1810396.

MLA

Ozturk, İrfan, and Kübra Taşçı. “Araştırmalarda Aşırı Derecede Örneklem Büyüklüğünün Neden Olduğu Tip I Hata: Bir Vaka Analizi”. Dicle Üniversitesi Fen Bilimleri Enstitüsü Dergisi, no. Advanced Online Publication, Oct. 2026, doi:10.55007/dufed.1810396.

Vancouver

1.İrfan Ozturk, Kübra Taşçı. Araştırmalarda Aşırı Derecede Örneklem Büyüklüğünün Neden Olduğu Tip I Hata: Bir Vaka Analizi. DUFED. 2026 Oct. 1;(Advanced Online Publication). doi:10.55007/dufed.1810396

DUFED is indexed/abstracted/enlisted in

DUFED is licensed under a Creative Commons Attribution 4.0 International License.

DUFED is a diamond open-access journal which means that all content is freely available without charge to the user or his/her institution. Users are allowed to read, download, copy, distribute, print, search, or link to the full texts of the articles, or use them for any other lawful purpose, without asking prior permission from the publisher or the author. This is in accordance with the BOAI definition of open access. In addition, authors are not charged article processing fees or publication fees - no fees whatsoever. Importantly, authors retain the copyright of their work and allow it to be shared and reused, provided that it is correctly cited.

https://doi.org/10.55007/dufed.xxxxxxx

Type I Error Caused by Extremely Large Sample Size in Research: A Case Analysis

Abstract

Keywords

Araştırmalarda Aşırı Derecede Örneklem Büyüklüğünün Neden Olduğu Tip I Hata: Bir Vaka Analizi

Abstract

Keywords

References

Details

Primary Language

Subjects

Journal Section

Authors

Early Pub Date

Publication Date

Submission Date

Acceptance Date

Published in Issue

DOI

IZ

Cite