A Preliminary Study to Evaluate the Reproducibility of Factor Analysis Results: The Case of Educational Research Journals in Turkey

Abstract

In quantitative research, an attempt to reproduce previously reported results requires at least a transparent definition of the population, sampling method, and the analyses procedures used in the prior studies. Focusing on the articles published between 2010 and 2017 by the four prestigious educational research journals in Turkey, this study aimed to investigate the reproducibility of the factor analysis results from a theoretical perspective. A total of 275 articles were subject to descriptive content analysis. Results showed that 77.8% of the studies did not include an explicit definition of the population under interest, and in 50.9% of the studies, the sampling method was either not clear or reported to be convenience sampling. Moreover, information about the missing data or a missing data dealing technique was absent in the 76% of the articles. Approximately, half of the studies were found to have inadequate model fit. Furthermore, in almost all studies, it could not be determined whether the item types (i.e., levels of measurement scales) were taken into consideration during the analyses. In conclusion, the majority of the investigated factor analysis results were evaluated to be non-reproducible in practice.

Keywords

• Reproducibility,factor analysis,descriptive content analysis

Türkiye Adresli Eğitim Araştırmaları Dergilerinde Yayınlanmış Faktör Analizi Sonuçlarının Tekrarlanabilirliği Üzerine Bir Ön Çalışma

Abstract

Akademik çalışmalarda istatistiksel çıkarımlarla erişilen sonuçları tekrar edebilmek; evrenin, örnekleme yönteminin ve çözümleme süreçlerinin şeffaf olarak tanımlanmaması durumunda mümkün değildir. Bu çalışmada Türkiye’de eğitim araştırmalarında saygın olarak kabul edilen dört dergide 2010-2017 yılları arasında yayınlanmış makalelerde yer alan faktör analizleri, sonuçlarının tekrarlanabilirliği açısından incelenmiştir. Toplamda 275 makalenin betimsel içerik analizi yapılmıştır. Çalışmaların %77.8’inde evren tanımının açıkça yapılmadığı, %50.9’unda örnekleme yönteminin belirtilmediği veya uygun örneklem kullanıldığı, %76’sında kayıp verilerden bahsedilmediği görülmüştür. Model-veri uyumu açısından çalışmaların yaklaşık yarısının eleştirilebilir olduğu değerlendirilmiştir. Araştırmalarda verilerin yapısının (sürekli/kategorik) dikkate alınıp alınmadığı da tespit edilememiştir. İncelenen çalışmalarda raporlanan sonuçları tekrar edilebilmenin büyük oranda mümkün olmayacağı değerlendirilmiştir.

References

1. Acar, T. (2014). Ölçek geliştirmede geçerlik kanıtları: Çapraz geçerlik, sınıflama ve sıralama geçerliği uygulaması. Kuram ve Uygulamada Eğitim Bilimleri, 14, 1-11.
2. Akbaş, U., & Tavşancıl, E. (2015). Farklı Örneklem büyüklüklerinde ve kayıp veri örüntülerinde ölçeklerin psikometrik özelliklerinin kayıp veri baş etme teknikleri ile incelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 6, 38-57.
3. Allison, P. D. (2003). Missing data techniques for structural equation modeling. Journal of Abnormal Psychology, 112, 545-557.
4. Anderson, C. J., Bahník, Š., Barnett-Cowan, M., Bosco, F. A., Chandler, J., Chartier, C. R., ... & Della, N. P. (2016). Response to Comment on" Estimating the reproducibility of psychological science". Science (New York, NY), 351(6277), 1037-1037.
5. Atılgan, H., Kan, A., & Aydın, B. (2017). Eğitimde Ölçme ve Değerlendirme. Ankara: Anı Yayıncılık.
6. Balcı, A. (2015) Sosyal Bilimlerde Araştırma: Yöntem, Teknik ve İlkeler. Ankara: Pegem Yayınları.
7. Beauducel, A., & Herzberg, P. Y. (2006). On the performance of maximum likelihood versus means and variance adjusted weighted least squares estimation in CFA. Structural Equation Modeling, 13, 186-203.
8. Bornstein, M. H., Jager, J., & Putnick, D. L. (2013). Sampling in developmental science: Situations, shortcomings, solutions, and standards. Developmental Review, 33, 357-370.

9. Bryant, F. B., & Yarnold, P. R. (1995). Principal-components analysis and exploratory and confirmatory factor analysis. In L. G. Grimm & P. R. Yarnold (Eds.), Reading and understanding multivariate statistics (pp. 99-136). Washington, DC, US: American Psychological Association.
10. Büyüköztürk, Ş. (2002). Faktör analizi: Temel kavramlar ve ölçek geliştirmede kullanımı. Kuram ve Uygulamada Eğitim Yönetimi, 32, 470-483.
11. Collaboration, O. S., & others. (2015). Estimating the reproducibility of psychological science. Science, 349(6251).
12. Crocker, L. M., & Algina, J. (1986). Introduction to classical and modern test theory. New York: Holt, Rinehart, Winston.
13. Çüm, S., & Gelbal, S. (2015). Kayıp veriler yerine yaklaşık değer atamada kullanılan farklı yöntemlerin model veri uyumu Üzerindeki etkisi. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 1(35), 87-111.
14. Çüm, S., & Koç, N. (2013). Türkiye’de psikoloji ve eğitim bilimleri dergilerinde yayımlanan ölçek geliştirme ve uyarlama çalışmalarının incelenmesi. Journal of Educational Sciences & Practices, 12(24), 115-135.
15. Delice, A. (2010). Nicel araştırmalarda örneklem sorunu. Kuram ve Uygulamada Egitim Bilimleri, 10, 1969-2018.
16. Demir, E., & Parlak, B. (2012). Türkiye’de eğitim araştırmalarında kayıp veri sorunu. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 3, 230-241.
17. Erkuş, A. (2016). Ölçek geliştirme ve uyarlama çalışmalarındaki sorunlar ile yazım ve değerlendirilmesi. Pegem Atıf İndeksi, 1211-1224.
18. Gall, M. D., Borg, W. R., & Gall, J. P. (1996). Educational research: An introduction. White Plains, NY: Longman USA.
19. Gaskin, C. J., Orellana, L., Bowe, S. J., & Lambert, S. D. (2017). Why sample selection matters in exploratory factor analysis: Implications for the 12-item world health organization disability assessment schedule 2.0. BMC Medical Research Methodology, 17(1), 40.
20. Gilbert, D. T., King, G., Pettigrew, S., & Wilson, T. D. (2016). Comment on estimating the reproducibility of psychological science. Science, 351(6277), 1037-1037.
21. Gökmen, Ö. F., Uysal, M., Yaşar, H., Kirksekiz, A., Güvendi, G. M., & Horzum, M. B. (2017). Türkiye’de 2005-2014 yılları arasında yayınlanan uzaktan eğitim tezlerindeki yöntemsel eğilimler: Bir İçerik analizi. Eğitim ve Bilim, 42(189), 1-25.
22. Göktaş, Y., Küçük, S., Aydemir, M., Telli, E., Arpacık, Ö., Yıldırım, G., & Reisoğlu, I. (2012). Türkiye’de eğitim teknolojileri araştırmalarındaki eğilimler: 2000-2009 dönemi makalelerinin içerik analizi. Kuram ve Uygulamada Eğitim Bilimleri Dergisi, 12(1), 177-199.
23. Gül, Ş., & Sözbilir, M. (2015). Fen ve matematik eğitimi alanında gerçekleştirilen Ölçek geliştirme araştırmalarına yönelik tematik içerik analizi. Eğitim ve Bilim, 40(178), 85-102.
24. Güvendir, M. A., & Özkan, Y. Ö. (2015). Türkiye’deki eğitim alanında yayımlanan bilimsel dergilerde ölçek geliştirme ve uyarlama konulu makalelerin incelenmesi. Elektronik Sosyal Bilimler Dergisi, 14(52), 23-33.
25. Hogarty, K. Y., Hines, C. V., Kromrey, J. D., Ferron, J. M., & Mumford, K. R. (2005). The quality of factor solutions in exploratory factor analysis: The influence of sample size, communality, and overdetermination. Educational and Psychological Measurement, 65, 202-226.
26. Hox, J. J. (1995). Amos, EQS, and Lisrel for windows: A comparative review. Structural Equation Modeling: A Multidisciplinary Journal, 2(1), 79-91.
27. Karadağ, E. (2011). Eğitim bilimleri doktora tezlerinde kullanılan Ölçme araçlar: Nitelik düzeyleri ve analitik hata tipleri. Kuram ve Uygulamada Eğitim Bilimleri, 11(1), 311-334.
28. Kish, L. (1965). Survey sampling. John Wiley; Sons.
29. Kline, R. B. (2015). Principles and practice of structural equation modeling. Guilford publications.
30. Kozikoğlu, I., & Senemoğlu, N. (2016). Eğitim programları ve Öğretim alanında yapılan doktora tezlerinin içerik analizi (2009-2014). Eğitim ve Bilim, 40(182), 29-41.
31. Kürşad, M. Ş., & Nartgün, Z. (2015). Kayıp veri sorununun çözümünde kullanılan farklı yöntemlerin Ölçeklerin geçerlik ve güvenirliği bağlamında karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 6, 254-267.
32. Landers, R. N., & Behrend, T. S. (2015). An inconvenient truth: Arbitrary distinctions between organizational, mechanical turk, and other convenience samples. Industrial and Organizational Psychology, 8, 142-164.
33. Lavrakas, P. J. (2008). Encyclopedia of survey research methods. Sage Publications.
34. Levy, P. S., & Lemeshow, S. (2013). Sampling of populations: Methods and applications. John Wiley & Sons.
35. Lewis-Beck, M. S., Bryman, A. , & Liao, T. F. (2004). The Sage Encyclopedia of social science research methods. Thousand Oaks: Sage.
36. Li, C. H. (2016). Confirmatory factor analysis with ordinal data: Comparing robust maximum likelihood and diagonally weighted least squares. Behavior Research Methods, 48, 936-949.
37. Lord, F. M., and Novick, M. R. (1968). Statistical theories of mental test scores. Reading, Mass.: Addison-Wesley
38. Marsh, H. W., Balla, J. R., & McDonald, R. P. (1988). Goodness-of-fit indexes in confirmatory factor analysis: The effect of sample size. Psychological Bulletin, 103, 391-410.
39. Moshontz, H., Campbell, L., Ebersole, C. R., IJzerman, H., Urry, H. L., Forscher, P. S., ... & Castille, C. M. (2018). The Psychological Science Accelerator: Advancing psychology through a distributed collaborative network. Advances in Methods and Practices in Psychological Science, DOI: 10.1177/2515245918797607
40. Neuman, W. L. (2013). Social research methods: Qualitative and quantitative approaches. Pearson education.
41. Nunnally, J., & Bernstein, I. (1994). Psychometric Theory (3rd Edition). New York: McGraw-Hill, Inc.
42. O'Boyle, E. H., Jr., & Williams, L. J. (2011). Decomposing model fit: Measurement vs. theory in organizational research using latent variables. Journal of Applied Psychology, 96(1), 1-12.
43. Öztürk, N. B., Eroğlu, M. G., & Kelecioğlu, H. (2015). Eğitim alanında yapılan ölçek uyarlama makalelerinin incelenmesi. Eğitim ve Bilim, 40(178), 123-137.
44. Peterson, R. A., & Merunka, D. R. (2014). Convenience samples of college students and research reproducibility. Journal of Business Research, 67, 1035-1041.
45. Prudon, P. (2015). Confirmatory factor analysis as a tool in research using questionnaires: A critique. Comprehensive Psychology, 4, 1-19.
46. Ray, J. J. (1990). Acquiescence and problems with forced-choice scales. The Journal of Social Psychology, 130, 397-399.
47. Rhemtulla, M., Brosseau-Liard, P. É., & Savalei, V. (2012). When can categorical variables be treated as continuous? A comparison of robust continuous and categorical SEM estimation methods under suboptimal conditions. Psychological Methods, 17, 354-373.
48. Schafer, J. L. (1997). Analysis of incomplete multivariate data. Chapman and Hall/CRC.
49. Schlomer, G. L., Bauman, S., & Card, N. A. (2010). Best practices for missing data management in counseling psychology. Journal of Counseling Psychology, 57(1), 1-10.
50. Selçuk, Z., Palancı, M., Kandemir, M., & Dündar, H. (2014). Eğitim ve bilim dergisinde yayınlanan araştırmaların eğilimleri: İçerik analizi. Eğitim ve Bilim, 39(173), 428-449.
51. Simon, A. (1979). Effects of selective sampling on a factor analysis. The Journal of General Psychology, 101, 259-264.
52. Smith, T. (1983). On the validity of inferences from non-random sample. Journal of the Royal Statistical Society. Series A (General), 146, 394-403.
53. Sözbilir, M., Güler, G., & Çiltaş, A. (2012). Türkiye’de matematik eğitimi araştırmaları: Bir içerik analizi Çalışması. Kuram ve Uygulamada Eğitim Bilimleri, 12, 565-580.
54. Stapleton, L. M., & Leite, W. L. (2005). Teacher's corner: A review of syllabi for a sample of structural equation modeling courses. Structural Equation Modeling, 12, 642-664.
55. Sterba, S. K. (2009). Alternative model-based and design-based frameworks for inference from samples to populations: From polarization to integration. Multivariate Behavioral Research, 44, 711-740.
56. Thompson, B. (2004). Exploratory and confirmatory factor analysis: Understanding concepts and applications. Washington, DC: American Psychological Association.
57. Tyrer, S., & Heyman, B. (2016). Sampling in epidemiological research: Issues, hazards and pitfalls. BJPsych Bulletin, 40(2), 57-60.
58. Van Prooijen, J. W., & Van Der Kloot, W. A. (2001). Confirmatory analysis of exploratively obtained factor structures. Educational and Psychological Measurement, 61, 777-792.
59. Wolf, E. J., Harrington, K. M., Clark, S. L., & Miller, M. W. (2013). Sample size requirements for structural equation models: An evaluation of power, bias, and solution propriety. Educational and Psychological Measurement, 73, 913-934.
60. Worthington, R. L., & Whittaker, T. A. (2006). Scale development research: A content analysis and recommendations for best practices. The Counseling Psychologist, 34, 806-838.
61. Wright, A. G. (2017). The current state and future of factor analysis in personality disorder research. Personality Disorders: Theory, Research, and Treatment, 8(1), 14-25.
62. Xiao, Y., Liu, H., & Li, H. (2017). Integration of the Forced-Choice Questionnaire and the Likert Scale: A Simulation Study. Frontiers in Psychology, 8, 806.Yalçın, S., Yavuz, H. C., & Dibek, M. I. (2016). En yüksek etki faktörüne sahip eğitim dergilerindeki makalelerin İçerik analizi. Eğitim ve Bilim, 40(182), 1-28.
63. Yang-Wallentin, F., Jöreskog, K. G., & Luo, H. (2010). Confirmatory factor analysis of ordinal variables with misspecified models. Structural Equation Modeling, 17, 392-423.
64. Yılmaz, K., & Altınkurt, Y. (2012). An examination of articles published on preschool education in Turkey. Educational Sciences: Theory and Practice, 12, 3227-3241.
65. Yurdugül, H., & Bayrak, F. (2012). Ölçek geliştirme Çalışmalarında kapsam geçerlik Ölçüleri: Kapsam geçerlik indeksi ve kappa istatistiğinin karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, Özel Sayı, 2, 264-271.