Comparison of Exploratory Factor Analysis Studies in Turkish Measurement Tools Index According to Parallel Analysis Results

Abstract

The purpose of this study is to investigate the number of extracted factors in exploratory factor analysis (EFA) studies which takes part in Turkish Measurement Tools Index (TMTI / TOAD) according to parallel analysis results. By the date the study had begun, 4440 studies were indexed in TMTI, 500 studies were selected by systematic sampling procedure among them and the number of full texts investigated is 451. For these studies, values were coded by using a form which was developed by researchers such as sample size, number of items, rotation method. For 300 studies in which EFA was implied, some of them do not include information about sample size, number of items, minimum factor loading, number of factors, extracted variance. The most frequent extraction method is principal component analysis, and criterion for number of factors is eigenvalue greater than unity. For multifactor scales typical rotation, method is varimax. Amongst 67 EFA studies that could be compared to parallel analysis results, 52 overextraction and seven underextraction situation was detected. For seven studies, number of factors were accurate. Findings are discussed within existing literature and a checklist is recommended for the purpose of minimizing deficiencies in reporting EFA results.

Keywords

• Turkish Measurement Tools Index,exploratory factor analysis,parallel analysis,numbers of factors

Türkiye Ölçme Araçları Dizininde Yer Alan Açımlayıcı Faktör Analizi Çalışmalarının Paralel Analiz Sonuçları İle Karşılaştırılması

Öz

Bu araştırmanın amacı, Türkiye Ölçme Araçları Dizininde (TOAD – http://toad.edam.com.tr/olcek) yer alan ölçek geliştirme veya uyarlama çalışmalarında açımlayıcı faktör analizi (AFA) ile belirlenmiş olan faktör sayılarının paralel analiz sonuçlarına göre incelenmesidir. Araştırmanın başladığı tarih itibariyle TOAD’da yer alan 4440 çalışma arasından 500’ü sistematik örnekleme yöntemiyle seçilmiş ve bu araştırmalardan 451’inin tam metnine ulaşılabilmiştir. Tam metnine ulaşılabilen çalışmalardaki örneklem büyüklüğü, madde sayısı, eksen döndürme yöntemi gibi bilgiler araştırmacılar tarafından geliştirilen bir forma göre kodlanmıştır. İncelemeler sonucunda AFA gerçekleştirilen 300 araştırma raporunda örneklem büyüklüğü, madde sayısı, faktör yükü alt sınırı, faktör sayısı, açıklanan varyans oranı gibi bilgilere yer vermeyen çalışmaların bulunduğu görülmüştür. AFA’da en sık kullanılan faktör çıkarma yönteminin temel bileşenler analizi olduğu, özdeğerin 1’den büyük olmasının ise faktör sayısına karar vermede en sık kullanılan ölçüt olduğu tespit edilmiştir. Birden çok faktörün çıkarıldığı durumlarda en sık kullanılan eksen döndürme tekniği ise varimax’tır. Paralel analiz sonuçları ile karşılaştırılabilen 67 AFA çalışmasından 52’sinde fazla, sekizinde eksik ve yedisinde doğru sayıda faktörün çıkarıldığı belirlenmiştir. Bulgular mevcut alanyazın kapsamında tartışılmış ve AFA’nın raporlaştırılmasındaki eksiklerin azaltılabilmesi amacıyla bir kontrol listesi önerilmiştir.

Anahtar Kelimeler

• Türkiye Ölçme Araçları Dizini,açımlayıcı faktör analizi,paralel analiz,faktör sayısı

References

1. Acar Güvendir, M. & Özer Özkan, Y. (2015). Türkiye’deki eğitim alanında yayımlanan bilimsel dergilerde ölçek geliştirme ve uyarlama konulu makalelerin incelenmesi. Elektronik Sosyal Bilimler Dergisi, 14(52), 23-33.
2. Akın, A. (2015). Psikolojide kullanılan güncel ölçme araçları: cilt I-II. Ankara: Nobel Yayın Dağıtım.
3. Amerikan Eğitim Araştırmaları Birliği Amerikan Psikoloji Birliği, Eğitim Ölçümleri Uluslararası Konseyi, (1998). Eğitimde ve psikolojide ölçme standartları. (Çev. S. Hovardaoğlu ve N. Sezgin). Ankara: Türk Psikologlar Derneği Yayınları, No: 14.
4. Anastasi, A. & Urbina, S. (1997). Psychological testing (7th ed). New Jersey: Prentice-Hall, Inc.
5. Arrindell, W. A. & Van der Ende, J.. (1985). An emprical test of the utility of the observations-to-variables ratio in factor and components analysis. Applied Psychological Measurement, 9(2), 165-178.
6. Bandalos, D. L. & Finney, S. J. (2010). Factor analysis: Exploratory and confirmatory. In Gregory, R. Hancock & Ralph. O. Mueller (Eds.). The reviewer’s guide to quantitavi methods in the social sciences (pp. 93-114) New York: Routledge.
7. Baykul, Y. (2000). Eğitimde ve psikolojide ölçme: klasik test teorisi ve uygulaması. Ankara: ÖSYM Yayınları.
8. Bollen, K. A. (1989). Structural equations with latent variables. USA: John Wiley & Sons, Inc.

9. Buja, A. & Eyüboğlu, N. (1992). Remarks on parallel analysis. Multivariate Behavioral Research, 27(4), 509-540.
10. Büyüköztürk, Ş. (2018). Sosyal bilimler için veri analizi el kitabı: İstatistik, araştırma deseni, SPSS uygulamaları ve yorum (24. baskı). Ankara: Pegem Akademi.
11. Cassidy, S. (2016). The academic resilience scale (ARS-30): a new multidimensional construct measure. Frontiers in Psychology, 7(1787), 1-11.
12. Cattell, R. B. (1966). The scree test fort he number of factors. Multivariate Behavioral Research, 1(2), 245-276.
13. Comrey, A. L. (1978). Common methodological problems in factor analytic studies. Journal of Clinical and Consulting Psychology, 46(4), 648-659.
14. Comrey, A. L. & Lee, H. B. (1992). A first course in factor analysis (2nd ed). New Jersey: Lawrence Erlbaum Associates, Inc.
15. Costello, A. B. & Osborne, J. (2005). Best practices in exploratory factor analysis: foru recommendatioans for getting the most from your analysis. Practical Assessment Research & Evaluation, 10(7). Available online: http://pareonline.net/getvn.asp?v=10&n=7
16. Crawford, A. V., Green, S. B., Levy, R., Lo, W, Scott, L., Svetina, D. & Thompson, M. S. (2010). Evaluation of parallel analysis methods for determining the number of factors. Educational and Psychological Measurement, 70(6), 885-901.
17. Crawford, C. B. & Koopman, P. (1973). A note on Horn’s test fort he number of factors in factor analysis. Multivariate Behavioral Research, 8(1), 117-125.
18. Crawford, C. B. & Koopman, P. (1979). Note: Inter-rater reliability of scree test and mean square ratio test of number of factors. Perceptual and Motor Skills, 49, 223-226.
19. Crocker, L. & Algina, J. (2008). Introduction to classical and modern test theory. USA: Cengage Learning.
20. Cronbach, L. J. & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281-302.
21. Cronbach, L. J. (1990). Essentials of psychological testing (5th ed). New York: Harpers Collins Publishers, Inc.
22. Çokluk, Ö. & Koçak, D. (2016). Using Horn’s parallel analysis method in exploratory factor analysis for determining the number of factors. Kuram ve Uygulamada Eğitim Bilimleri, 16(2), 537-551.
23. Çokluk, Ö. Şekercioğlu, G. & Büyüköztürk, Ş. (2014). Sosyal bilimler için çok değişkenli istatistik: SPSS ve LISREL uygulamaları (3. baskı). Ankara: Pegem Akademi.
24. Çüm, S. & Koç, N. (2013). Türkiye’de psikoloji ve eğitim bilimleri dergilerinde yayımlanan ölçek geliştirme ve uyarlama çalışmalarının incelenmesi. Eğitim Bilimleri ve Uygulama Dergisi, 12(24), 115-135.
25. Dancey, C. P. & Reidy, J. (2007). Statistics without maths for psychology (4th ed). Essex: Pearson Education Limited.
26. Delice, A. & Ergene, Ö. (2015). Ölçek geliştirme ve uyarlama çalışmalarının incelenmesi: matematik eğitimi makaleleri örneği. Karaelmas Journal of Educational Sciences, 3, 60-75.
27. Ding, L., Velicer, W. F. & Harlow, L. L. (1995). Effects of estimation methods, number of indicators per factor, and improper solutions on structural equation modeling fit indices. Structural Equation Modeling, 2(2), 119-144.
28. Erkuş, A. (2013). Davranış bilimleri için bilimsel araştırma süreci (4. baskı). Ankara: Seçkin Yayıncılık.
29. Erkuş, A. (2016). Psikolojide ölçme ve ölçek geliştirme – I: Temel kavramlar ve işlemler (3. baskı). Ankara: Pegem Akademi.
30. Fabrigar, L. R., Wegener, D. T., MacCallum, R. C. & Strahan, E. J. (1999). Evaluating the use of exploratory factor analysis in psychological research. Psychological Bulletin, 4(3), 272-299.
31. Fava, J. L. & Velicer, W. F. (1992). The effects of overextraction on factor and component analysis. Multivariate Behavioral Research, 27(3), 387-415.
32. Fava, J. L. & Velicer, W. F. (1996). The effects of underextraction in factor and component analysis. Educational and Psychological Measurement, 56(6), 907-929.
33. Field, A. (2013). Discovering statistics using IBM SPSS statistics (4th ed.). Canada: Sage.
34. Ford, J. K., MacCallum, R. C. & Tait, M. (1986). The application of exploratory factor analysis in applied psychology: a critical review and analysis. Personnel Psychology, 39, 291-314.
35. Franklin, S. B., Gibson, D. J., Robertson, P. A., Pohlmann, J. T. & Fralish, J. S. (1995). Parallel analysis: a method for determining significant principal components. Journal of Vegetation Science, 6(1), 99-106.
36. Glorfeld, L. W. (1995). An improvement on Horn’s parallel analysis methodology for selecting the correct number of factorsto retain. Educational and Psychological Measurement, 55(3), 377-393.
37. Gorsuch, R. L. (1983). Factor analysis (2nd ed). New Jersey: Erlbaum.
38. Gorsuch, R. L. (2003). Factor analysis. In John A. Schinka & Wayne F. Velicer (Eds.). Handbook of psychology, volume 2: research methods in psychology (pp. 143-164) New Jersey: John Wiley & Sons, Inc.
39. Green, S. B., Levy, R., Thompson, M. S. Lu, M. & Lo, W. (2012). A proposed solution to the problem with using completely random data to assess the number of factors with parallel analysis. Educational and Psycholoical Measurement, 72(3), 357-374.
40. Guadagnoli, E. & Velicer, F. W. (1988). Relation of sample size to the stability of component patterns. Psychological Bulletin, 103(2), 265-275.
41. Guttman, L. (1954). Some necessary conditions for common-factor analysis. Psychometrika, 19(2), 149-161.
42. Güngör, D. (2016). Psikolojide ölçme araçlarının geliştirilmesi ve uyarlanması kılavuzu. Türk Psikoloji Yazıları, 19(38), 104-112.
43. Hair, J. F., Black, W. C., Babin, B. J., Anderson, R. E. & Tatham, R. L. (2006). Multivariate data analysis (6th ed.). New Jersey: Pearson
44. Hayton, J. C., Allen, D. G. & Scarpello, V. (2004). Factor retention decisions in exploratory factor analysis: a tutorial on parallel analysis. Organisational Research Methods, 7(2), 191-205.
45. Henson, R. K. & Roberts, J. K. (2006). Use of exploratory factor analysis in published research: common errors and some comment on improved practice. Educational and Psychological Measurement, 66(3), 393-416.
46. Hinkin, T. R. (1998). A brief tutorial on the development of measuref for use in survey questionnaires. Organizational Research Methods, 2(1), 104-121.
47. Horn, J. L. (1965). A rationale and test fort he numbers of factors in factor analysis. Psychometrika, 30(2), 179-185.
48. Howard, M. C. (2016). A review of exploratory factor analysis decisions and overview of current practices: what we are doing and how can we improve? International Journal of Human-Computer Interaction, 32(1), 51-62.
49. Izquierdo, I., Olea, J. & Abad, F. J. (2014). Exploratory factor analysis in validation studies: uses and recommendatitons. Psicothema, 26(3), 395-400.
50. Jolliffe, I. T. (1972). Discarding variables in a principal component analysis I: Artificial data. Journal of Royal Statistics Society, 21(2), 160-173.
51. Kaiser, H. F. (1960). The applications of electronic computers to factor analysis. Educational and Psychological Measurement, 20, 141-151.
52. Kane, M. T. (2001). Concerns in validity theory. Journal of Educational Measurement, 38(4), 319-342.
53. Karasar, N. (1998). Bilimsel araştırma yöntemi (17. baskı). Ankara: Nobel Yayın Dağıtım.
54. Kaya Uyanık, G., Güler, N., Taşdelen Teker, G. & Demir, S. (2017). Türkiye’de eğitim alanında yayımlanan ölçek geliştirme çalışmalarının uygunluğunun çok yüzeyli Rasch modeli ile incelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 8(2), 183-199.
55. Kelecioğlu, H. & Göçer Şahin, S. (2014). Geçmişten günümüze geçerlik. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(2), 1-11.
56. Kline, P. (1994). An easy guide to factor analysis. New York: Routledge.
57. Kline, R. B. (2016) Principles and practice of structural equation modeling (4th ed). New York: The Guilford Press.
58. Koçak, D., Çokluk, Ö. & Kayri, M. (2016). Faktör sayısının belirlenmesinde MAP testi, paralel analiz, K1 ve yamaç birikinti grafiği yöntemlerinin karşılaştırılması. Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi, 13(1), 330-359.
59. Kuzgun, F. & Bacanlı, H. (2012). Rehberlik ve psikolojik danışmada kullanılan ölçme araçları ve programlar dizisi. Ankara: Nobel Yayın Dağıtım.
60. Lissitz, R. W. & Samuelsen, K. (2007). A suggested change in terminology and emphasis regarding validity and education. Educational Researcher, 36(8), 437-448.
61. Liu, O. L. & Rijmen, F. (2008). A modified procedure for parallel analysis of ordered categorical data. Behavioral Research Methods, 40(2), 556-562.
62. Lorenzo-Seva, U. & Ferrando, P. J. (2013). A comprehensive program for fitting exploratory and semiconfirmatory factor analysis and IRT models. Applied Psychological Measurement, 37(6), 497-498.
63. Loevinger, J. (1957). Objective tests as instruments of psychological theory. Psychological Reports, 3, 635-694.
64. Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Pschologist, 50(9), 741-749.
65. Muthen, L. K. & Muthen, B. O. (2010). Mplus: statistical analysis with latent variables: user’s guide Ver: 6.1. Los Angeles: Muthen&Muthen.
66. Nunnally, J. C. (1978). Psychometric theory (2nd ed). New York: McGraw-Hill.
67. O’Connor, B. P. (2000). SPSS and SAS programs for determining the number of components using parallel amalysis and Velicer’s MAP test. Behavioral Research Methods, Instruments & Computers, 32(3), 396-402.
68. Öner, N. (2006). Türkiye’de kullanılan psikolojik testlerden örnekler: bir başvuru kaynağı (2. baskı). İstanbul: Boğaziçi Üniversitesi Yayınevi.
69. Pallant, J. (2007). SPSS survival manual: A step by step guide to data analysis using the SPSS program (3rd ed.). Berkshire: McGraw Hill.
70. Park, H. S., Dailey, R. & Lemus, D. (2002). The use of exploratory factor analysis and principal component analysis in communication research. Human Communication Research, 28(4), 562-577.
71. Patil, V. H., Singh, S. N., Mishra, S. & Donavan, D. T. (2008). Efficient theory development and factor retention criteria: Abandon the “eigenvalue greater than one” criterion. Journal of Business Research, 61, 162-170.
72. Pearson, R., Mundfrom, D. & Piccone, A. (2013). A comparison of ten methods for determining the number of factors in exploratory factor analysis. Multiple Linear Regresion Viewpoints, 39(1), 1-15.
73. Pedhazur, E. J. & Schmelkin Pedhazur, L. (1991). Measurement, design, and analysis: an integrated approach. New Jersey: Lawrence Erlbaum Associates, Inc.
74. Peterson, R. A. (2000). A meta-analysis of variance accounted for and factor loadings in exploratory factor analysis. Marketing Letters, 11(3), 261-275.
75. Raiche, G., Walls, T. A., Magis, D., Riopel, M. & Blais, J. (2013). Non-graphical solutions for Cattell’s scree test. Methodology, 9(1), 23-29.
76. Ruscio, J. & Roche, B. (2012). Determining the number of factors to retain in exploratory factor analysis usingcomparison data of known factor structure. Psychological Assessment, 24(2), 282-292.
77. Sireci, S. G. (2007). On validity theory and test validation. Educational Researcher, 36(8), 477-481.
78. Stevens, J. P. (2009). Applied multivariate statistics for the social sciences (5th ed.). New York: Routledge.
79. Şahin M. G. & Boztunç Öztürk, N. (2018). Eğitim alanında ölçek geliştirme süreci: bir içerik analizi çalışması. Kastamonu Üniversitesi Kastamonu Eğitim Dergisi, 26(1), 191-199.
80. Tabachnick, B. G. & Fidell, L. S. (2013). Using multivariate statistics (6th ed.). New Jersey: Pearson.
81. Tavşancıl, E. (2002). Tutumların ölçülmesi ve SPSS ile veri analizi. Ankara: Nobel Yayın Dağıtım.
82. Thompson, B. (2004). Exploratory and confirmatory factor analysis: understandig concepts and applications. Washington: American Psychological Association.
83. Todman, J. & Dugard, P. (2007). Approaching multivariate statistics: an introduction for psychology. New York: Psychology Press.
84. Uyar, S. (2012). Açımlayıcı faktör analizinde boyut sayısını belirlemede kullanılan yöntemlerin karşılaştırılması (Yayınlanmamış yüksek lisans tezi). Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
85. Velicer, W. F. (1976). Determining the number of components from the matrix of partial correlations. Psychometrika, 41(3), 321-327.
86. Velicer, W. F., Eaton, C. A. & Fava, J. L. (2000). Construct explication through factor or component analysis: a review and evaluation of alternative procedures for determining the number of factors or components. In Goffin, R. D. & Helmes, E. (Eds.). Problems and solutions in human assessment: Honoring Douglas N. Jackson at seventy (pp. 41-71) Boston: Kluwer Academic/Plenum Publishers.
87. Watkins, M. W. (2000). Monte Carlo PCA for Parallel Analysis [computer software]. State College, PA: Ed & Psych Associates.
88. Williams, B., Brown, T. & Onsman, A. (2010). Exploratory factor analysis: a five-step guide for novices. Journal of Emergency Primary Health Care, 8(3), 1-13.
89. Wood, N. D., Akloubou Gnonhosou, D. C. & Bowling, J. (2015). Combining parallel analysis and exploratory factor analysis in identifying relationship scales in secondary data. Marriage & Family Rewiev, 51(5), 385-395.
90. Wood, J. M., Tataryn, D. J. & Gorsuch, R. L. (1996). Effects of under- and overextraction on principal axis factor analysis with varimax rotation. Psychological Methods, 1(4), 354-365.
91. Yavuz, G. & Doğan, N. (2015). Boyut sayısı belirlemede Velicer’in map testi ve Horn’un paralel analizinin kullanılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 30(3), 176-188.
92. Zwick, W. R. Velicer, W. F. (1982). Factors influencing four rules for determining the number of components to retain. Multivariate Behavioral Research, 17, 253-269.
93. Zwick, W. R. & Velicer, W. F. (1984). A comparison of five rules for determining the number of components in data sets. Paper presented at the Annual Meeting of the American Psychological Association (92nd, Toronto, Ontario, August 24-28).
94. Zwick, W. R. & Velicer, W. F. (1986). Comparison of five rules for determining the number of components to retain. Psychological Bulletin, 99(3), 432-442.