The use of polychoric and Pearson correlation matrices in the determination of construct validity of Likert type scales

Abstract

No matter how strong the theoretical infrastructure of a study is, if the measurement instruments do not have the necessary psychometric qualities, there will be a question of trust in interpreting the findings, and it will be inevitable to make wrong decisions with the results. One of the important steps in scale development/adaptation studies is to provide evidence of the experimental validity. In order to reveal evidence of construct validity of Likert type scales, to identify factor structures, to confirm previously predicted structures, factor analysis is used. The primary issue to be examined is the level of measurement of the variable and one of the leading decisions that must be taken is which relation matrix will be used. This descriptive research is based on the effects of using Pearson or polychoric correlation matrix in the factor analysis. It is determined that items showed different "item-total correlations", "loading values" and “correlation coefficients”, different factor numbers emerged, different items were removed out of the scale, confirmation status of the structure has changed.

Keywords

• Factor analysis,Polychoric correlation matrix,Pearson correlation matrix,Likert type scales,Construct validity

Likert tipi ölçeklerin yapı geçerliğinin belirlenmesi sürecinde polikorik ve Pearson korelasyon matrisinin kullanımı

Abstract

Bir bilimsel çalışmanın teorik altyapısı ne kadar sağlam olursa olsun kullanılan ölçme araçları gerekli psikometrik nitelikleri taşımıyorsa, bulguların yorumlanmasında güven problemi olacak, elde edilen sonuçlarla yanlış kararlar alınması ise kaçınılmaz olacaktır. Ölçek geliştirme-uyarlama çalışmalarında, kuşkusuz en önemli adımlardan biri, aracın psikometrik niteliklerine dair deneysel geçerlilik kanıtlarının ortaya konmasıdır. Bu niteliklerden biri de yapı geçerliğidir. Likert tipi ölçek geliştirme-uyarlama çalışmalarında, yapı geçerliğine ilişkin kanıtların ortaya konması, faktör yapılarının ortaya çıkarılması ya da daha önceden kestirilen faktör yapılarının doğrulanması amacıyla faktör analizi kullanılır. Faktör analizi öncesinde sorgulanması gereken hususların başında verilerin hangi ölçek düzeyinde toplandığı gelmektedir. Analiz sürecinde alınması gereken önemli kararlardan biri ise hangi ilişki matrisinin kullanılacağıdır. Faktör analizinde, Pearson ya da polikorik korelasyon matrisi kullanmanın analiz sonuçları üzerindeki etkisini incelemeyi ve sonuçlarını karşılaştırmayı temel alan bu araştırma betimsel bir araştırmadır. Farklı korelasyon matrisi temelli faktör analizi sonuçlarının birbirinden farklılaştığı, maddelerin farklı “madde toplam korelasyonu”, “yük değeri” ve farklı yönde korelasyon değeri gösterebildiği, farklı faktör sayılarının ortaya çıktığı, farklı maddelerin ölçek dışında bırakılabildiği ve test edilen yapının doğrulanma durumunun değiştiği belirlenmiştir.

Keywords

• Faktör analizi,Polikorik korelasyon matrisi,Pearson korelasyon matrisi,Likert tipi ölçekler,Yapı geçerliği

References

1. Albayrak, A.S. (2006). Uygulamalı çok değişkenli istatistik. Ankara: Asil Yayın
2. Amerikan Eğitim Araştırmaları Birliği, Amerikan Psikoloji Birliği, Eğitim Ölçümleri Uluslararası Konseyi (1997). Eğitimde ve psikolojide ölçme standartları. (S. Hovardaoğlu and N. Sezgin Trans.). (1st Edition). Ankara: Türk Psikologlar Derneği Yayınları. No 14
3. Anastasi, A. (1988). Psychological testing (6th Ed.). New York: McMillan.
4. Arrindell, W. A. & Van der Ende, J. (1985). An empirical test of the utility of the observations to variables ratio in factor and components analysis. Applied Psychological Measurement, 9(2), 165-178.
5. Atılgan, H., Kan, A., & Doğan, N. (2006). Eğitimde ölçme ve değerlendirme. Ankara: Anı Yayıncılık
6. Babakus, E., Ferguson, C. E., Jr., & Jöreskog, K. G. (1987), The Sensitivity of Confirmatory Maximum Likelihood Factor Analysis to Violations of Measurement Scale and Distributional Assumptions, Journal of Marketing Research, 24 (May), 222- 228.
7. Bowden, S. C. (2004). The role of factor analysis in construct validity: Is it a myth? Journal of International Neuropsychological Society. 10, 1018-1019
8. Bryant, F. B., Yarnold, P. R., & Michelson, E. A. (1999). Statistical methodology: VIII. Using confirmatory factor analysis (CFA) in emergency medicine research. Academic Emergency Medicine, 6(1), 54-56

9. Büyüköztürk, Ş. (2002). Faktör analizi: Temel kavramlar ve ölçek geliştirmede kullanımı. Kuram ve Uygulamada Eğitim Yönetimi. 32, 470-483
10. Büyüköztürk, Ş. (2013). Sosyal bilimler için veri analizi el kitabı. Ankara: Pegem Yayıncılık
11. Cattell, R. B. (1978). The scientific use of factor analysis in behavioral and life sciences. New York: Plenum
12. Comrey, A. L. & Lee, H. B. (1992). A first course in factor analysis. New Jersey: Lawrence Erlbaum Associates Inc.
13. Crocker, L., & Algina, J. (2008). Introduction to classical and modern test theory. USA: Cengage Learning
14. Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52, 281–302
15. Cronbach, L. (1984). Essentials of Psychological Testing. Harper and Row, New York
16. Çokluk, Ö., Şekercioğlu, G. and Büyüköztürk, Ş. (2010). Sosyal bilimler için çok değişkenli istatistik SPSS ve LISREL uygulamaları. Ankara: Pegem Akademi
17. DiStefano, C. (2002). The impact of categorization with confirmatory factor analysis. Structural Equation Modeling, 9, 327-346
18. Erkus, A. (2003). Psikometri üzerine yazılar (1st Edition). Ankara: Türk Psikologlar Derneği Yayınları
19. Erkuş, A. (2013). Davranış bilimleri için bilimsel araştırma süreci. Ankara: Seçkin Yayıncılık.
20. Fabrigar, L. R., Wegener, D. T., MacCallum, R. C., & Strahan, E. J. (1999). Evaluating the use of exploratory factor analysis in psychological research. Psychological Methods, 4, 272-299
21. Gorsuch, R. L. (1974). Factor analysis (First Edition). Philadelphia: W. B. Saunders Company
22. Gorsuch, R. L. (1983). Factor Analysis (2nd ed.). Hillsdale, NJ: Lawrence Erlbaum Associates.
23. Gözütok, F. D., Toraman, Ç., & Acar Erdol, T. (2017). Toplumsal cinsiyet eşitliği ölçeğinin (TCEÖ) geliştirilmesi. İlköğretim Online, 16(3), 1036-1048. doi: 10.17051/ilkonline.2017.330240
24. Guilley, W., & Uhlig, G. (1993). Factor analysis and ordinal data. Education, 114(2), 258-264
25. Henson, R.K., & Roberts, J.K. (2006). Use of EFA in published research: Common errors and some comment on improved practice. Educational and Psychological Measurement, 66, 393-416.
26. Holgado-Tello, F. P., Chacón-Moscoso, S., Barbero- García, I., & Vila-Abad, E. (2010). Polychoric versus Pearson correlations in exploratory and confirmatory factor analysis of ordinal variables. Quality and Quantity, 44, 153-166
27. Hutcheson, G. & Sofroniou, N. (1999). The multivariate social scientist, introductory statistics using generalized linear models. The USA: Sage Publications
28. Jamieson, S. (2004). Likert Scales: How to (Ab)use them. Medical Education, 38, 1217‐1218
29. Jöreskog, K. G., & Moustaki, I. (2001). Factor analysis of ordinal variables: A comparison of three approaches, Multivariate Behavioral Research, 36(3), 347-387.
30. Jöreskog, K. G., & Sörbom, D. (2002). Prelis 2: User’s reference guide. Lincolnwood: Scientific Software International, Inc
31. Katsikatsou, M., Moustaki, I., Yang-Wallentin, F., & Joreskog, K. (2012). Pairwise likelihood estimation for factor analysis models with ordinal data. Computational Statistics and Data Analysis, 56(12), 4243-4258.
32. Kieffer, K. M. (1999). An introductory primer on the appropriate use of exploratory and confirmatory factor analysis. Research in the Schools, 6, 75-92
33. Kline, T. J. B. (2005). Psychological testing, a practical approach to design and evaluation. The USA: Sage Publications
34. Koğar, H., & Yılmaz Koğar, E. (2015). Comparison of different estimation methods for categorical and ordinal data in confirmatory factor analysis. Journal of Measurement and Evaluation in Education and Psychology, 6(2), 351-364
35. Lemke, E. & Wiersma, W. (1976). Principles of Psychological Measurement. Chicago: Rand McNally.
36. Lorenzo-Seva, U., & Ferrando, P.J. (2006). FACTOR: A computer program to fit the exploratory factor analysis model. Behavior Research Methods, 38, 88-91
37. Messick, S. (1988). The once and future issues of validity: Assessing the meaning and consequences of measurement. In H. Wainer, & H. I. Braun. (Eds.), Test validity. (s. 33-48). Hillsdale, NJ, US: Lawrence Erlbaum Associates, Inc.
38. Messick, S. (1993). Foundations of validity: Meaning and consequences in psychological assessment. Presented at the Second Conference of the European Association of Psychological Assessment. Groningen, Netherlands
39. Mulaik, S. A. (1987). A brief history of the philosophical foundations of exploratory factor analysis. Multivariate Behavioral Research, 22, 267-305
40. Nunnaly, J. C., & Bernstein, I. H. (1994). Psychometric theory (Third Edition). NY: McGraw-Hill, Inc.
41. Öner, N. (1987). Kültürlerarası ölçek uyarlamasında bir yöntembilim modeli. Türk Psikoloji Dergisi, 6(21), 80-83
42. Özdamar, K. (2013). Paket programlar ile istatistiksel veri analizi (Volume 1 and 2) (9th Edition). Eskişehir: Nisan Kitabevi
43. Pedhazur, E. J., Pedhazer Schmelkin, L. (1991). Measurement, design and analysis: An integrated approach (1st Edition). NJ: Lawrence Erlbaum Associate, Inc
44. Pearson, K. (1901). On lines and planes of closest fit to systems of points in space. Philosophical Magazine, 6, 559-572
45. Spearman, C. (1904). “General intelligence,” objectively determined and measured. American Journal of Psychology, 15, 201-293
46. Stapleton, C. D. (1997). Basic concepts in exploratory factor analysis (EFA) as a tool to evaluate score validity: A right-brained approach (pp. 1–8). Presented at the Southwest Educational Research Association, Austin
47. Stevens, S. S. (1946). On the theory of scales of measurement. Science, 103, 677-680
48. Şencan, H. (2005). Sosyal ve davranışsal ölçümlerde güvenilirlik ve geçerlilik. (1st Edition). Ankara: Seçkin Yayınları.
49. Tabachnick, B. G., & Fidell, L. S. (2013). Using multivariate statistics (6th ed.). USA: Pearson
50. Thomas, H. (1982). IQ interval scales, and normal distributions. Psychological Bulletin, 91, 198-202
51. Thompson, B., & Daniel, L. G. (1996). Factor analytic evidence for the construct validity of scores: A historical overview and some guidelines. Educational and Psychological Measurement, 56, 197-208
52. Uebersax, J. S. (2015). The tetrachoric and polychoric correlation coefficients. Statistical Methods for Rater Agreement. Retrieved from http://john-uebersax.com/stat/tetra.htm
53. Urbina, S. (2014). Essentials of psychological testing (Second Edition). NJ: Wiley & Sons, Inc.