The use of polychoric and Pearson correlation matrices in the determination of construct validity of Likert type scales

Year 2019, Volume: 8 Issue: 3, 180 - 195, 31.07.2019

Hasan Fehmi Özdemir Çetin Toraman Ömer Kutlu

https://doi.org/10.19128/turje.519235

Cited By: 7

Abstract

No matter how strong the theoretical infrastructure of a study is, if
the measurement instruments do not have the necessary psychometric qualities,
there will be a question of trust in interpreting the findings, and it will be
inevitable to make wrong decisions with the results. One of the important steps
in scale development/adaptation studies is to provide evidence of the
experimental validity. In order to reveal evidence of construct validity of
Likert type scales, to identify factor structures, to confirm previously
predicted structures, factor analysis is used. The primary issue to be examined
is the level of measurement of the variable and one of the leading decisions
that must be taken is which relation matrix will be used. This descriptive
research is based on the effects of using Pearson or polychoric correlation
matrix in the factor analysis. It is determined that items showed different
"item-total correlations", "loading values" and
“correlation coefficients”, different factor numbers emerged, different items
were removed out of the scale, confirmation status of the structure has
changed.

Keywords

Factor analysis, Polychoric correlation matrix, Pearson correlation matrix, Likert type scales, Construct validity

Likert tipi ölçeklerin yapı geçerliğinin belirlenmesi sürecinde polikorik ve Pearson korelasyon matrisinin kullanımı

Abstract

Bir bilimsel çalışmanın
teorik altyapısı ne kadar sağlam olursa olsun kullanılan ölçme araçları gerekli
psikometrik nitelikleri taşımıyorsa, bulguların yorumlanmasında güven problemi
olacak, elde edilen sonuçlarla yanlış kararlar alınması ise kaçınılmaz
olacaktır. Ölçek geliştirme-uyarlama çalışmalarında, kuşkusuz en önemli
adımlardan biri, aracın psikometrik niteliklerine dair deneysel geçerlilik
kanıtlarının ortaya konmasıdır. Bu niteliklerden biri de yapı geçerliğidir.
Likert tipi ölçek geliştirme-uyarlama çalışmalarında, yapı geçerliğine ilişkin
kanıtların ortaya konması, faktör yapılarının ortaya çıkarılması ya da daha
önceden kestirilen faktör yapılarının doğrulanması amacıyla faktör analizi
kullanılır. Faktör analizi öncesinde sorgulanması gereken hususların başında
verilerin hangi ölçek düzeyinde toplandığı gelmektedir. Analiz sürecinde
alınması gereken önemli kararlardan biri ise hangi ilişki matrisinin
kullanılacağıdır. Faktör analizinde, Pearson ya da polikorik korelasyon matrisi
kullanmanın analiz sonuçları üzerindeki etkisini incelemeyi ve sonuçlarını
karşılaştırmayı temel alan bu araştırma betimsel bir araştırmadır. Farklı
korelasyon matrisi temelli faktör analizi sonuçlarının birbirinden farklılaştığı,
maddelerin farklı “madde toplam korelasyonu”, “yük değeri” ve farklı yönde
korelasyon değeri gösterebildiği, farklı faktör sayılarının ortaya çıktığı,
farklı maddelerin ölçek dışında bırakılabildiği ve test edilen yapının
doğrulanma durumunun değiştiği belirlenmiştir.

Keywords

Faktör analizi, Polikorik korelasyon matrisi, Pearson korelasyon matrisi, Likert tipi ölçekler, Yapı geçerliği

References

• Albayrak, A.S. (2006). Uygulamalı çok değişkenli istatistik. Ankara: Asil Yayın
• Amerikan Eğitim Araştırmaları Birliği, Amerikan Psikoloji Birliği, Eğitim Ölçümleri Uluslararası Konseyi (1997). Eğitimde ve psikolojide ölçme standartları. (S. Hovardaoğlu and N. Sezgin Trans.). (1st Edition). Ankara: Türk Psikologlar Derneği Yayınları. No 14
• Anastasi, A. (1988). Psychological testing (6th Ed.). New York: McMillan.
• Arrindell, W. A. & Van der Ende, J. (1985). An empirical test of the utility of the observations to variables ratio in factor and components analysis. Applied Psychological Measurement, 9(2), 165-178.
• Atılgan, H., Kan, A., & Doğan, N. (2006). Eğitimde ölçme ve değerlendirme. Ankara: Anı Yayıncılık
• Babakus, E., Ferguson, C. E., Jr., & Jöreskog, K. G. (1987), The Sensitivity of Confirmatory Maximum Likelihood Factor Analysis to Violations of Measurement Scale and Distributional Assumptions, Journal of Marketing Research, 24 (May), 222- 228.
• Bowden, S. C. (2004). The role of factor analysis in construct validity: Is it a myth? Journal of International Neuropsychological Society. 10, 1018-1019
• Bryant, F. B., Yarnold, P. R., & Michelson, E. A. (1999). Statistical methodology: VIII. Using confirmatory factor analysis (CFA) in emergency medicine research. Academic Emergency Medicine, 6(1), 54-56
• Büyüköztürk, Ş. (2002). Faktör analizi: Temel kavramlar ve ölçek geliştirmede kullanımı. Kuram ve Uygulamada Eğitim Yönetimi. 32, 470-483
• Büyüköztürk, Ş. (2013). Sosyal bilimler için veri analizi el kitabı. Ankara: Pegem Yayıncılık
• Cattell, R. B. (1978). The scientific use of factor analysis in behavioral and life sciences. New York: Plenum
• Comrey, A. L. & Lee, H. B. (1992). A first course in factor analysis. New Jersey: Lawrence Erlbaum Associates Inc.
• Crocker, L., & Algina, J. (2008). Introduction to classical and modern test theory. USA: Cengage Learning
• Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52, 281–302
• Cronbach, L. (1984). Essentials of Psychological Testing. Harper and Row, New York
• Çokluk, Ö., Şekercioğlu, G. and Büyüköztürk, Ş. (2010). Sosyal bilimler için çok değişkenli istatistik SPSS ve LISREL uygulamaları. Ankara: Pegem Akademi
• DiStefano, C. (2002). The impact of categorization with confirmatory factor analysis. Structural Equation Modeling, 9, 327-346
• Erkus, A. (2003). Psikometri üzerine yazılar (1st Edition). Ankara: Türk Psikologlar Derneği Yayınları
• Erkuş, A. (2013). Davranış bilimleri için bilimsel araştırma süreci. Ankara: Seçkin Yayıncılık.
• Fabrigar, L. R., Wegener, D. T., MacCallum, R. C., & Strahan, E. J. (1999). Evaluating the use of exploratory factor analysis in psychological research. Psychological Methods, 4, 272-299
• Gorsuch, R. L. (1974). Factor analysis (First Edition). Philadelphia: W. B. Saunders Company
• Gorsuch, R. L. (1983). Factor Analysis (2nd ed.). Hillsdale, NJ: Lawrence Erlbaum Associates.
• Gözütok, F. D., Toraman, Ç., & Acar Erdol, T. (2017). Toplumsal cinsiyet eşitliği ölçeğinin (TCEÖ) geliştirilmesi. İlköğretim Online, 16(3), 1036-1048. doi: 10.17051/ilkonline.2017.330240
• Guilley, W., & Uhlig, G. (1993). Factor analysis and ordinal data. Education, 114(2), 258-264
• Henson, R.K., & Roberts, J.K. (2006). Use of EFA in published research: Common errors and some comment on improved practice. Educational and Psychological Measurement, 66, 393-416.
• Holgado-Tello, F. P., Chacón-Moscoso, S., Barbero- García, I., & Vila-Abad, E. (2010). Polychoric versus Pearson correlations in exploratory and confirmatory factor analysis of ordinal variables. Quality and Quantity, 44, 153-166
• Hutcheson, G. & Sofroniou, N. (1999). The multivariate social scientist, introductory statistics using generalized linear models. The USA: Sage Publications
• Jamieson, S. (2004). Likert Scales: How to (Ab)use them. Medical Education, 38, 1217‐1218
• Jöreskog, K. G., & Moustaki, I. (2001). Factor analysis of ordinal variables: A comparison of three approaches, Multivariate Behavioral Research, 36(3), 347-387.
• Jöreskog, K. G., & Sörbom, D. (2002). Prelis 2: User’s reference guide. Lincolnwood: Scientific Software International, Inc
• Katsikatsou, M., Moustaki, I., Yang-Wallentin, F., & Joreskog, K. (2012). Pairwise likelihood estimation for factor analysis models with ordinal data. Computational Statistics and Data Analysis, 56(12), 4243-4258.
• Kieffer, K. M. (1999). An introductory primer on the appropriate use of exploratory and confirmatory factor analysis. Research in the Schools, 6, 75-92
• Kline, T. J. B. (2005). Psychological testing, a practical approach to design and evaluation. The USA: Sage Publications
• Koğar, H., & Yılmaz Koğar, E. (2015). Comparison of different estimation methods for categorical and ordinal data in confirmatory factor analysis. Journal of Measurement and Evaluation in Education and Psychology, 6(2), 351-364
• Lemke, E. & Wiersma, W. (1976). Principles of Psychological Measurement. Chicago: Rand McNally.
• Lorenzo-Seva, U., & Ferrando, P.J. (2006). FACTOR: A computer program to fit the exploratory factor analysis model. Behavior Research Methods, 38, 88-91
• Messick, S. (1988). The once and future issues of validity: Assessing the meaning and consequences of measurement. In H. Wainer, & H. I. Braun. (Eds.), Test validity. (s. 33-48). Hillsdale, NJ, US: Lawrence Erlbaum Associates, Inc.
• Messick, S. (1993). Foundations of validity: Meaning and consequences in psychological assessment. Presented at the Second Conference of the European Association of Psychological Assessment. Groningen, Netherlands
• Mulaik, S. A. (1987). A brief history of the philosophical foundations of exploratory factor analysis. Multivariate Behavioral Research, 22, 267-305
• Nunnaly, J. C., & Bernstein, I. H. (1994). Psychometric theory (Third Edition). NY: McGraw-Hill, Inc.
• Öner, N. (1987). Kültürlerarası ölçek uyarlamasında bir yöntembilim modeli. Türk Psikoloji Dergisi, 6(21), 80-83
• Özdamar, K. (2013). Paket programlar ile istatistiksel veri analizi (Volume 1 and 2) (9th Edition). Eskişehir: Nisan Kitabevi
• Pedhazur, E. J., Pedhazer Schmelkin, L. (1991). Measurement, design and analysis: An integrated approach (1st Edition). NJ: Lawrence Erlbaum Associate, Inc
• Pearson, K. (1901). On lines and planes of closest fit to systems of points in space. Philosophical Magazine, 6, 559-572
• Spearman, C. (1904). “General intelligence,” objectively determined and measured. American Journal of Psychology, 15, 201-293
• Stapleton, C. D. (1997). Basic concepts in exploratory factor analysis (EFA) as a tool to evaluate score validity: A right-brained approach (pp. 1–8). Presented at the Southwest Educational Research Association, Austin
• Stevens, S. S. (1946). On the theory of scales of measurement. Science, 103, 677-680
• Şencan, H. (2005). Sosyal ve davranışsal ölçümlerde güvenilirlik ve geçerlilik. (1st Edition). Ankara: Seçkin Yayınları.
• Tabachnick, B. G., & Fidell, L. S. (2013). Using multivariate statistics (6th ed.). USA: Pearson
• Thomas, H. (1982). IQ interval scales, and normal distributions. Psychological Bulletin, 91, 198-202
• Thompson, B., & Daniel, L. G. (1996). Factor analytic evidence for the construct validity of scores: A historical overview and some guidelines. Educational and Psychological Measurement, 56, 197-208
• Uebersax, J. S. (2015). The tetrachoric and polychoric correlation coefficients. Statistical Methods for Rater Agreement. Retrieved from http://john-uebersax.com/stat/tetra.htm
• Urbina, S. (2014). Essentials of psychological testing (Second Edition). NJ: Wiley & Sons, Inc.