Comparison of Classical and Robust Factor Analyses Methods

Abstract

Factor analysis is a multivariate statistical analysis technique that has become very popular in recent years. In the factor analysis model, the error covariance matrix is assumed to be the multivariate normal distribution, and outliers are likely to be accounted for. Various estimation methods were compared with Monte Carlo simulation for the factor analysis model. The performances of the estimation methods were evaluated based on the ratio of the total variance explained and the criterion fit values. Considering the MLE, PCA, WLS, and GLS methods for classical factor analysis and the MCD, M, and S methods for robust factor analysis, the ratio of total variance explained, and fit values decreased as the sample size increased. When the number of variables increases, the ratio of total variance explained, and fit values increase at different sample sizes. It can be said that the WLS and GLS methods are better than others for classical factor analysis and the MCD and M methods are better than others for robust factor analysis.

Keywords

• MLE
• GLS
• MCD
• Classical Factor Analysis
• Robust Factor Analysis

Klasik ve Sağlam Faktör Analizleri Yöntemlerinin Karşılaştırılması

Abstract

Faktör analizi, son yıllarda popüler hale gelen çok değişkenli istatistiksel analiz tekniklerinden biridir. Bu çalışmada, hata kovaryans matrisinin çok değişkenli normal dağılım ve aykırı değerler olması durumunda faktör analizi modeli kullanılmıştır. Faktör analizi modeli için farklı tahmin yöntemleri Monte Carlo simülasyonu ile karşılaştırılmıştır. Tahmin yöntemlerinin performansı, açıklanan toplam varyans oranı ve uyum değerleri kriterine göre değerlendirilmiştir. Klasik faktör analizi için MLE, PCA, WLS ve GLS yöntemleri ve sağlam faktör analizi için MCD, M ve S yöntemleri dikkate alındığında, toplam varyansın açıklama oranı ve fit değerleri, farklı örneklem büyüklüklerinde artarak, her bir örneklem büyüklüğünde azalmıştır. Değişken sayısı arttıkça açıklanan toplam varyans oranı ve fit değerleri farklı örneklem büyüklüklerinde artmaktadır. Klasik faktör analizi için WLS ve GLS yöntemlerinin, sağlam faktör analizi için MCD ve M yöntemlerinin daha iyi yöntemler olduğu söylenebilir.

Keywords

• MLE
• GLS
• MCD
• Klasik Faktör Analizi
• Sağlam Faktör Analizi

References

1. [1] Pison, G., Rousseeuw, P. J., Filzmoser, P., Croux, C. 2003. Robust Factor Analysis. Journal of Multivariate Analysis, 84(1), 145-172.
2. [2] Er, F., Sönmez, H. 2006. Öğrenci Başarı Notları İçin Robust Faktör Analizi Uygulaması. Anadolu Üniversitesi Bilim ve Teknoloji Dergisi, 7(1), 149-155.
3. [3] Browne, M. W., Shapiro, A. 1988. Robustness of normal theory methods in the analysis of linear latent variable models. British Journal of Mathematical and Statistical Psychology, 41, 193-208.
4. [4] Mooijaart, A., Bentler, P. M. 1991. Robustness of normal theory statistics in structural equation models. Statistica Nederlandica, 45, 159-171.
5. [5] Johnson, R. A., Wichern, D.W. 2007. Applied Multivariate Statistical Analysis. Fifth Edition, Pearson Education Int., New Jersey.
6. [6] Rencher, A. C. 2002. Methods of Multivariate Analysis. Second Edition, John Wiley & Sons, Inc.
7. [7] Jennrich, R. I., Robinson, S.M. 1969. A Newton-Raphson Algorithm for Maximum Likelihood Factor Analysis,.Psychometrika, 34, 111 -123.
8. [8] Jöreskog, K. G. 1967. Some Contributions to Maximum Likelihood Factor Analysis. Psychometrika, 32, 443-482.

9. [9] Jöreskog, K. G., Goldberger, A.S. 1972. Factor Analysis by Generalized Least Squares. Psychometrika, 37, 243.
10. [10] Lee, S. Y. 1978. The Gauss-Newton Algorithm for the Weighted Least Squares Factor Analysis. Journal of the Royal Statistical Society: Series D (The Statistician), 27, 103-114.
11. [11] Revelle, W. 2022. How To: Use the psych package for Factor Analysis and data reduction. R package, R Core Team, 1-95.
12. [12] Rousseeuw, P. J., Van Driessen, K. 1999. A fast algorithm for the minimum covariance determinant estimator. Technometrics, 41(3), 212-223.
13. [13] Todorov, V., Filzmoser, P. 2009. An Object-Oriented Framework for Robust Multivariate Analysis. Journal of Statistical Software, 32(3), 2-47.
14. [14] Fan, J., Wang, W., Zhong, Y. 2016. Robust Covariance Estimation for Approximate Factor Models. arXiv:1602.00719v1, 1-31.
15. [15] Davies, P. L. 1987. Asymptotic Behavior of S-Estimators of Multivariate Location Parameters and Dispersion Matrices. The Annals of Statistics, 15, 1269–1292.
16. [16] Lopuhaa, H. P. 1989. On the Relation Between S-Estimators and M-Estimators of Multivariate Location and Covariance. The Annals of Statistics, 17, 1662–1683.
17. [17] Törmanen, J. 2012. Systems intelligence inventory. Student Project, Master’s thesis, Aalto University School of Science.
18. [18] Pramodithha, R. 2023. Web Page Access Adress: https://towardsdatascience.com/factor-analysis-on-women-track-records-data-with-r-and-python-6731a73cd2e0