The Effect of the Second Stage Estimator on Model Performance in Post-LASSO Method

Abstract

Penalized linear regression methods are used for the accurate prediction of new observations and to obtain interpretable models. The performance of these methods depends on the properties of the true coefficient vector. The LASSO method is a penalized regression method that can simultaneously perform coefficient shrinkage and variable selection in a continuous process. Depending on the structure of the dataset, different estimators have been proposed to overcome the problems faced by LASSO. The estimation method used in the second stage of the post-LASSO two-stage regression method proposed as an alternative to LASSO has a considerable effect on model performance. In this study, the performance of the post-LASSO is compared with classical penalized regression methods ridge, LASSO, elastic net, adaptive LASSO and Post-LASSO by using different estimation methods in the second stage of the post-LASSO. In addition, the effect of the magnitude and position of the signal values in the real coefficient vector on the performance of the models obtained by these methods is analyzed. The mean squared error and standard deviation of the predictions calculated on the test set are used to compare the prediction performance of the models, while the active set sizes are used to compare their performance in variable selection. According to the findings obtained from the simulation studies, the choice of the second-stage estimator and the structure of the true coefficient vector significantly affect the success of the post-LASSO method compared to other methods.

Keywords

• Linear Regression
• LASSO
• Post-LASSO
• Multicollinearity

Post-LASSO Yönteminde İkinci Aşama Tahmin Edicisinin Model Performansına Etkisi

Abstract

Cezalı doğrusal regresyon yöntemleri yeni gözlemlerin doğru ön tahmini ve yorumlanabilir modeller elde edilmesi için kullanılır. Bu yöntemlerin performansı gerçek katsayı vektörünün özelliklerine bağlı olarak değişmektedir. LASSO yöntemi sürekli bir süreçte eşanlı olarak katsayı büzme ve değişken seçimi yapabilen bir cezalı regresyon yöntemidir. Veri kümesinin yapısına bağlı olarak LASSO’nun karşılaştığı problemlerin aşılabilmesi için farklı tahmin ediciler önerilmiştir. LASSO’ya alternatif olarak önerilen Post-LASSO iki aşamalı regresyon yönteminin ikinci aşamasında kullanılan tahmin yöntemi model performansı üzerinde kayda değer bir etkiye sahiptir. Bu çalışmada Post-LASSO’nun ikinci aşamasında farklı tahminleme yöntemleri kullanılarak klasik cezalı regresyon yöntemleri olan ridge, LASSO, elastik net, uyarlanabilir LASSO ile Post-LASSO’nun performansı karşılaştırılmıştır. Ayrıca gerçek katsayı vektöründeki sinyal değerlerinin büyüklük ve konumunun söz konusu yöntemlerle elde edilen modellerin performansı üzerindeki etkisi incelenmiştir. Modellerin ön tahmin performansının karşılaştırılması için test kümesi üzerinde hesaplanan hata kareler ortalaması ve tahminlerin standart sapması; değişken seçimindeki performanslarının karşılaştırılması için aktif küme büyüklükleri kullanılmıştır. Simülasyon çalışmalarından elde edilen bulgulara göre ikinci aşama tahmin edicinin seçimi ile gerçek katsayı vektörünün yapısı Post-LASSO yönteminin diğer yöntemlere göre başarısını önemli ölçüde etkilemektedir.

Keywords

• Doğrusal regresyon
• LASSO
• Post-LASSO
• Çoklu İç İlişki

References

1. Montgomery DC, Runger GC, Hubele NF. Engineering Statistics. New York: John Wiley & Sons; 2009.
2. Bzovsky S, Phillips MR, Guymer RH, Wykoff CC, Thabane L, Bhandari M, Chaudhary V. The clinician’s guide to interpreting a regression analysis. Eye 2022; 36(9):1715-1717.
3. Venkateshan SP. Mechanical Measurements. New York: John Wiley & Sons; 2015.
4. Hoerl AE, Kennard RW. Ridge regression: Biased estimation for nonorthogonal problems. Technometrics 1970; 12(1):55-67.
5. Liu K. Using Liu-type estimator to combat collinearity. Commun Stat - Theory Methods 2003; 32(5):1009-1020.
6. Rao CR, Toutenburg H. Linear Models: Springer; 1995.
7. Sarkar N. A new estimator combining the ridge regression and the restricted least squares methods of estimation. Commun Stat - Theory Methods 1992; 21(7):1987-2000.
8. Breiman L. Better subset regression using the nonnegative garrote. Technometrics 1995; 37(4):373-384.

9. Frank LE, Friedman JH. A statistical view of some chemometrics regression tools. Technometrics 1993; 35(2):109-135.
10. Tibshirani R. Regression shrinkage and selection via the lasso. J R Stat Soc Ser B Methodol 1996; 58(1):267-288.
11. Zou H, Hastie T. Regularization and variable selection via the elastic net. J R Stat Soc Ser B Methodol 2005; 67(2):301-320.
12. Zou H. The adaptive lasso and its oracle properties. J Am Stat Assoc 2006; 101(476):1418-1429.
13. Belloni A, Chernozhukov V. Least squares after model selection in high-dimensional sparse models. Bernoulli 2013; 19(2):521-547.
14. Ahrens A, Bhattacharjee A. Two-step lasso estimation of the spatial weights matrix. Econometrics 2015; 3(1):128-155.
15. De Mol C, Mosci S, Traskine M, Verri A. A regularized method for selecting nested groups of relevant genes from microarray data. J Comput Biol 2009; 16(5):677-690.
16. Urminsky O, Hansen C, Chernozhukov V. Using double-lasso regression for principled variable selection. SSRN Working Paper No. 273374. 2016.
17. Shahriari S, Faria S, Gonçalves AM. Variable selection methods in high-dimensional regression-A simulation study. Commun Stat - Simul Comput 2015; 44(10):2548-2561.
18. Ahmed SE, Kim H, Yıldırım G, Yüzbaşı B. High-Dimensional Regression Under Correlated Design: An Extensive Simulation Study. International Workshop on Matrices and Statistics, Springer. 2016:145-175.
19. Genç M. Bir Simülasyon Çalışması ile Cezalı Regresyon Yöntemlerinin Karşılaştırılması. Bilecik Şeyh Edebali Üniv Fen Bilim Derg 2022; 9(1):80-91.
20. Hastie T, Tibshirani R, Friedman J. The Elements of Statistical Learning. New York: Springer series in statistics; 2001.
21. Efron B, Hastie T, Johnstone I, Tibshirani R. Least angle regression. Ann Stat 2004; 32(2):407-499.
22. Boyd S, Parikh N, Chu E, Peleato B, Eckstein J. Distributed optimization and statistical learning via the alternating direction method of multipliers. Found Trends Mach Learn 2011; 3(1):1-122.
23. Friedman J, Hastie T, Tibshirani R. Regularization paths for generalized linear models via coordinate descent. J Stat Softw 2010; 33(1):1-22.
24. Chang L, Roberts S, Welsh A. Robust lasso regression using Tukey's biweight criterion. Technometrics 2018; 30(1):36-47.
25. Chong IG, Jun CH. Performance of some variable selection methods when multicollinearity is present. Chemom Intell Lab Syst 2005; 78(1-2):103-112.
26. Hussami N, Tibshirani RJ. A component lasso. Can J Stat 2015; 43(4):624-646.