Determining the effective variables by penalized regression methods: An application on diabetes data set

Abstract

Aim: Least Angle Regression (LARS) and Least Absolute Shrinkage Selection Operator (LASSO) methods, which have become quite popular in recent years, were discussed as an alternative to classical regression analysis in this study. It is aimed to compare the results of classical regression analysis with these penalized regression methods for determination the effective variables on diabetes dataset in terms of mean square error (MSE) and coefficient of determination (R2). Methods: Least Angle Regression, Least Absolute Shrinkage and Selection Operator and multiple regression methods were applied to data set of 442 patients diagnosed with diabetes. Results: Least Angle Regression and Least Absolute Shrinkage Selection Operator methods predict the model by selecting the same variables. However, these methods were better than multiple regression in terms of coefficient of determination and mean square error. Conclusion: Penalized regression methods constituted the best model for the diabetes data set with the least number of independent variables. These methods should be preferable to obtain significant models with fewer variables.

Keywords

• LARS
• LASSO
• penalized regression
• diabetes

Etkili değişkenlerin cezalı regresyon yöntemleri ile belirlenmesi: Diyabet veri kümesi üzerine bir uygulama

Abstract

Amaç: Bu çalışmada etkili değişkenlerin bulunması amacıyla uygulanan klasik regresyon analizine alternatif olarak kullanılması önerilen ve son yıllarda sağlık verilerinde oldukça popüler hale gelen cezalı regresyon yöntemlerinden En Küçük Açı regresyonu (LARS) ve En Küçük Mutlak Küçülme ve Seçim Operatörü (LASSO) yöntemleri ele alınmıştır. Diyabet veri kümesi üzerine etkili değişkenlerin belirlenmesinde cezalı regresyon yöntemleri ve klasik regresyon analizi sonuçlarının hata kareler ortalaması (HKO) ve belirtme katsayıları (R2) bakımından karşılaştırılması amaçlanmıştır. Yöntem: Diyabet tanısı almış 442 hastaya ait veri kümesine En Küçük Açı regresyonu, En Küçük Mutlak Küçülme ve Seçim Operatörü ve çoklu doğrusal regresyon yöntemleri uygulanmıştır. Bulgular: En Küçük Açı regresyonu ve En Küçük Mutlak Küçülme ve Seçim Operatörü regresyon yöntemleri aynı değişkenleri seçerek model tahmini yapmıştır. Cezalı regresyon yöntemleri, belirtme katsayıları ve hata kareler ortalamaları dikkate alındığında çoklu doğrusal regresyondan daha iyi sonuçlar vermiştir. Sonuç: Diyabet veri seti için cezalı regresyon yöntemleri ile en az sayıda ve modeli en iyi açıklayan değişkenler elde edilmiştir. Daha az sayıda değişkenle anlamlı modeller oluşturulmak istendiğinde tercih edilebilir yöntemlerdir.

Keywords

• LARS
• LASSO
• cezalı regresyon
• diyabet

References

1. Kaynaklar 1. Png ME, Yoong J, Tan CS, Chia KS. Excess Hospitalization Expenses Attributable to Type 2 Diabetes Mellitus in Singapore. Value in health regional issues. 2018; 15:106-111.
2. 2. 3. Organization WH. Global report on diabetes. 2016.
3. 3. Farbahari A, Dehesh T,Gozashti MH. The Usage Of Lasso,Ridge and Linear Regression to Explore The Most Influential Metabolic Variables That Affect Fasting Blood Sugar In Type 2 Diabetes Patients. Rom J Diabetes Nutr Metab Dis.2020; 26(4) :371-379.
4. 4. Alpar R. Çoklu Doğrusal Regresyon. İçinde: Alpar R. Uygulamalı Çok Değişkenli İstatistiksel Yöntemler.5.Baskı. Ankara: Detay Yayıncılık; 2017: 399-400.
5. 5. Tibshirani R. Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society. Series B.1996;58(1):267-288.
6. 6. Fonti V, Belitser E. Feature Selection Using Lasso. Research Paper In Business Analytics.2017.https://beta.vu.nl/nl/Images/werkstuk-fonti_tcm235-836234.pdf.
7. 7. Efron B, Hastie T, Johnstone I, Tibshirani R. Least Angle Regression. The Annals of Statistics. Institute of Mathematical Statistics.2004;32(2):407-499.
8. 8. Kayanan M, Wijekoon P. Performance of Lasso And Elastic Net Estimators in Misspecified Lineer Regression Model.Ceylon Journal Of Science. 2019;48(3):293-299.

9. 9. Hastie TJ, Tibshirani R, Friedman J. Linear Methods For Regression. İçinde: Hastie TJ, Tibshirani R, Friedman J. The Elements of Statistical Learning Data Mining,Inference and Prediction. 2nd ed. New York: Springer;2008: 61-73.
10. 10. Khan JA, Van Aelts S, Zamar R.H. Robust Linear Model Selection Based On Least Angle Regression. Journal of the American Statistical Association.2007;102(480):1289-1299.
11. 11. Januaviani Adelheid MT, Gusriani N, Joebaedi K, Supian S, Subiyanto. The Best Model Of LASSO With The LARS(Least Angle Regression and Shrinkage) Algorithm Using Mallow’s Cp. An International Scientific Journal.2019;116:245-252.
12. 12. Pripp AH, Stanisic M. Association between biomarkers and clinical characteristics in chronic subdural hematoma patients assessed with lasso regression. Plos One.2017;12(11):1-15.
13. 13. Anaraki JR, Usefi H. A Comparative Study of Feature Selection Methods on Genomic Datasets. 2019 IEEE 32nd International Symposium on Computer-Based Medical Systems (CBMS); June 5,2019;Cordoba, Spain.
14. 14. Zou H, Hastie T. Regularization and variable selection via the elastic net. J.Royal.Statis.Soc.B.2005;67(2):301-320.
15. 15. Gauthier PA, Scullion W, Berry A. Sound quality prediction based on systematic metric selection and shrinkage: Comparison of stepwise, lasso, and elastic-net algorithms and clustering preprocessing. Journal of Sound and Vibration.2017;400:134-153.
16. 16. Iturbide E, Cerda J, Graff M. A Comparison between LARS and LASSO for Initialising the Time-Series Forecasting Auto-Regressive Equations Procedia Technlogy.2013;7:282-2.