The use of Ridge, Liu and Lasso estimators in the multicollinearity problem: an application in layer hen industry

Year 2025, Volume: 96 Issue: 1, 14 - 22, 15.01.2025

Ayşe Yener , Ali Alparslan Sayım , Aytaç Akçay

https://doi.org/10.33188/vetheder.1554543

Abstract

This study aims to compare the use of Ridge, Liu, and Lasso estimator methods, proposed as alternatives to OLS (Ordinary Least Squares) in the presence of multicollinearity, and to evaluate the results based on model performance criteria. Data from the poultry sector, which holds a significant share in livestock farming, were used in the application. The study material consists of average egg weight (g) and live weight (kg) of "Nick Chick" breed chickens during the 19–100-week period, as well as the estimated sales revenue calculated based on average egg prices. In order to develop a model that predicts weekly total revenue using the variables of age (weeks), average egg weight (g), and live weight, biased regression techniques, such as Ridge, Liu, and LASSO estimators, were employed as alternatives to OLS in the presence of multicollinearity. In predicting weekly total revenue, the calculated coefficients of determination (R²) for the models generated using OLS, Ridge, Liu, and LASSO estimators were found to be 0.96, 0.95, 0.95, and 0.97, respectively. Additionally, the root mean square errors (RMSE) of the regression models were 132.3, 130.5, 56.2, and 129.5 for OLS, Ridge, Liu, and LASSO estimators, respectively, with the lowest error found in the Liu estimator method. As a result, it was determined that the biased estimator methods applied in the study, particularly the Liu estimator, provided more consistent, accurate, and lower-standard-error predictions compared to the OLS regression method.

Keywords

Hen industry, Multicollinearity, Lasso, Liu, Ridge

Çoklu bağlantı sorununda Ridge, Liu ve LASSO tahmin edicilerinin kullanımı: yumurta tavukçuluğunda bir uygulaması

Abstract

Bu çalışmada, çoklu bağlantı sorununda EKK ‘ye alternatif olarak önerilen Ridge, Liu ve Lasso tahmin edici yöntemlerinin kullanımının ve model başarı kriterlerine göre sonuçların karşılaştırılması amaçlanmıştır. Uygulamada hayvancılıkta çok önemli bir paya sahip olan tavukçuluk sektörü verileri kullanılmıştır. Çalışma materyalini, “Nick Chick” ırkı tavukların 19-100 haftalık dönemlerdeki ortalama yumurta ağılığı (g) ve canlı ağırlık (kg) verileri ile ortalama yumurta fiyatlarına göre hesaplanan tahmini satış gelirleri oluşturmuştur. Çalışmada yaş (hafta), ortalama yumurta ağılığı (g) ve canlı ağırlık değişkenleri ile haftalık toplam geliri tahmin eden bir modelin geliştirilmesi amacıyla, çoklu bağlantı sorunu varlığında, en küçük kareler regresyonuna (EKK) alternatif yanlı regresyon tekniklerinden Ridge, Liu ve LASSO tahmin edicileri kullanılmıştır. Haftalık toplam gelirin tahmininde, EKK, Ridge, Liu ve LASSO tahmin edicilerinde oluşturulan modellerin hesaplanan belirtme katsayısı (R2) sırasıyla 0.96, 0.95, 0.95, 0.97 olarak hesaplanmıştır. Ayrıca, kurulan modellerde ait regresyon hata kare ortalamalarının karekökü (RMSE) EKK, Ridge, Liu ve LASSO tahmin edicilerinde, 132.3, 130.5, 56.2, 129.5 olarak bulunmuş dolayısı ile en düşük Liu tahmin edicisi yönteminde bulunmuştur. Sonuç olarak; çalışmada uygulanan yanlı tahmin edici yöntemlerin Liu tahmin edicisinin EKK regresyonuna göre, daha düşük standart hatalı, tutarlı ve uygun tahmin sağladığı belirlenmiştir.

Keywords

Yumurta tavukçuluğu, Çoklu bağlantı, Lasso, Liu, Ridge

References

• Alpar R. Uygulamalı çok değişkenli istatistiksel yöntemler. Ankara: Detay Yayıncılık; 2013.
• Eberly LE. Multiple linear regression. In: Topics in biostatistics. Springer; 2007. p. 165-87.
• Akçay A, Sarıözkan S. Yumurta tavukçuluğunda gelirin Ridge Regresyon analizi ile tahmini. Ankara Üniv Vet Fak Derg 2015; 62: 69–74.
• Bansal S, Singh G. Multiple linear regression based analysis of weather data: assumptions and limitations. In: Shaw RN, Paprzycki M, Ghosh A, editors. Advanced Communication and Intelligent Systems. Cham: Springer Nature Switzerland; 2023. p. 221-38.
• Albayrak AS. Çoklu doğrusal bağlanti halinde en küçük kareler tekniğinin alternatifi yanlı tahmin teknikleri ve bir uygulama. Uluslararası Yönetim İktisat ve İşletme Dergisi 2005; 1(1): 105-26.
• Topal M, Eyduran E, Yağanoğlu M, Sönmez AY, Keskin S. Çoklu doğrusal bağlantı durumunda ridge ve temel bileşenler regresyon analiz yöntemlerinin kullanımı. Atatürk Ü Zir Fak Der 2010; 41(1): 53-7.
• Farrar DE, Glauber RR. Multicollinearity in regression analysis: the problem revisited. The Review of Economic and Statistics 1967: 92-107.
• Draper RN, Smith H. Applied Regression Analysis. US: Wiley Series in Probability & Statistics; 1998. p. 327-8.
• Marquardt DW, Snee RD. Ridge regression in practice. Am Stat. 1975;29(1):3-20.
• Montgomery DC, Peck EA. Introduction to Linear Regression Analysis. US: Wiley Series in Probability & Statistics; 1992.
• Hoerl AE, Kennard RW. Ridge regression: Biased estimation for nonorthogonal problems. Technometrics 1970; 12(1): 55-67.
• Kejian L. A new class of blased estimate in linear regression. Communications in Statistics-Theory and Methods 1993; 22(2): 393-402.
• Acharjee A, Finkers R, Visser R, Maliepaard C. Comparison of regularized regression methods for~ omics data. Metabolomics 2013; 3(3): 1-9.
• Tibshirani R. Regression shrinkage and selection via the LASSO. Journal of the Royal Statistical Society Series B: Statistical Methodology 1996; 58(1): 267-88.
• Efron B, Hastie T, Johnstone I, Tibshirani R. Least angle regression. The Annals of Statistics 2004; 32: 407-499.
• Hastie T, Tibshirani R, Friedman JH, Friedman JH. The elements of statistical learning: data mining, inference, and prediction: Springer; 2009.
• Erişoğlu M, Yaman N. Ridge Tahminine Dayalı Kantil Regresyon Analizinde Yanlılık Parametresi Tahminlerinin Performanslarının Karşılaştırılması. Necmettin Erbakan Üniversitesi Fen ve Mühendislik Bilimleri Dergisi 2019; 1(2): 103-11.
• Altelbany S. Evaluation of ridge, elastic net and LASSO regression methods in precedence of multicollinearity problem: a simulation study. Journal of Applied Economics and Business Studies 2021; 5(1): 131-42.
• Riley RD, Snell KI, Martin GP, Whittle R, Archer L, Sperrin M, et al. Penalization and shrinkage methods produced unreliable clinical prediction models especially when sample size was small. Journal of Clinical Epidemiology 2021; 132: 88-96.
• Bastiaan RM, Salaki DT, Hatidja D. Comparing the performance of prediction model of Ridge and Elastic Net in the correlated dataset. Operations Research: International Conference Series 2022; 3(1): 8-13.
• Cho S, Kim H, Oh S, Kim K, Park T, editors. Elastic-net regularization approaches for genome-wide association studies of rheumatoid arthritis. BMC proceedings; 2009: Springer.
• Kohannim O, Hibar DP, Stein JL, Jahanshad N, Hua X, Rajagopalan P, et al. Discovery and replication of gene influences on brain structure using LASSO regression. Frontiers in neuroscience 2012; 6: 115.
• de Vlaming R, Groenen PJ. The current and future use of ridge regression for prediction in quantitative genetics. BioMed research international 2015; 2015(1): 143712.
• Pripp AH, Stanišić M. Association between biomarkers and clinical characteristics in chronic subdural hematoma patients assessed with LASSO regression. PloS one 2017; 12(11): e0186838.
• Usman M, Doguwa S, Alhaji B. Comparing the Prediction Accuracy of Ridge, LASSO and Elastic Net Regression Models with Linear Regression Using Breast Cancer Data. Bayero Journal of Pure and Applied Sciences 2021; 14(2): 134-49.
• Üçkardeş F, Efe E, Narinç D, Aksoy T. Japon bıldırcınlarında yumurta ak indeksinin ridge regresyon yöntemiyle tahmin edilmesi. Akademik Ziraat Dergisi 2012; 1(1): 11-20.
• Çiftsüren MN, Akkol S. Prediction of internal egg quality characteristics and variable selection using regularization methods: ridge, LASSO and elastic net. Archives Animal Breeding 2018; 61(3): 279-84.
• Bovans White product performance. Erişim adresi: [http://www.isapoultry.com/en/products/bovans/bovans-white/], Erişim tarihi: 02.01.2014.
• Yumurta Üreticileri Merkez Birliği. Erişim adresi: [https://www.yum-bir.org/Yumurta/FiyatListele.aspx], Erişim tarihi: 03.06.2024.
• Özel SÖ, Gezer F. Çoklu Doğrusal Bağlantı Problemi Altında Tahmin Edicilerin Karşılaştırılması: Genelleştirilmiş Maksimum Entropi, Ridge, Liu. Dumlupınar Üniversitesi Sosyal Bilimler Dergisi 2020; (66): 82-96.
• Çabuk HA, Özel SÖ. Çoklu iç ilişki sorunu olan regresyon modelinin HKO ölçütü ile bir etkin tahmin edicisi. Çukurova Üniversitesi Sosyal Bilimler Enstitüsü Dergisi 2017; 26(3): 13-25.
• Orhan H, Vergili M. Genomik Veri Setlerinin LASSO ve Elastik Net Regresyon Yöntemleri ile Analizi. SDU Journal of Health Science Institute/SDÜ Saglik Bilimleri Enstitüsü Dergisi 2022; 13(3): 485-496.
• Çabuk A, Akdeniz F. İçilişki ve genelleştirilmiş maksimum entropi tahmin edicileri. İstatistik Araştırma Dergisi 2007; 5(2): 1-19.
• Büyükuysal MÇ, Öz İİ. Çoklu doğrusal bağıntı varlığında en küçük karelere alternatif yaklaşım: Ridge regresyon. Düzce Üniversitesi Sağlık Bilimleri Enstitüsü Dergisi 2016; 6(2): 110-4.
• Yüzbaşı B, Pala M. Ridge regresyon parametre seçimi: Türkiye’nin doğrudan yabancı yatırım örneği. İstatistikçiler Dergisi: İstatistik ve Aktüerya 2022; 15(1): 1-18.
• Çoşkuntuncel O. Sosyal bilimlerde yanlı regresyon tahmin edicilerinin kullanılması. Journal of Measurement and Evaluation in Education and Psychology 2010; 1(2): 100-8.
• Gökçce A, Evren A. Çoklu Bağıntı ve Ridge, Liu, Zaman Serisi Kestiricisi ile Türkiye'nin İhracat Modeli İçin Bir Uygulama. Proceedings of the 13th Uluslararası Bilimsel Araştırmalar Kongresi; 2022 Mar; Elazığ. Elazığ: Asos Yayın Evi; 2022. p. 73-81.
• Melkumova L, Shatskikh SY. Comparing Ridge and LASSO estimators for data analysis. Procedia engineering 2017; 201: 746-55.
• Küçük A. Doğrusal regresyonda Ridge, Liu ve LASSO tahmin edicileri üzerine bir çalışma [tez].Hacettepe Üniversitesi: Fen Bilimleri Enstitüsü: Ankara; 2019.