Ridge regression parameter selection: Turkey's example of foreign direct investment

Abstract

In this study, some criteria such as Akaike Information Criteria (AIC), Bayes Information Criteria (BIC), Mallow's Cp, Cross Validity (CV) and Generalized Cross Validity Measure (GCV) that will help the selection parameter for the Ridge regression method, which is used as an alternative to the Least Squares (Least Squares) method in cases where the multiple linear regression model has multiple linear connections between the independent variables, are compared. The performances of the model selection criteria used were compared using the Monte Carlo simulation study and econometric data, with the help of mean squares error (MSE) and prediction error (PE) criteria. As a result of the numerical studies, it was found that the Ridge regression methods, whose adjustment parameter was selected with the suggested criteria in cases of multicollinearity, showed superior performance with lower MSE and PE values.

Keywords

• Multicollinearity
• Ridge Regression
• LASSO.

Ridge regresyon parametre seçimi: Türkiye’nin doğrudan yabancı yatırım örneği

Abstract

Bu çalışmada çok değişkenli bir regresyon modelin bağımsız değişkenler arasında çoklu doğrusal bağlantı olduğu durumlarda En Küçük Kareler (EKK) yöntemine alternatif olarak kullanılan Ridge regresyon metodu için ayar parametresi seçimine yardımcı olacak bazı kriterler (AIC, BIC, Mallow’s Cp, CV, GCV) karşılaştırılmıştır. Kullanılan model seçim kriterlerinin performansları Monte Carlo simülasyon çalışması ve ekonometrik bir veri kullanılarak LASSO ve EKK ile MSE ve PE kriterleri yardımıyla karşılaştırılmıştır. Nümerik çalışmalar sonucunda, çoklu doğrusal bağlantının olduğu durumlarda önerilen kriterler ile ayar parametresi seçilen Ridge regresyon yöntemlerinin daha düşük MSE ve PE değerleri ile daha üstün performans gösterdiği bulunmuştur.

Keywords

• Çoklu Doğrusal Bağlantı
• Ridge Regresyon
• LASSO

References

1. Akaike, H. (1998). Information theory and an extension of the maximum likelihood principle. In Selected papers of hirotugu akaike (pp. 199-213). Springer, New York, NY.
2. ANBAR, A., & SULEYMANLI, J. (2016). AZERBAYCAN DA DOĞRUDAN YABANCI YATIRIMLARI ETKİLEYEN FAKTÖRLERİN BELİRLENMESİNE YÖNELİK BİR UYGULAMA. Akademik Bakış Uluslararası Hakemli Sosyal Bilimler Dergisi, (57), 101-114.
3. Arashi, M., Asar, Y., & Yüzbaşı, B. (2021). SLASSO: çoklu doğrusal durumlar için ölçeklendirilmiş bir LASSO. İstatistiksel Hesaplama ve Simülasyon Dergisi, 91 (15), 3170-3183.
4. Hoerl, A. E., & Kennard, R. W. (1970). Ridge regression: Biased estimation for nonorthogonal problems. Technometrics, 12(1), 55-67.
5. Karagöz, K. (2007). TÜRKİYE’DE DOĞRUDAN YABANCI YATIRIM GİRİŞLERİNİ BELİRLEYEN FAKTÖRLER: 1970–2005. Journal of Yaşar University, 2(8), 929-948.
6. Karakaş, S. (2008). Çoklu doğrusal bağlantı problemi ve yanlı regresyon tahmincileri, İstanbul Üniversitesi, İstanbul.
7. Karağlan, E. (2019). Regresyon analizinde çoklu doğrusal bağlantı probleminin incelenmesi: Temel bileşenler, Ondokuz Mayıs Üniversitesi, Samsun.
8. Kennedy, P. (2003). A guide to econometrics. 5. th. Edition. Cambridge.

9. Schwarz, G. (1978). Bir modelin boyutunu tahmin etme. İstatistik yıllıkları, 461-464
10. Tibshirani, R. (1996). Kement yoluyla regresyon büzülmesi ve seçimi. Kraliyet İstatistik Kurumu Dergisi: B Serisi (Metodolojik) , 58 (1), 267-288.
11. Tutz, G., & Ulbricht, J. (2009). Penalized regression with correlation-based penalty. Statistics and Computing, 19(3), 239-253.
12. Vinod, H. D., & Ullah, A. (1981). Recent advances in regression methods.
13. Yüzbaşı, B., & Ahmed, SE (2020). “Kırılgan Beşli” Ülkelere İlişkin Görünüşte İlişkili Olmayan Regresyonların Ridge Tipi Büzülme Tahmini ve Ekonomik ve Finansal Verilerin Analitiği. Risk ve Finansal Yönetim Dergisi, 13 (6), 131.
14. Zou, H., & Hastie, T. (2005). Regularization and variable selection via the elastic net. Journal of the royal statistical society: series B (statistical methodology), 67(2), 301-320.