Bağlantısallık Probleminin Cezalı Regresyon Yöntemleri İle Giderilmesi

Abstract

Gelişen teknoloji ile birlikte yapay zeka uygulamalarına olan ilgi artmış ve bu uygulamalar kurumların, akademik çalışmaların ilgi odağı olmuştur. Makine öğrenmesinde karar ağaçları ve yapay sinir ağları(artificial neural network) algoritmaları sıkça kullanılan yöntemler olsa da araştırma yapılan çalışmanın amacı veya kullanılan veri setlerine uygunluklarından dolayı regresyon modelleri de hala en çok kullanılan yöntemlerdendir. Ancak bazı regresyon modellerinde “Çoklu Doğrusal Bağlantı Problemi” olarak adlandırılan, bağımsız değişkenlerden iki veya daha fazlası arasında doğrusal ya da doğrusala yakın ilişki olması durumu ortaya çıkabilmektedir. Çoklu doğrusal bağlantı problemi(multicollinearity) ile karşılaşılan durumlarda Lasso Regresyon’u ve Ridge Regresyon’u gibi alternatif yöntemler ele alınabilir. Bu tezde Kaggle veri bankasında açık kaynak olarak sunulan öğrencilerin not performanslarının olduğu 1000 kayıttan oluşan bir veri seti kullanılmıştır. Veri setine, Python 3.8.5 yazılım dili kullanılarak sırasıyla Lineer Regresyon, Lasso Regresyon ve Ridge Regresyon makine öğrenmesi modelleri uygulanmıştır. Sonuç olarak, bu çalışmada cezalı regresyon yöntemlerinin denetimli makine öğrenmesine etkisi bir örnek üzerinde denenmiş ve sonuçları tartışılmıştır. Sistem üzerinde ayrı ayrı uygulanan modellerin performans değerleri; Lineer Regresyonda “0,839”, Lasso Regresyonda “0,843” ve Ridge Regresyonda “0,846” olarak gerçekleşmiştir..

Keywords

• Lasso
• Ridge
• Lineer Regresyon
• Makine Öğrenmesi

Bağlantısallık Probleminin Cezalı Regresyon Yöntemleri İle Giderilmesi

Öz

Gelişen teknoloji ile yapay zekâ uygulamalarına olan ilgi artmış ve bu uygulamalar kurumların, akademik çalışmaların ilgi odağı olmuş-tur. Makine öğrenmesinde karar ağaçları ve yapay sinir ağları (artificial neural network) algoritmaları sıkça kullanılan yöntemler olsa da araştırma yapılan çalışmanın amacı veya kullanılan veri setlerine uygunluklarından dolayı regresyon modelleri de hala en çok kullanılan yöntemlerdendir. Ancak bazı regresyon modellerinde “Çoklu Doğrusal Bağlantı Problemi” olarak adlandırılan, bağımsız değişkenlerden iki veya daha fazlası arasında doğrusal ya da doğrusala yakın ilişki olması durumu ortaya çıkabilmektedir. Çoklu doğrusal bağlantı problemi(multicollinearity) ile karşılaşılan durumlarda Lasso Regresyon’u ve Ridge Regresyon’u gibi alternatif yöntemler ele alınabilir. Bu çalışmada Kaggle veri bankasında açık kaynak olarak sunulan öğrencilerin not performanslarının olduğu 1000 kayıttan oluşan bir veri seti kullanılmıştır. Veri setine, Python 3.8.5 yazılım dili kullanılarak sırasıyla Lineer Regresyon, Lasso Regresyon ve Ridge Reg-resyon makine öğrenmesi modelleri uygulanmıştır. Sonuç olarak, bu çalışmada cezalı regresyon yöntemlerinin denetimli makine öğren-mesine etkisi bir örnek üzerinde denenmiş ve sonuçları tartışılmıştır. Sistem üzerinde ayrı ayrı uygulanan modellerin performans değer-leri; Lineer Regresyonda “0,839”, Lasso Regresyonda “0,843” ve Ridge Regresyonda “0,846” olarak gerçekleşmiştir.

Anahtar Kelimeler

• Lasso
• Ridge
• Lineer Regresyon
• Makine Öğrenmesi

References

1. [1] Frisch, R., Statistical confluence analysis by means of complete regression systems. (No Title). (1934)
2. [2] Hoerl, A. E. and R. W. Kennard, Ridge regression: applications to nonorthogonal problems. Technometrics. 12, (1970) 69-82.
3. [3] Hoerl, A. E. and R. W. Kennard, Ridge regression: Biased estimation for nonorthogonal problems. Technometrics. 12, (1970) 55-67.
4. [4] Feigelson, E. D. and G. J. Babu, Linear regression in astronomy. II. Astrophysical Journal, Part 1 (ISSN 0004-637X), vol. 397, no. 1, p. 55-67. 397, (1992) 55-67.
5. [5] Su, X., X. Yan and C. L. Tsai, Linear regression. Wiley Interdisciplinary Reviews: Computational Statistics. 4, (2012) 275-294.
6. [6] Schneider, A., G. Hommel and M. Blettner, Linear regression analysis: part 14 of a series on evaluation of scientific publications. Deutsches Ärzteblatt International. 107, (2010) 776.
7. [7] Tibshirani, R., Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society Series B: Statistical Methodology. 58, (1996) 267-288.
8. [8] Hoerl, A. E., R. W. Kannard and K. F. Baldwin, Ridge regression: some simulations. Communications in Statistics-Theory and Methods. 4, (1975) 105-123.

9. [9] Marquardt, D. W. and R. D. Snee, Ridge regression in practice. The American Statistician. 29, (1975) 3-20.
10. [10] McDonald, G. C. and D. I. Galarneau, A Monte Carlo evaluation of some ridge-type estimators. Journal of the American Statistical Association. 70, (1975) 407-416.
11. [11] Hocking, R. R., A Biometrics invited paper. The analysis and selection of variables in linear regression. Biometrics. (1976) 1-49.
12. [12] JF, L. and W. P, A simulation study of ridge and other regression estimators. Communications in Statistics-Theory and Methods. 5, (1976) 307-323.
13. [13] Pasha, G. and M. Shah, Application of ridge regression to multicollinear data. Journal of research (Science). 15, (2004) 97-106.
14. [14] Dorugade, A. and D. Kashid, Alternative method for choosing ridge parameter for regression. Applied Mathematical Sciences. 4, (2010) 447-456.