ε-duyarsız Destek Vektör Regresyonu (ε-DVR), ε-duyarsızlık özelliğine sahip düzenlenmiş 𝑙1 hata kayıp fonksiyonu ile ifade edilir ve 𝑙1 kayıp fonksiyonunun sahip olduğu gürbüz olma özelliği yanında küçük hatalara karşı duyarsız olma özelliğine de sahiptir. Ayrıca, düzenlenmiş hata ile çözümün düzlüğü üzerinde kontrol sağlanır. Bu çalışmada, ε-DVR ikincil problemi, klasik pürüzsüz DVR ikincil probleminin yarısı kadar eniyileme değişkenine sahip olma avantajıyla eşitlik ve eşitsizlik kısıtları altında düzgün olmayan dışbükey parçalı ikinci dereceden problem olarak türetilmiştir. Türetilen bu dışbükey düzgün olmayan ikincil eniyileme problemi, ardışık kayıp fonksiyonu değerleri arasındaki farka ilişkin bir üst sınırın en aza indirilmesine dayanan bir çalışma kümesi seçimi (ÇKS) kullanan verimli bir Ardışık Asgari Eniyileme (AAE) algoritması ile çözülmüştür. Daha önce düzgün olmayan ikincil ε-DVR probleminin AAE algoritması ile çözümünde ÇKS için Karush-KuhnTucker (KKT) koşullarını en fazla ihlal eden çiftler alınarak birinci dereceden bilgiler kullanılmıştır. Önerilen ÇKS’de ise ikinci dereceden benzer bilgiler kullanılmaktadır ve bu düzgün olmayan eniyileme problemini çözmek için birinci dereceden emsaline göre üstünlüğü bir dizi gerçek dünya veri kümesi üzerinde elde edilen sonuçlarla gösterilmiştir. Ayrıca, sonuçlar klasik pürüzsüz DVR ile de karşılaştırılmıştır
Destek vektör regresyonu Düzgün olmayan eniyileme Çalışma kümesi seçimi Ardışık asgari eniyileme
The ε-insensitive Support Vector Regression (ε-SVR) is expressed by the ε-insensitive regularized 𝑙1 error loss function, and has the robustness of the 𝑙1 loss function, as well as being insensitive to small errors. Also, the regularization of error loss provides a control over the flatness of the solution. In this study, the ε-SVR dual problem is derived as a non-smooth convex piecewise quadratic problem under the equality and inequality constraints, with the advantage of having half the optimization variables of the classical smooth SVR dual problem. This convex non-smooth dual optimization problem is solved by an efficient Sequential Minimal Optimization (SMO) algorithm using a working set selection (WSS) based on minimizing an upper bound for the difference between consecutive loss function values. Previously, in the solution of the non-smooth dual ε-SVR problem with SMO algorithm, first order information was used by selecting the pairs in a manner that violates the Karush-Kuhn-Tucker conditions the most. In the proposed WSS, second-order like information is employed and its superiority over the first-order counterpart to solve this non smooth optimization problem has been demonstrated by the results obtained on a set of real-world datasets. Additionally, the results are compared with the classic smooth SVR problem.
Support vector regression Sequential minimal optimization Non-smooth optimization Working set selection
Primary Language | Turkish |
---|---|
Subjects | Electrical Engineering |
Journal Section | Research Articles |
Authors | |
Publication Date | December 31, 2021 |
Submission Date | July 25, 2021 |
Acceptance Date | November 13, 2021 |
Published in Issue | Year 2021 Volume: 26 Issue: 3 |
Announcements:
30.03.2021-Beginning with our April 2021 (26/1) issue, in accordance with the new criteria of TR-Dizin, the Declaration of Conflict of Interest and the Declaration of Author Contribution forms fulfilled and signed by all authors are required as well as the Copyright form during the initial submission of the manuscript. Furthermore two new sections, i.e. ‘Conflict of Interest’ and ‘Author Contribution’, should be added to the manuscript. Links of those forms that should be submitted with the initial manuscript can be found in our 'Author Guidelines' and 'Submission Procedure' pages. The manuscript template is also updated. For articles reviewed and accepted for publication in our 2021 and ongoing issues and for articles currently under review process, those forms should also be fulfilled, signed and uploaded to the system by authors.