支援向量回歸和傳統的回歸模型的區別：
就拿最簡單的線性回歸來講，通過模型輸出的f(x)與真實輸出的y值之間的差別來計算損失。而svr假設模型輸出f(x)與真實的y值之間可以容忍有eps大小的偏差，也就意味只要樣本的**值落在f(x)兩側在y軸方向上絕對值只差小於eps的間隔帶上就是**正確的。
我們去用乙個f(x)=wtx+b來擬合真實資料，就會遇到欠擬合和過擬合兩個問題。
對於線性回歸或邏輯回歸的損失函式構成的模型，可能會有些權重很大，有些權重很小，導致過擬合（就是過分擬合了訓練資料），使得模型的複雜度提高，泛化能力較差（對未知資料的**能力）。而過擬合的出現則是因為樣本太多的特徵被包含進來，很多無關的特徵，可能只是某個樣本具有的也被認為是模型應該擬合的，最終會導致模型的泛化能力下降。
而解決過擬合可以通過下面兩種方式來進行
1）人工選擇要保留的特徵，也就是減少特徵的數量
2）正則化，保留所有的特徵，減少w的值
像邏輯回歸或者是線性回歸都會在真實值和**值差值損失之外再加乙個正則化項來作為目標，這裡的theta等同於w
回到svr，svr在擬合資料時也要考慮提高模型的泛化能力，於是在考慮鬆弛變數的情況下優化的目標為
根據拉格朗日乘子計算得出
上述的求解過程需要滿足kkt條件
僅當樣本不落在eps的間隔帶之間，樣本對應的兩個alpha值（乙個帶帽的乙個不帶帽的）才能取到非零值。而f(xi)-yi-eps- zita=0 和yi-f(xi)-eps-zita =0不能同時滿足，那麼對應的兩個alpha值也不能同時為0.
在svr中它所謂的支援向量指的是滿足下面條件的樣本
那麼滿足
SVR支援向量回歸例子
svr軟體包的安裝 使用svr模型，得到輸入向量x x包含3個變數x1,x2,x3 到輸出向量y y只包含乙個變數 之間的對映關係，也就是計算y f x1,x2,x3 函式的f x1,x2,x3時簡單的加法運算 y x1 x2 x3 訓練個數 訓練需要的時間 秒 誤差 相關係數 100 0.0028...
支援向量機（SVM） 支援向量回歸（SVR）
1 支援向量機 svm 是一種比較好的實現了結構風險最小化思想的方法。它的機器學習策略是結構風險最小化原則 為了最小化期望風險，應同時最小化經驗風險和置信範圍 支援向量機方法的基本思想 1 它是專門針對有限樣本情況的學習機器，實現的是結構風險最小化 在對給定的資料逼近的精度與逼近函式的複雜性之間尋求...
結構化支援向量回歸 脊椎角度估計
direct estimation of spinal cobb angles by structured multi output regression 基於結構化多輸出回歸的脊椎科布角度的直接估計 haoliang sun1 2,xiantong zhen2,chris bailey3,parh...