1.簡單問題描述
支援向量機解決的問題就是找到乙個最優的超平面將訓練樣本分開！最優的就是這個超平面距離每類訓練樣本距離是等距的。理由：「魯棒性」最好，泛化能力最強。
超平面：簡單來說超平面就是平面中的直線在高維空間上的推廣，總之在n維空間中的超平面是n-1維的。
2.間隔和支援向量
超平面方程：
；其中，w=(w1,w2,...，wd)為法向量，決定了超平面的方向；b為位移項，決定了超平面與原點的距離，顯然，劃分超平面可被法向量和位移項來決定，下面我們將其定義為（w,b）。樣本空間到超平面(w,b)的距離可以寫成：
假設超平面能將訓練集準確分類，即對於(xi,yi) 屬於訓練集d，若yi=+1,則有若yi=-1,則有如上圖中，距離訓練樣集最近的幾個訓練樣本點使公式(2)的等號成立，它們被稱為「支援向量機」，兩個異類到超平面的距離之和為：
它被稱為「間隔」，想要找到最大間隔，就是要找到滿足（2）公式中約束引數的w和b，使得（3）值最大，即：
顯而易見，為了求(3)公式的最大值，僅需最大化||w||-1，這等價於最大化||w||的平方。所以式子(4)改寫為：
這就是支援向量機的基本型。
接下來我們就根據拉格朗日乘子法和對偶問題以及二次規劃中最有效的方法smo來求得最終的模型。
機器學習 支援向量機
線性可分支援向量機 1.回顧感知機模型 2.函式間隔與幾何間隔 3.支援向量 4.svm模型目標函式與優化 5.線性可分svm的演算法過程 線性可分支援向量機 1.軟間隔最大化 2.線性分類svm的軟間隔最大化目標函式的優化 3.軟間隔最大化時的支援向量 4.軟間隔最大化的線性可分svm的演算法過程...
機器學習 支援向量機
svm就是試圖把棍放在最佳位置，好讓在棍的兩邊有盡可能大的間隙。這個間隙就是球到棍的距離。這裡我們看到兩種不同顏色的小球 我們找到乙個棍子放在其中，把他們分割開來，但是僅僅是這麼簡單嘛，不不，我們還要考慮怎麼放這根棍子，能夠分開這兩種小球的棍子在中間有無數種方法哪種最好呢？保證決策面方向不變且不會出...
機器學習 支援向量機 SVM
svm 方法的基本思想是 定義最優線性超平面，並把尋找最優線性超平面的演算法歸結為求解乙個凸規劃問題。進而基於 mercer 核展開定理，通過非線性對映 把樣本空間對映到乙個高維乃至於無窮維的特徵空間 hilbert 空間 使在特徵空間中可以應用線性學習機的方法解決樣本空間中的高度非線性分類和回歸等...