1.svm概述
支援向量機(support vector machines,svm)是一種二類分類模型。它的基本模型是定義在特徵空間上的間隔最大的線性分類器。支援向量機還包括核技巧，這使它成為實質上的非線性分類器。支援向量機的學習策略是間隔最大化，可形式化為乙個求解凸二次規劃的問題，也等價於正則化的合頁損失函式的最小化問題。支援向量機的學習演算法是求解凸二次規劃的最優化演算法。
當輸入空間為歐式空間或離散集合、特徵空間為希爾伯特空間時，核函式表示將輸入從輸入空間對映到特徵空間得到的特徵向量之間的內積。通過核函式可以學習非線性支援向量機，等價於隱式地在高維的特徵空間中學習線性支援向量機。這樣的方法稱為核技巧。核方法是比支援向量機更為一般的機器學習方法。
2.間隔與支援向量
直觀上看，我們去找位於兩類訓練樣本"正中間"的劃分超平面，即圖中顏色較深的那條，因為該劃分超平面對訓練樣本區域性擾動的「容忍」性最好，這個劃分超平面所產生的分類效果是最魯棒的，對未見示例的泛化能力最強。在樣本空間中，劃分超平面可通過如下線性方程來描述：
分離超平面由法向量w和位移b確定，我們將其記為(w,b).樣本空間中任意點x到超平面(w,b)的距離可寫為
則若正確分類，對於(xi,yi)∈d，若yi=+1,則有
距離超平面最近的這幾個訓練樣本點稱為「支援向量」，它們使得上式的等號成立。代入前面的距離公式，則兩個異類支援向量到超平面的距離之和為
它被稱為「間隔」
我們的最終目標是找到具有「最大間隔」的劃分超平面，也就是找到滿足約束的w和b,使得r最大，即
為了最大化間隔，僅需最大化||w||^-1 ，這等價於最小化||w||^2。於是上面的式子也等價於
這是支援向量機的基本型。
3.對偶問題
3.1 拉格朗日函式
令l(w,b,a)對w和b的偏導為0可得到
將w代入，即可得到
由kkt條件成立，我們可以得到
由於4.損失函式
svm的學習方式還可以有另外一種解釋，即為如下的損失函式：
影象如下：
5.常見核函式
(1)多項式核函式
(2)高斯核函式(rbf核)
SVM學習總結
1 為啥要大於等於1，為啥是1 w 上面的函式間隔為啥可以忽略？這裡做了簡化處理，把支援向量到分離超平面的距離簡化為1了。相當於做了乙個標準化，這就是規定。因為函式間隔通過調整，通過w 和b的等比例變化，是可以忽略的。你可以把1 w 和 s.t.後面的條件同時放大縮小同樣的倍數。直觀的理解就是，法向...
SVM學習總結（一）如何學習SVM
前段時間一直在鑽研svm演算法，原先一直覺得乙個非常簡單的演算法，沒想到在學的時候還挺難，主要還是對凸優化方面的知識不太熟悉，以後得加強，下面主要說說svm演算法的學習思路 對小白初學者 通過各種資料的對比學習，我個人覺得使用李航的 統計學習方法 第七章，再輔助以網上的資料應該就差不多了，然後再寫個...
機器學習總結 三 SVM
svm是一種二分類模型，是一種在特徵空間中尋找間隔最大化的分離超平面的線性分類器。利用間隔最大化求得的最優分離超平面是唯一的。分離超平面產生的分類結果是最魯棒的，泛化能力最強。採用其他策略可能得到的分類面有無數個，無法判斷哪乙個最優 函式間隔 樣本點到超平面的函式間隔為y w x b 可以用來表示分...