一般來說，乙個點距離超平面的距離的遠近可以表示該點分類正確的確信程度，即該點距離超平面越遠，越相信該點的分類是正確的，越近就越不相信；
超平面確定的情況下，
可以相對的表示該點到平面的距離，而符號表示分類是否正確，所以符號乘以距離就表示分類的正確性以及確信程度，這就是函式間隔。
對於樣本點（xi ， yi），超平面wx + b = 0對於該點的函式間隔為
超平面關於資料集函式間隔的定義為，對於乙個超平面，資料集中所有樣本點到該超平面的最小函式間隔值。
在函式間隔中，當成比例的改變w、b的時候，超平面沒有改變，但函式間隔卻相應的改變了。因此需要對超平面的法向量作一些約束，使得間隔是確定的，例如加上規範化，就得到了幾何間隔；
我們希望的超平面是，幾何間隔最大化的，也就是使所有樣本中到超平面的最小值最大化，以保證分類正確且確信程度高，表示為最優化問題如下：
這裡的不等式約束表示，要使得所有的幾何間隔都比它大。
再考慮到幾何間隔和函式間隔之間的關係，可以變為
等價於：
函式間隔為什麼可以取1？
因為把w，b成比例改變時，函式間隔也是相應成比例改變，不會對上面的不等式約束造成影響
利用拉格朗日的對偶性，首先需要對每個不等式約束引入拉格朗日乘子，得到拉格朗日函式。根據拉格朗日對偶性，原問題的對偶問題是極大極小問題，也就是先求拉格朗日函式對w、b的極小，再求對拉格朗日乘子的極大。
x 是原始問題和對偶問題的解的充分必要條件就是x必須滿足kkt條件。
對於線性不可分資料，硬間隔並不適用，不是所有資料都滿足不等式約束條件。因此，允許某些點可以不滿足約束，對於每個樣本，加入乙個鬆弛變數，使函式間隔加上鬆弛變數後大於等於1.
目標函式是為了，盡可能使間隔最大，同時使得分類錯誤的個數盡量少，c是為了在兩者之間調和
首先使用乙個變換將原空間的資料對映到新空間，然後在新空間中用線性可分方法，學習分類模型。當對映函式是非線性函式時，學習到的模型就是非線性模型。
在目標函式中，都只涉及到例項與例項之間的內積，將內積用核函式代替。
核矩陣是半正定的對稱函式，才可以作為核函式。
基本思路：選擇兩個變數，固定其他變數，針對這兩個變數，求解相應的二次規劃問題，得到的解應該接近原問題的解，因為會使得原問題的目標函式值變小。將原問題不斷分解成子問題，進而達到求解原問題解的目的。
如何選取兩個變數？
第乙個變數，選擇不滿足kkt條件的變數，首先遍歷在間隔邊界上的支援向量點，檢驗是否滿足kkt條件，都滿足的話在遍歷整個訓練集。
第二個變數，使得兩個變數對應的樣本之間的間隔最大，這樣目標函式值下降也最快。如果該方法選擇的變數不能使函式有足夠的下降，則選取支援向量點作為第二個變數，直到目標函式有足夠的下降，不行再遍歷整個資料集。最後還不行，放棄第乙個變數，重新尋找乙個。
根據兩個變數的最優解，不斷更新；
直到所有變數滿足kkt條件為止。
因為子問題總有解析解，所以每次計算都很快。
SVM支援向量機筆記
舉個簡單的例子，如下圖所示 左圖有三條直線 1 虛線不能很好的進行分類 2 兩條實線能夠實現分類 在該資料集中表現較好 但是這兩個線性模型的判定便界很靠近樣本點，在新的資料上可能不會表現得那麼好。右圖一條實線 1 該實線不僅分開了兩種類別，還盡可能遠離了最靠近的訓練資料點，可以理解為svm分類器在兩...
支援向量機專題 線性支援向量機
原文 當資料線性不可分時，使用硬間隔支援向量機很難得到理想的結果。但是如果資料近似線性可分，可以採用軟間隔支援向量機 線性支援向量機 進行分類。這通常適用於有少量異常樣本的分類，如果使用線性支援向量機，它會盡量使得所有訓練樣本都正確，如下圖所示。顯然這並不是最好的結果，軟間隔支援向量機可以權衡 間隔...
支援向量機
支援向量機 svm 一種專門研究有限樣本 的學習方法。是在統計學習理論基礎之上發展而來的。沒有以傳統的經驗風險最小化原則作為基礎，而是建立在結構風險最小化原理的基礎之上，發展成為一種新型的結構化學習方法。結構風險最小歸納原理 解決了有限樣本或小樣本的情況下獲得具有優異泛化能力的學習機器。包含了學習的...