硬間隔部分
假定在輸入資料集構成的高維空間中，存在乙個超平面能夠將所有標記的樣本分為兩類。我們想做的就是求得乙個超平面，使得它到最近的資料點的集合距離最大化。即有
鑑於幾何距離直接受w向量的二階範數影響，問題進行等價歸一化後有
這便是乙個原始的凸優化問題。解出了w和b，也就得到了超平面，進而訓練好的判斷模型也有了。可以證明，只要資料線性可分，那麼這樣的最優超平面就是存在且唯一的。
直接求w，b不好求，因此我們求解這個凸優化問題的對偶問題。在轉化為對偶問題的過程中，需要使用拉格朗日函式及拉格朗日對偶性。為了實現保證對偶問題與原問題有相同解，需要滿足kkt條件。詳見部落格：
對偶問題如下：
求解出對偶問題，也就得到了引數alpha。可以使用alpha進行如下計算
進而解出超平面。
kkt條件保證了對偶問題與原問題的等價性，對於這裡的問題，可以寫成如下形式
概括來說，kkt條件包含兩部分，乙個是拉格朗日函式對各個變數的偏導數應該為0，另乙個是應滿足一些之前的約束條件，如alpha >= 0。
求解對偶問題的個人推導如下：
演算法導論閱讀筆記
優先順序佇列 1 概述 佇列是一種滿足先進先出 fifo 的資料結構，資料從佇列頭部取出，新的資料從佇列尾部插入，資料之間是平等的，不存在優先順序的。這個就類似於普通老百姓到火車站排隊買票，先來的先買票，每個人之間是平等的，不存在優先的權利，整個過程是固定不變的。而優先順序佇列可以理解為在佇列的基礎...
演算法導論閱讀筆記
第二章 演算法入門 本章通過介紹插入排序和歸併排序兩種常見的排序演算法來說明演算法的過程及演算法分析，在介紹歸併排序演算法過程中引入了分治 divide and conquer 演算法策略。1 插入排序 輸入 n個數 a1,a2,a3,an 輸出 輸入序列的乙個排列 a1 a2 a3 an 使得 a...
ML筆記 分類演算法之SVM
1.svm是什麼？support vector machine。乙個普通的svm就是一條直線，用來完美劃分linearly separable的2類，即2分類。但這有不是一條普通的直線，這是無數條可以分類的直線當中最完美的，因為它喬海在2個類的中間，距離2個類的點都一樣遠。而所謂的support v...