在上一節支援向量機公式推導中，我們有一些公式只是給出了結果，卻沒有解釋如何得來的，這一節我們將**如何將原始問題轉為對偶問題，並推導出kkt條件。
對於下圖所示的不等式約束優化問題，
其kkt條件如以下形式：
kkt條件是解決最優化問題的時用到的一種方法。我們這裡提到的最優化問題通常是指對於給定的某一函式，求其在指定作用域上的全域性最小值。下面我們開始**。
上一節中我們得到凸優化問題
解決了這個問題即可求出最大間隔，求出超平面。
利用拉格朗日法，我們構造了函式為
這裡我們令
i=1,2,…n
則原式變為
令因為ai>=0（上圖公式裡寫錯）,fi(w)由約束條件知fi(w)<=0,故ai*fi(w)<=0，可知當取最大值時，ai或fi(w)=0時滿足。此時只剩f(w)項。
即z(w)=f(w), minf(w)即為minz(w)。目標函式變為
這裡b的值與w有關，可由w求出，故在寫公式時沒有將其寫出，實際上b也是個變數。
我們將min和max的位置對換一下，就得到這個問題的對偶問題：
什麼是對偶問題：
任何乙個求極大化的線性規劃問題都有乙個求極小化的線性規劃問題與之對應，反之亦然，如果我們把其中乙個叫原問題，則另乙個就叫做它的對偶問題，並稱這一對互相聯絡的兩個問題為一對對偶問題。
因此，上上乙個目標函式就稱為原問題，上乙個公式稱為對偶問題。
交換之後的對偶問題與原始問題的解並不相等，但是在一定條件下，存在對偶問題與原始問題的解相等的情況。
設則可知
即d*<=p*。對偶問題的最優解是原始問題最優解的下界。
d*<=p*稱為弱對偶性，d *=p *稱為強對偶性。若對偶問題與原始問題滿足強對偶性，則求解原始問題的最優解即可轉為求對偶問題的最優解。
轉化為對偶問題求解的優點在於：一者對偶問題往往更容易求解；二者可以自然的引入核函式，進而推廣到非線性分類問題。
slater 條件是指存在嚴格滿足約束條件的點 x ，這裡的「嚴格」是指 fi(x)≤0 中的「小於或等於號」要嚴格取到「小於號」，亦即，存在 x 滿足：
我們有：如果原始問題是凸優化問題（很慶幸，svm的規劃問題是乙個凸優化問題），並且滿足 slater 條件的話，那麼 strong duality 成立。需要注意的是，這裡只是指出了 strong duality 成立的一種情況，而並不是唯一情況，不過研究svm的話 ，知道這種情況足夠了。
很顯然，我們可以知道存在w滿足fi(w)<0，即原始問題滿足slater條件且由於原始問題是凸優化問題，故強對偶性成立，即對偶問題最優解與原始問題最優解相等。
這樣我們就成功把求解原始問題轉為求解對偶問題。
假設w*、b*和a *分別為原始問題和對偶問題的極值點，相應的極值為p *和d *，首先p *=d *,
左右兩端其實是相等的，故可將小於等於號改為等號。
由第乙個不等號變化，可以得到w *是l(w,b,a *)的乙個極值點，由此可以知道l(w,b,a *）在x *處的梯度為0，即：
由第二個不等號變化可得：
i=1,2,3…n,此條件稱為互補性條件。
互補性條件有著重要的意義。它說明了當fi(w *)<0時，x *是處於可行域的內部的，這時不等式約束並不起作用，此時ai *=0；而ai *>0的點肯定是可行域邊界的點（fi(w *)=0。也就是說只有積極約束才有不為0的對偶變數。而這在支援向量機中有著重要的意義。
哪些不等式約束對應著不為0的對偶變數呢？顯然，只有當yi(wtxi+b)=1時，這個約束對應的對偶變數才可能不為0，這意味著什麼？意味著這個約束對應的樣本點xi是支援向量！也就是說：
只有支援向量才對應不為0的拉格朗日乘子！
綜上我們可以得到svm情況下的kkt條件形式
任何滿足強對偶性（不一定要求是通過slater條件得到，也不一定要求是凸優化問題）的問題都滿足kkt條件，換句話說，這是強對偶性的乙個必要條件。不過，當原始問題是凸優化問題的時候（當然還要求一階函式是可微的，否則kkt條件的最後乙個式子就沒有意義了），kkt就可以公升級為充要條件。換句話說，如果原始問題是乙個凸優化問題，且存在 x˜ 和 (λ˜,ν˜) 滿足 kkt 條件，那麼它們分別是原始問題和對偶問題 的極值點並且強對偶性成立。
支援向量機專題 線性支援向量機
原文 當資料線性不可分時，使用硬間隔支援向量機很難得到理想的結果。但是如果資料近似線性可分，可以採用軟間隔支援向量機 線性支援向量機 進行分類。這通常適用於有少量異常樣本的分類，如果使用線性支援向量機，它會盡量使得所有訓練樣本都正確，如下圖所示。顯然這並不是最好的結果，軟間隔支援向量機可以權衡 間隔...
支援向量機
支援向量機 svm 一種專門研究有限樣本 的學習方法。是在統計學習理論基礎之上發展而來的。沒有以傳統的經驗風險最小化原則作為基礎，而是建立在結構風險最小化原理的基礎之上，發展成為一種新型的結構化學習方法。結構風險最小歸納原理 解決了有限樣本或小樣本的情況下獲得具有優異泛化能力的學習機器。包含了學習的...
支援向量機
支援向量 與分離超平面距離最近的樣本點的例項 優點 泛化錯誤率低，計算開銷不大，結果易解釋 缺點 對引數調節和核函式選擇敏感，原始分類器不加修改僅適用於處理二分類問題 適合資料型別 數值型和標稱型資料 每次迴圈中選擇兩個alpha進行優化處理。一旦找到一對合適的alpha，那麼久增大其中乙個同時減小...