第一節已經介紹了直接求解線性可分支援向量機的方法，但求解過程往往複雜。所以我們可以轉換思路：將該問題作為原始問題，應用拉格朗日對偶性，通過求解對偶問題得到原始問題的解。這樣做的好處：
對偶問題求解步驟：
根據原始問題，構造拉格朗日函式：
l(w,
b,α)
=12|
|w||
2+∑i
=1nα
i(1−
yi(w
⋅xi+
b))=
12||
w||2
−∑i=
1nαi
yi(w
⋅xi+
b)+∑
i=1n
αi原始問題為極小極大問題，對偶問題為極大極小問題。即：
maxαminw,
bl(w
,b,α
) 先求l
(w,b
,α) 對w,
b 的極小，再求
minl(w
,b,α
) 對
α 的極大。依次為：
由上一步求解對偶問題，可以得到對偶問題的解α∗
=(α∗
1,α∗
2,⋯,
α∗n)
。且此原始問題和對偶問題符合轉換的條件，通過kkt條件可以由α∗
求得原始問題的解w∗
,b∗ 。
kkt條件： ∇
wl(w
∗,b∗
,α∗)
=w∗−
∑i=1
nα∗i
yixi
=0∇b
l(w∗
,b∗,
α∗)=
∑i=1
nαiy
i=0α
∗i(y
i(w⋅
xi+b
)−1)
=0yi
(w⋅x
i+b)
−1≥0
α∗i≥
0i=1
,2,⋯
,n則得到w∗=
∑ni=
1α∗i
yixi
,又因為一定存在αi
>
0 （若均等於0，則w∗
=0不是原始問題可行解），則對於αi
>
0 ，有yi
(w⋅x
i+b)
−1=0
，則b∗
=yi−
w⋅xi
=yi−
∑nj=
1α∗j
yj(x
i⋅xj
) 。
因此得到了分離超平面∑n
i=1α
∗iyi
(x⋅x
i)+b
∗=0 ，相應的分類器為f(
x)=s
ign(
∑ni=
1α∗i
yi(x
⋅xi)
+b∗)
。 也就是說，之前對於未知樣本首先根據w和b做一次線性運算，然後看求的結果是大於0還是小於0,來判斷正例還是負例。現在通過αi
，我們不需要求出w，只需將未知樣本和訓練資料中的所有樣本做內積和即可。另外，我們從kkt條件中得到，只有支援向量的αi
>
0 ，其他情況αi
=0。因此，我們只需求未知樣本和支援向量的內積然後運算即可。
支援向量機專題 線性支援向量機
原文 當資料線性不可分時，使用硬間隔支援向量機很難得到理想的結果。但是如果資料近似線性可分，可以採用軟間隔支援向量機 線性支援向量機 進行分類。這通常適用於有少量異常樣本的分類，如果使用線性支援向量機，它會盡量使得所有訓練樣本都正確，如下圖所示。顯然這並不是最好的結果，軟間隔支援向量機可以權衡 間隔...
支援向量機
支援向量機 svm 一種專門研究有限樣本 的學習方法。是在統計學習理論基礎之上發展而來的。沒有以傳統的經驗風險最小化原則作為基礎，而是建立在結構風險最小化原理的基礎之上，發展成為一種新型的結構化學習方法。結構風險最小歸納原理 解決了有限樣本或小樣本的情況下獲得具有優異泛化能力的學習機器。包含了學習的...
支援向量機
支援向量 與分離超平面距離最近的樣本點的例項 優點 泛化錯誤率低，計算開銷不大，結果易解釋 缺點 對引數調節和核函式選擇敏感，原始分類器不加修改僅適用於處理二分類問題 適合資料型別 數值型和標稱型資料 每次迴圈中選擇兩個alpha進行優化處理。一旦找到一對合適的alpha，那麼久增大其中乙個同時減小...