參考在第一篇（svm-1-問題描述）中我們得到了下面的優化問題：
minδ,w
,b12
||w|
|2s.
t.yi
(wtx
i+b)
≥1,i
=1,.
..,m
把約束條件寫成下面的形式: gi
(w)=
−yi(
wtx∗
+b)+
1≤0
這樣就變成了在約束條件gi
(w)≤
0 下，求
minδ,w
,b12
||w|
|2的最優化問題。
在kkt對偶互補條件中我們知道，當αi
>
0 時，gi
(w)=
0 ,即gi
(w)=
−yi(
wtx∗
+b)+
1=0 ，也就是說yi
(wtx
∗+b)
=1，即函式間隔等於1。 而當α
i=0 時，一般而言gi
(w)<
0 （當然，少數情況下，也許、大概、可能也會有gi
(w)=
0 ，咱們忽略它，畢竟是少數。。。）。
我們看下面的圖：
中間的實線是最大間隔超平面，上圖中與超平面距離最近的樣本有三個（這三個樣本與超平面的距離相同），還記得在svm-1-問題描述中我們將函式間距設為1嗎？！也就是說，這三個樣本與超平面的距離為1！
在圖中還有兩根虛線，它們與實線平行，且與實線的距離為1，也就是說，所有與超平面的距離為1的樣本都在這兩條虛線上。
之前說過距離為1，就要求gi
(w)=
0,αi
>
0 ，從圖中可以看出，滿足距離為1的樣本只是少數，大多數情況下距離都是大於1的，即大多數情況下αi
是等於0
的 。
對於上面距離為1的樣本有個專門的名字：「支援向量」。
現在將拉格朗日運算元應用到我們的最優化問題中，構造拉格朗日函式如下：l(
w,b,
α)=1
2||w
||2−
∑i=1
mαi[
yi(w
tx∗+
b)−1
](1)
注意到這裡只有αi
沒有βi 是因為原問題中沒有等式約束，只有不等式約束。
下面考慮對偶問題
首先求解
minl(w
,b,α
) ,對於固定的αi
該式的值只與w和
b 有關，我們可以令θd
(α)=
minw,b
l(w,
b,α)
,為了求θd
(α) 的最小值，我們需要對
l 求w和
b的偏導數： ▽w
l(w,
b,α)
=w−∑
imαi
yixi
=0進而
可得：w
=∑im
αiyi
xi(2
) ∂∂
bl(w
,b,α
)=∑i
=1mα
iyi=
0(3)
將公式（2）帶入（1）可得： l(
w,b,
α)=∑
i=1m
αi−1
2∑i,
j=1m
yiyj
αiαj
(xi)
txj−
b∑i=
1mαi
yi推到如下（公式太多直接截圖。。。）：
由公式（3）可知，最後一項為0，故上式可改寫為： l(
w,b,
α)=∑
i=1m
αi−1
2∑i,
j=1m
yiyj
αiαj
(xi)
txj
上面是在
α 固定不變的前提下，求
minw,b
l(w,
b,α)
，現在開始求原問題的對偶問題：
maxαw(
α)=∑
i=1m
αi−1
2∑i,
j=1m
yiyj
αiαj
,xj>s.
t.αi
≥0,i
=1,.
..,m
∑i=1
mαiy
i=0
注： 1、
,xj>
表示向量的內積，與 (
xi)t
xj等價。 2、
αi 此時當然已經不能再是乙個固定的值了。
可以發現，上式是滿足kkt條件的，因此我們可以用它來代替原始問題。
3、現在只有乙個引數
α 啦！
假如我們現在已經求出了
α ：
我們首先可以通過公式（2
）w∗=
∑miα
iyix
i ，計算得到w∗
。 然後可以通過下式計算得到b∗
: b∗
=−maxi:y
i=−1
w∗tx
i+mini:y
i=1w
∗txi
2
注：別問我為什麼。。。。就是可以。。。
假設我們已經利用上面得到的引數訓練完成乙個模型，當輸入乙個新的樣本時，將公式（2）帶入wt
x+b 我們就可以進行**： wt
x+b=
(∑i=
1mαi
yixi
)tx+
b=∑i
=1mαiyi
,x>+b
即我們只需要計算輸入樣本與所有訓練樣本內積即可，另外還記得「支援向量」這個名詞吧！對於上式中的αi
只有很少一部分支援向量的αi
才不等於0，因此並不需要與所有訓練樣本去做計算。
機器學習 SVM（3）核函式
更詳細的講解可以參考原部落格。1 為什麼引入核函式呢？為了回答這個問題，我們先來說明什麼是線性不可分資料。如下左圖所示，如果資料能用一條直線或乙個超平面分開的資料，就是線性不可分資料。那麼什麼是線性不可分資料呢？如下右圖所示，我們無法用一條直線或乙個超平面分開的資料。很不幸的是我們之前介紹的svm是...
SVM分類器自我總結
svm support vector machine 簡單的說是乙個分類器，並且是二類分類器。vector 通俗說就是點，或是資料。machine 也就是classifier，也就是分類器。給定訓練樣本，支援向量機建立乙個超平面作為決策曲面，使得正例和反例的隔離邊界最大化。我們需要這個曲面仍然滿足跟...
SVM入門 線性分類器（2）
線性分類器 一定意義上,也可以叫做感知機 是最簡單也很有效的分類器形式.在乙個線性分類器中,可以看到svm形成的思路,並接觸很多svm的核心概念.用乙個二維空間裡僅有兩類樣本的分類問題來舉個小例子。如圖所示 c1和c2是要區分的兩個類別，在二維平面中它們的樣本如上圖所示。中間的直線就是乙個分類函式，...