如果訓練輸入線性可分，通過應間隔最大化學習得到的線性分類器稱為線性可分支援向量機。
假設特徵空間上的訓練資料集： t=
其中xi
表示第i個特徵向量，yi
∈ 為xi
的類標記。
學習目標是在特徵空間找到乙個分離超平面： w⋅
x+b=
0 可以將正負樣例分開，即正負樣例分布在超平面的兩側。
定義超平面關於訓練資料集t的函式間隔為超平面(w
,b) 關於t中所有樣本點的函式間隔最小值 γ′
=min1,
2,..
.,nγ
′i其中γ′
i=yi
(w⋅x
i+b)
定義超平面關於訓練資料集t的幾何間隔為超平面(w
,b) 關於t中所有樣本點的幾何間隔最小值 γ=
min1,2
,...
,nγi
其中γi
=yi(
w||w
||⋅x
i+b|
|w||
) 幾何間隔的物理意義是指點到超平面的距離，函式間隔則會隨著w 和
b成比例的縮放而改變。
目標是找到能夠正確劃分訓練資料集並且幾何間隔最大的分離超平面。直觀上面理解就是距離分介面最近的距離最大化。可以表示成如下形式：
maxw,b
γ s.
t.yi
(w||
w||⋅
xi+b
||w|
|)≥γ
,i=1
,2,.
..,n
基於幾何間隔和函式間隔的關係，上式等價於
maxw,b
γ′||
w||
s.t.
yi(w
⋅xi+
b)≥γ
′,i=
1,2,
...,
n 考慮到以
λ 等比例改變w 和
b，對於上式沒有影響，這裡選擇固定乙個
λ 使得γ′
=1，那麼上式等價於：
minw,b
12||
w||2
s.t.yi(
w⋅xi
+b)−
1≥0,
i=1,
2,..
.,n
根據上式的最優解w∗
和b∗ 可以構建出分離超平面和分類決策函式如下： w∗
⋅x+b
∗=0
f(x)
=sig
n(w∗
⋅x+b
∗)訓練資料集中的樣本點中與分離超平面距離最近的樣本點稱為支援向量，對應於約束條件中的等號，即 yi
(w⋅x
i+b)
−1=0
對應y=
，支援向量分布在兩條超平面上面： (w
所以svm分類中只有支援向量對應的例項在分類中起作用，其他例項點並沒有作用。
使用拉格朗日對偶性對原始問題求解。首先引入拉格朗日乘子αi
≥0,i
=1,2
,...
n ,構建拉格朗日函式: l(
w,b,
α)=1
2||w
||2−
∑i=1
nαiy
i(w⋅
xi+b
)+∑i
=1nα
i 其中，α=(
α1,α
2,..
.,αn
)t稱為拉格朗日乘子向量。
原始問題對應的對偶問題如下：
maxα
minw,b
l(w,
b,α)
根據l(
w,b,
α)對於w 和b
的偏導為0，可將原始問題轉化為：
minα12
∑i=1
n∑j=
1nαi
αjyi
yj(x
i⋅xj
)−∑i
=1nα
i ∑i
=1nα
iyi=
0 αi
≥0,i
=1,2
,...
,n假設α∗
=(α∗
1,α∗
2,..
.,α∗
n)t 是上面問題的最優解，那麼: w∗
=∑i=
1nα∗
iyix
i 選擇乙個下標j，使得α∗
j>
0 ，可得： b∗
=yj−
∑i=1
nα∗i
yi(x
i⋅xj
) 根據kkt互補條件可知，α∗
i>
0 對應的例項為支援向量。
線性可分支援向量機筆記
支援向量機是一種二分類分類器。給一堆資料 x i,yi 並假設它們是線性可分的。線性可分支援向量機的目的就是從這堆資料中學到乙個分類超平面wx b 0 利用這個平面進行分類。那麼如何得到這個分類超平面呢？假設這個分類超平面我們已經得到了，為wx b 0 那麼對於點 x i,yi 我們可以用 w xi...
線性可分支援向量機
支援向量機 support vector machines,svm 是一種二類分類模型。根據模型的複雜程度可以分為線性可分支援向量機 線性支援向量機及非線性支援向量機。簡單模型是複雜模型的基礎，也是複雜模型的特殊情況。本文假設訓練資料線性可分，介紹了線性可分支援向量機如何通過硬間隔最大化 hard ...
線性可分支援向量機（二）
線性可分支援向量機 二 性可分支援向量機 一 中，我們研究的是最理想的情況，即被分類的兩類樣本點沒有交叉，能夠完全被分離超平面給分離。但實際上的情況一般都不是那麼理想，可能找不出乙個完美的分離超平面。有可能有樣本點位於分離超平面的另一側。此時，我們所追求的就是軟間隔最大化。軟間隔最大化 根據博文一的...