1.函式間隔和幾何間隔：
點距離分離平面的遠近可以代表分類**的確信度，在超平面w⋅
x+b=
0 確定的情況下，|w
⋅x+b
| 表示點x距離超平面的遠近，由於w,
b 可以成比例改變，超平面不變，所以需要對分離平面法向量進行約束，因此定義函式間隔和幾何間隔分別為：γ¯
i=yi
(w⋅x
i+b)
γi=y
i(w⋅
xi+b
)||w
||求所有樣本的間隔最小值得:γ¯
=mini=
1,..
,nγi
¯γ=mini=
1,..
.,nγ
i 2.線性可分間隔最大化：
直觀理解：對最難分的點（離超平面最近的點）也要有足夠大的確信度，因此可得到目標函式
maxw,b
γyi(
w⋅xi
+b)|
|w||
≥γ,i
=1,.
.,n
考慮幾何間隔與函式間隔的關係，改寫為
maxw,b
γ¯||
w||y
i(w⋅
xi+b
)≥γ¯
,i=1
,..,
n 函式間隔γ¯
可根據w,
b 成比例改變，因此可取任意值，將其設為1，由於最大化1|
|w||
與最小化12
||w|
|2等價，得到線性可分支援向量機，是乙個凸二次規劃問題（統計學習方法p100）
minw,b
12||
w||2
yi(w
⋅xi+
b)≥1
,i=1
,..,
n 3.線性不可分加入鬆弛因子
不能完全把點分開時，在約束條件中加入鬆弛因子
ξ ，同時需要在目標函式中進行懲罰，並給出懲罰力度，得到線性支援向量機
minw,b
12||
w||2
+c∑i
=1nξ
iyi(
w⋅xi
+b)≥
1−ξi
,i=1
,..,
n 4.轉化為對偶形式
minα12
∑i=1
n∑j=
1nαi
αjyi
yj(x
i⋅xj
)−∑i
=1nα
is.t
.∑i=
1nαi
yi=0
,0⩽α
i⩽c
此時，變數個數為樣本長度，原問題變數個數為特徵向量長度，只有支援向量
α>
0 分開的xi
變為向量內積方便使用核函式。當
0<
α<
c ，則ξ=
0 ,支援向量落在間隔邊界上；當α=
c,0<
ξ<
1 ，分類正確，落在間隔邊界和分離超平面之間；當α=
c,ξ>
1 ，分類錯誤。再求解w,
b ，其中b可以用間隔邊界上（
0<
α<
c ）的乙個點或所有點求平均得到w=
∑i=1
nαiy
ixi,
b=yj
−∑i=
1nyi
αi(x
i⋅xj
) 1.判別模型f(
x)=s
ign(
w⋅x+
b)2.引數
決策邊界法向量
w ,和決策邊界截距b
3.目標函式（損失函式+正則化項）
1.損失函式（hinge loss）l(
y,w⋅
x+b)
=[1−
y(w⋅
x+b)
]+ [
z]+ ：當z>0時為z，z<0時為0。對於硬間隔svm，損失函式為0，即使全部1−
yi(w
⋅xi+
b)<0
2.目標函式：ob
j=∑i
=1n[
1−yi
(w⋅x
i+b)
]++λ
||w|
|2最小化該目標函式等價於上述凸二次規劃問題。令[1
−yi(
w⋅xi
+b)]
+=ξi
,λ=1
2c可證明。
3. 目標函式決定了模型生成僅與支援向量有關，與其餘大部分樣本點無關
SVM 簡要推導過程
svm 是一塊很大的內容，網上有寫得非常精彩的部落格。這篇部落格目的不是詳細闡述每乙個理論和細節，而在於在不丟失重要推導步驟的條件下從巨集觀上把握 svm 的思路。svm 支援向量機 的主要思想是找到幾何間隔最大的超平面對資料進行正確劃分，與一般的線性分類器相比，這樣的超平面理論上對未知的新例項具有...
SVM 簡要推導過程
svm 是一塊很大的內容，網上有寫得非常精彩的部落格。這篇部落格目的不是詳細闡述每乙個理論和細節，而在於在不丟失重要推導步驟的條件下從巨集觀上把握 svm 的思路。svm 支援向量機 的主要思想是找到幾何間隔最大的超平面對資料進行正確劃分，與一般的線性分類器相比，這樣的超平面理論上對未知的新例項具有...
SVM 簡要推導過程
svm 是一塊很大的內容，網上有寫得非常精彩的部落格。這篇部落格目的不是詳細闡述每乙個理論和細節，而在於在不丟失重要推導步驟的條件下從巨集觀上把握 svm 的思路。svm 支援向量機 的主要思想是找到幾何間隔最大的超平面對資料進行正確劃分，與一般的線性分類器相比，這樣的超平面理論上對未知的新例項具有...