第七章 支援向量機
2. 線性支援向量機與軟間隔最大化
支援向量機（svm）是一種二分類模型，
支援向量機的學習策略是——間隔最大化。
訓練資料線性可分——通過硬間隔最大化，學習線性分類器，即線性可分支援向量機，又稱為硬間隔支援向量機。
訓練資料近似線性可分，通過軟間隔最大化，學習乙個線性分類器，即線性支援向量機，又稱為軟間隔支援向量機。
訓練資料集線性不可分，通過核技巧和軟間隔最大化，學習非線性支援向量機。
【函式間隔】
超平面(w,
b)(w,b)
(w,b
)關於樣本點(xi
,yi)
(x_i,y_i)
(xi,y
i)的函式間隔為：
γ ^i
=yi(
wxi+
b)\hat_i = y_i(wx_i + b)
γ^i=
yi(
wxi
+b)超平面關於訓練資料集的函式間隔，為超平面關於訓練資料集中所有樣本點的函式間隔的最小值，即
γ ^=
minγ
^i\hat= min\hat_i
γ^=mi
nγ^
i【幾何間隔】
對函式間隔做歸一化，就是幾何間隔。
γ i=
yi(w
∣∣w∣
∣xi+
b∣∣w
∣∣)=
γ^i∣
∣w∣∣
\gamma_i = y_i(\fracx_i + \frac) = \frac_i}
γi=yi
(∣∣
w∣∣w
xi
+∣∣w
∣∣b
)=∣∣
w∣∣γ
^i
超平面關於訓練資料集的幾何間隔，為超平面關於訓練資料集中所有樣本點的幾何間隔的最小值，即
【二者的區別】
如果成比例的改變w
ww和b
bb，函式間隔也會按比例變化，但是幾何間隔由於是歸一化的操作，所以不會變化。
如果∣ ∣w
∣∣=1
||w||=1
∣∣w∣∣=
1，函式間隔和幾何間隔相等。
感知機利用的是誤分類最小的策略，求得分離超平面（也就是說，只要所有的點都分類正確了，誤分類誤差就為0），這時的解有無窮多個。線性可分支援向量機利用間隔最大化求最優分離超平面，這時的解是唯一的。
線性可分向量機的含義：將兩類資料正確劃分，並且幾何間隔最大的分離超平面。即求解最優化問題：
m ax
γmax \space \space \gamma
maxγ
s .t
yi(w
∣∣w∣
∣xi+
b∣∣w
∣∣)≥
γ,i=
1,2,
...n
s.t \space \space y_i(\fracx_i + \frac) \ge \gamma, \space i=1,2,...n
s.tyi
(∣∣w
∣∣w
xi+
∣∣w∣
∣b)
≥γ,i
=1,2
,...
n通過化簡和優化，可將上述最優化問題變為：
m in
1∣∣w
∣∣2min }^2
min∣∣w
∣∣12s.
t.yi
(wxi
+b)−
1≥0s.t. \space \space y_i(wx_i + b)-1 \ge 0
s.t.yi
(wx
i+b
)−1≥
0該最優化問題有存在且唯一解。
【支援向量】
就是在分離超平面上的向量。支援向量使約束條件等號成立。下圖在虛線上的點就是支援向量。在決定分離超平面的時候只有支援向量起作用，而其他例項點不起作用。移動支援向量，將會改變所求解，移動其他點，不會影響分離超平面。由於支援向量的個數很少，所以支援向量機是由很少的「重要」訓練樣本所確定。
【間隔邊界】
如上圖所示，中間實線為分離超平面。超平面兩邊對稱分布兩條虛線，兩條虛線的距離稱為間隔，間隔為2∣∣
w∣∣\frac
∣∣w∣∣2
未完待更。
統計學習方法學習筆記（第七章 支援向量機）
支援向量機是一種二類分類模型，它的基本模型是定義在特徵空間上的間隔最大的線性分類器，間隔最大使它有別於感知機 支援向量機還包括核技巧，這使它稱為實質上的非線性分類器。支援向量機的學習策略就是間隔最大化。可以形式化為乙個求解凸二次優化的問題，也等價於正則化的合頁損失函式的最小化問題。支援向量機的學習演...
《統計學習方法》讀書筆記 第七章 支援向量機
本系列部落格是自己對於 統計學習方法 這本書的讀書筆記，在讀過每個章節以後根據自己的理解寫下這一章的知識框架以及補充一些延伸知識點。目錄 寫在前面 本章框架 線性可分svm與硬間隔最大化 線性svm與軟間隔最大化 非線性svm與核函式 序列最小最優化演算法 smo 補充知識點 歐氏空間與希爾伯特空間...
統計學習方法 支援向量機之非線性支援向量機
前篇 統計學習方法 支援向量機之線性支援向量機 核技巧應用到支援向量機，其基本想法就是 如果對希爾伯特空間與核函式不太了解可以參考 h h為特徵空間 希爾伯特空間 中學習線性支援向量機，我們只需要知道特徵空間中的向量內積 x z x z x z 就可以了，即只要有核函式k x z k x,z k x...