支援向量機是一種二分類分類器。
給一堆資料(x
i,yi
) ,並假設它們是線性可分的。
線性可分支援向量機的目的就是從這堆資料中學到乙個分類超平面wx
+b=0
,利用這個平面進行分類。
那麼如何得到這個分類超平面呢？
假設這個分類超平面我們已經得到了，為wx
+b=0
,那麼對於點(x
i,yi
) ,我們可以用|w
xi+b
| 表示這個點到這個超平面的相對距離。用yi
(wxi
+b) 表示這個點是否分類正確和到超平面的相對距離。這個 γi
^=yi
(wxi
+b) 就叫做函式間隔。接著定義所有樣本點中函式間隔的最小值γ̂
=mini=
1...nr
i^
但是使用這個函式間隔有點問題，就是當w和b同時成倍縮放的時候，分類超平面沒有變化，但是我們所計算出來的函式間隔就會成倍縮放，這是個問題。因此，我們引入幾何間隔。
定義幾何間隔為γi
=yi(
w||w
||⋅x
i+b|
|w||
) 所有樣本點中幾何間隔的最小值γ=
mini
=1...nγ
i^為什麼要定義幾何間隔呢？因為我們的目的就是找到這些資料的分類超平面，找這個超平面的目標就是最大化
γ ，也就是最大化所有樣本點的幾何間距的最小值。也就是使得距離超平面最近的那個點的距離最大化。這樣做是為了讓兩類不同的資料盡可能得分開。
準確一點，我們的目標是求得乙個所有樣本點的幾何間隔的最小值最大的超平面。這個問題可以轉化成下面的約束問題：
maxw,b
γ s.
t.yi
(w||
w||⋅
xi+b
||w|
|)≥γ
,i=1
,2,.
..,n
根據函式間隔和幾何間隔的關係，可以轉換成：
maxw,b
γ̂ ||
w||
s.t.
yi(w
⋅xi+
b)≥γ
̂ ,i=
1,2,
...,
n 我們發現 γ̂
的取值大小對整個約束問題和目標問題沒有影響，所以為了計算簡單，我們把 γ̂
的在值取為1。(至於為什麼沒有影響，我這裡沒詳細寫)。又因為最大化 1|
|w||
和最小化 12
||w|
|2是一樣的。所以目標問題轉成：
minw,b
12||
w||2
s.t.yi(
w⋅xi
+b)−
1≥0,
i=1,
2,..
.,n
未完待續…
線性可分支援向量機
支援向量機 support vector machines,svm 是一種二類分類模型。根據模型的複雜程度可以分為線性可分支援向量機 線性支援向量機及非線性支援向量機。簡單模型是複雜模型的基礎，也是複雜模型的特殊情況。本文假設訓練資料線性可分，介紹了線性可分支援向量機如何通過硬間隔最大化 hard ...
線性可分支援向量機（二）
線性可分支援向量機 二 性可分支援向量機 一 中，我們研究的是最理想的情況，即被分類的兩類樣本點沒有交叉，能夠完全被分離超平面給分離。但實際上的情況一般都不是那麼理想，可能找不出乙個完美的分離超平面。有可能有樣本點位於分離超平面的另一側。此時，我們所追求的就是軟間隔最大化。軟間隔最大化 根據博文一的...
SVM筆記（三） 線性可分支援向量機
如果訓練輸入線性可分，通過應間隔最大化學習得到的線性分類器稱為線性可分支援向量機。假設特徵空間上的訓練資料集 t 其中xi 表示第i個特徵向量，yi 為xi 的類標記。學習目標是在特徵空間找到乙個分離超平面 w x b 0 可以將正負樣例分開，即正負樣例分布在超平面的兩側。定義超平面關於訓練資料集t...