本篇主要介紹一些支援向量機用到的概念，這些是學習支援向量機演算法的基礎，以便更好的理解演算法的求解方法。
首先，我們先看看下圖：
假定給定資料如上圖，圓的為正類，方的為負類，要想通過乙個劃分超平面（這裡是二維，所以是條直線）將不同類別的樣本分開。從圖中我們就可以看出，能將訓練樣本分開的劃分超平面可能有很多，但是我們應該去選擇哪乙個呢？
直觀上，我們應該選擇中間紅色的那個，因為它對於訓練樣本區域性擾動的「容忍」性最好，比如，訓練集外的樣本可能比圖中的樣本更接近兩類的劃分超平面，這將使許多劃分超平面出現錯誤，而紅色的超平面受到的影響是最小的，也就是說，這個劃分超平面的分類結果是最魯棒的，對未知示例的泛化能力最強。
這個劃分超平面，可以通過如下的線性方程來描述：wt
x+b=
0 wtx
+b=0
其中w=
(w1;
w2;.
..;w
d)w =(
w1;w
2;..
.;wd
)為法向量，決定了超平面的方向；
b b
為移位項，決定了超平面與原點之間的距離。
如圖，有三個例項a,
b,c，
' role="presentation" style="position: relative;">a,b
,c，a
,b,c
，均在劃分超平面的正類一側，**它們的類，點
a a
距離超平面較遠，若**為正類，就比較確信**是正確的；點
c' role="presentation" style="position: relative;">c
c距離超平面較近，若**為正類就不那麼確信了；點b介
於a,c
b 介於
a,c之間，**其為正類的確信度也在a,
c a,c
之間。一般來說，乙個點距離超平面的遠近可以相對地表示分類**的確信程度。
我們注意到：當乙個點
x x
被正確**時，那麼wx
+b' role="presentation" style="position: relative;">wx+
bwx+
b的符合與類標記
y y
的符合相同。
所以可用y(
w⋅x+
b)' role="presentation" style="position: relative;">y(w
⋅x+b
)y(w
⋅x+b
)來表示分類的正確性及確信度。
對於給定的訓練資料集
t t
和超平面(w
,b)' role="presentation" style="position: relative;">(w,
b)(w
,b)：
（1）定義超平面(w
,b) (w,
b)關於樣本點(x
i,yi
) (xi
,yi)
的函式間隔為：δi
=yi(
w⋅xi
+b) δi=
yi(w
⋅xi+
b)（2）定義超平面(w
,b) (w,
b)關於訓練資料集
t t
的函式間隔為超平面(w
,b)' role="presentation" style="position: relative;">(w,
b)(w
,b)關於
t t
中所有樣本點(x
i,yi
)' role="presentation" style="position: relative;">(xi
,yi)
(xi,
yi)的函式間隔之最小值，即：δ=
mini=1
,2,.
..,n
δiδ
=mini=
1,2,
...,nδi
函式間隔可以表示分類**的正確性和確信度樣本空間中任意點
x x
到超平面(w
,b)' role="presentation" style="position: relative;">(w,
b)(w
,b)的距離可寫為：r=
|wtx
+b||
|w||
r =|
wtx+
b|||
w||補充：點
x0x
0到超平面s:
wx+b
=0s :w
x+b=
0的距離
d d
:
機器學習 支援向量機 1
1.簡單問題描述 支援向量機解決的問題就是找到乙個最優的超平面將訓練樣本分開！最優的就是這個超平面距離每類訓練樣本距離是等距的。理由 魯棒性 最好，泛化能力最強。超平面 簡單來說超平面就是平面中的直線在高維空間上的推廣，總之在n維空間中的超平面是n 1維的。2.間隔和支援向量 超平面方程 其中，w ...
機器學習基礎 對偶支援向量機
在上一小節中，我們介紹，用二次規劃的方法來求解支援向量機的問題。如果用非線性的特徵轉化的方式，可以在乙個更複雜的z空間裡做二次規劃。這種思想是希望通過最大間隔的方式來控制模型的複雜度，通過特徵轉換來實現複雜的邊界。但是這引入了新的問題 在進行特徵轉換之後，在新的高維空間中，求解二次規劃問題就會變得很...
機器學習 支援向量機
線性可分支援向量機 1.回顧感知機模型 2.函式間隔與幾何間隔 3.支援向量 4.svm模型目標函式與優化 5.線性可分svm的演算法過程 線性可分支援向量機 1.軟間隔最大化 2.線性分類svm的軟間隔最大化目標函式的優化 3.軟間隔最大化時的支援向量 4.軟間隔最大化的線性可分svm的演算法過程...