svm方法被稱為最大間隔分類，考慮乙個兩個feature的例子，如下圖所示，所有的劃分都是正確的，但顯然紅色的線是最好的劃分，因為其抵抗擾動的能力更強，容錯性更好，魯棒性好。兩類中最靠近分類界限的點沿分類線（平面）的距離最大，這個距離就是所謂的magin，中文應該是間隔的意思。
如下圖中的紅色兩個點，分別是離分類線（平面）最近的點。每個樣本點都可以作為乙個向量，兩個紅色點對應的向量稱為support vector。一般將support vector議成支援向量，個人認為不太貼切。事實上support在結構力學中表示支座支承的意思，support vector像支座一樣將兩類樣本撐開，可能翻譯為支承向量更為貼切。machine的原意是指機器，但在機器學習中一般可以理解為演算法的意思。事實上，svm方法的重點就在於使得support vector之間的magin最小。
像上圖中的樣本分析情況，可以找到乙個直線將兩類樣本點分開(顯然大多數問題不一定能找到直線將樣本正確地分開)，其中y=
±1。記分類的直線為ωt
x+b=
0 ，二維情況下方程表示的是直線，三維是平面，更高維的情況是超平面了。
ω 是法向量，
b 是位移項。
由解析幾何的知識易知，空間中認為一點
x到超平面的距離
d 為 d=
∣∣ωt
x+b∣
∣∥ω∥
2對於任一分類正確的樣本(x
i,yi
) 有不等式(ω
txi+
b)yi
>
0 。那麼在這個不等式成立的基礎上一定可以找到新的超平面引數(ω
′,b′
) ，使得(ω
′txi
+b′)
yi≥1
成立。當且僅當，樣本為support vector的時候，不等式的等號成立。再結合距離公式，兩個異類的support vector到超平面的法向距離之和ma
gin 為(為表述方便，記號換回原來的) ma
gin=
2∥ω∥
svm方法不僅要求樣本分類正確，還希望分類的magin能夠盡可能地大，由此可以得到svm方法的基本型
max2∥ω
∥s.t.(ω
txi+
b)yi
≥1,i
=1,2
⋯m上式可以等價為
min12∥
ω∥2s.t.(ω
txi+
b)yi
≥1,i
=1,2
⋯m可以證明，該規劃問題可以轉化為凸二次規劃，因此svm方法不必擔心收斂到區域性最優點的問題。此外還可利用support vector的性質，對優化求解過程進行加速，因此svm方法求解較為高效。
此外，由svm的基本型可以看出，優化目標函式僅與support vector有關，最終得到的超平面也僅與support vector有關。
很多情況下，不同樣本之間並不是線性可分的，如下圖需要用乙個非線性的方程將兩個樣本分塊，那麼此時svm方法是不是就失效了呢？
此時需要將樣本空間對映到更高維的空間中，即x→
ϕ(x)
,使得在這個高維的空間中，樣本時線性可分的ϕ(
x)就稱為核函式，這種思想就稱為核方法(kernel tricks)。數學上，可以證明如原樣本空間是有限維的，那麼就一定存在乙個高維空間使得樣本線性可分。svm方法得基本型可以相應地改寫為：
min12∥
ω∥2s.t.(ω
tϕ(x
i)+b
)yi≥
1,i=
1,2⋯
m 在核函式滿足某種數學條件得情況下，帶核的svm方法同樣具有凸性和計算效率較高的優點。
SVM學習筆記
最近在做模式識別，想通過svm opencv vs2015 mnist實現手寫數字識別，老師要求自己把模式識別的演算法寫出來，自己之前就對支援向量機的強大功能表示出興趣，正好利用這個機會好好學習一下svm，因此這就是這篇博文的由來。第一次寫博文，主要是作為乙個筆記記錄的工作，如果我的文章對你有一些幫...
SVM學習筆記
1 svm尋找區分兩類的超平面，使邊際最大。2 線性可區分，線性不可區分 3 所有坐落在邊際兩邊的超平面上的點被稱為支援向量。4 最大邊際距離為2 w 其中 w 為向量範數 5 svm特點 5.1 訓練好的模型的演算法複雜度是由支援向量的個數決定的，而不是由資料維度決定的，所以svm不太容易產生過擬...
機器學習筆記 SVM
優點 泛化錯誤率低，計算開銷不大，結果易解釋。缺點 對引數調節和核函式的選擇敏感，原始分類器不加修改僅適用於處理二類問題。適用資料型別 數值型和標稱型資料 支援向量機最主要的還是選出離分隔超平面最近的點，這些點叫支援向量，然後最大化支援向量到分隔面的距離。不能耐心的看完svm的理論了，實在是太多。等...