1.1svm模型
和感知機模型一樣，svm（支援向量機模型）也是旨在求出n維空間的最優超平面將正負類分開。這裡的達到的最優是指在兩類樣本點距離超平面的最近距離達到最大，間隔最大使得它區別於感知機學習，svm中還有核技巧，這樣svm就是實際上的非線性分類器函式。
1.2線性可分支援向量機
跟前面定義的問題一樣，假設給定乙個特徵空間上的訓練資料集 t=
t=1.2.1函式間隔和幾何間隔
上圖中有a,b,c三個點，其中a點離超平面較遠，將其決策為正類的確信度比較高，c點**為正類的置信度就不是很高，相同的，b位於a,c之間，所以將其**為正類的置信度也在點a和點c之間。一般來說，乙個點距離超平面的遠近決定了其分類結果的置信度，所以最優的平面即為離超平面最近的樣本點到其的距離最大的時候。
給定樣本點（xi
,yixi,yi
為幾何間隔，為了便於求得最優解，我們通常通過縮放變換使得函式間隔為1。所以svm求解的目標函式為函式間隔為1情況下的幾何間隔。
1.2.2 svm學習演算法
支援向量機的目的在於求得最優的即幾何間隔最大的超平面，在樣本資料是線性可分的時候，這裡的間隔最大化又叫硬間隔最大化（訓練資料近似可分的話就叫軟間隔）
支援向量機的學習演算法可以表示為下面的約束最優化問題： ma
xw,b
υ=w⋅
xi+b
||w|
|maxw,bυ=w⋅xi+b||w||
這就是支援向量機的目標函式，這是乙個凸二次規劃問題，所以支援向量機的學習演算法又叫最大間隔法。那麼該如何求得在約束條件下最優的超平面的引數(w,b)呢？
1.2.3 svm對偶演算法
svm通過對其對偶問題的求解求得最優的超平面引數(w,b)，對於目標函式(12)，目標函式是二次的，約束條件是線性的，是乙個標準的qp問題，但是可以通過拉格朗日對偶性求得對偶問題的最優解，一者，這樣更高效，二者還可以自然引入核函式，推廣到非線性的分類問題。
首先構建拉格朗日函式，對每乙個約束條件引進拉格朗日乘子αi
≥0,i
=1,2
,3,⋯
,nαi≥0,i=1,2,3,⋯,n
，直觀解釋就是最大值中最小的總比最小值中的最大值要大，在滿足某些條件的時候，兩者相等，這裡的條件即為kkt條件。
將公式（4）後面括號展開，就得到 l(
w,b,
α)=1
2||w
||2−
∑i=1
nαiy
i(w⋅
xi+b
)+∑i
=1nα
i(5)
(5)l(w,b,α)=12||w||2−∑i=1nαiyi(w⋅xi+b)+∑i=1nαi
帶入公式5，得： l(
w,b,
α)=∑
i=1n
αi−1
2∑i=
1n∑j
=1nα
iαj
1.1svm模型
支援向量機（SVM）
簡介 術語 支援向量機 svm 是乙個類分類器，正式的定義是乙個能夠將不同類樣本在樣本空間分隔的超平面。換句話說，給定一些標記 label 好的訓練樣本 監督式學習 svm演算法輸出乙個最優化的分隔超平面。首先我們假定有乙個未知的欲分類的集合，可以進行分割，但是我們不知道分割的函式 超平面，也叫真實...
支援向量機SVM
支援向量機svm support vector machine 是機器學習領域的乙個有監督的學習模型。一 簡介 支援向量機建立在統計學習理論的基礎之上。統計學習理論 statistical learning theory簡稱slt 是一種處理小樣本的統計理論 為研究有限樣本情況下的統計模式識別和更廣...
SVM支援向量機
在機器學習領域，很多時候會用到分類的一些演算法，例如knn，貝葉斯。我們可以把分類的樣本簡單除暴的分為兩種型別。線性可分和非線性可分。可以使用乙個非常簡單的例子來解釋什麼是線性可分，什麼是線性不可分。a 線性可分的2類樣本 b 非線性可分的2類樣 已知乙個線性可分的資料集,其中x表示乙個n維向量，當...