舉個簡單的例子，如下圖所示
左圖有三條直線
（1）虛線不能很好的進行分類
（2）兩條實線能夠實現分類（在該資料集中表現較好），但是這兩個線性模型的判定便界很靠近樣本點，在新的資料上可能不會表現得那麼好。
右圖一條實線
（1）該實線不僅分開了兩種類別，還盡可能遠離了最靠近的訓練資料點，可以理解為svm分類器在兩種類別之間保持了一條盡可能寬敞的街道，因此svm可以理解為最大間隔分類。
（2）該直線如果上公升到多維，叫做分隔超平面，svm分類器希望找到離分隔超平面最近的點，使其離分隔超平面盡可能的遠，這些點到分隔面的距離被稱為間隔，svm思想是尋找最大間隔。
（3）支援向量就是離分隔超平面最近的那些點。
（4）支援向量機是一種分類器，之所以稱為「機」是因為它會產生乙個二值決策結果，即它是一種決策「機」。支援向量機的泛化錯誤率較低，即它具有良好的學習能力，且學習到的結果具有很好的推廣性。這些優點使支援向量機十分流行，有人認為它是監督學習中最好的定式演算法。
函式間隔定義如下
上式中y表示類別，wt*x+b=0則為超平面。
因此，在超平面（w，b）中關於t（訓練集）中所有樣本點（xi，yi）的函式間隔最小值（其中xi為特徵，yi為結果標籤，i表示第i個樣本），即為該超平面關於訓練集t的函式間隔
此函式間隔有個缺陷就是，在超平面w和b成比例改變時，如2w和2b，此時由上式知函式間隔也變成了兩倍，而超平面不變，這裡理解：超平面不變可以理解為2(wt*x+b)=0，2可以去掉，變成(wt*x+b)=0，因此超平面不變。我們希望的是在超平面不變（哪怕w和b隨便成比例改變），函式間隔應該保持不變，這才是乙個成熟的標尺。
因此我們引出了幾何間隔的概念，所謂幾何間隔實際上就是點到平面的物理距離。假定乙個三維空間ax+by+cz+d=0（這裡面|a,b,c|即為w向量），該超平面可能有多副面孔，比如6ax+6by+6cz+6d=0，不管其有多副面孔，某點到該平面的距離始終保持不變（所謂我自巋然不變，這才是乙個成熟的標尺）。因此我們採用幾何間隔作為距離判定標準。
在公式推導，如下圖
上述公式即為x0點沿著幾何距離方向平移（r*w/||w||）距離，其中||w||為w的二階範數（範數是乙個類似於模的表示長度的概念），
因此可以知道，幾何間隔=函式間隔除以||w||
3.最大間隔分類器maximun margin classifier
如上圖所示，我們需要使超平面離資料點的間隔越大，分類的確信度(confidence)就越大，上述實線為我們要找的超平面，又叫決策邊界，虛線叫做間隔邊界，超平面位於間隔邊界中間，剛好使雙方最大間隔值都為最大。
設定分類標籤為1，和-1，則由上面推出的幾何間隔=函式間隔/||w||，而函式間隔y*(w*x+b)，要麼為(-1)*(-1)，要麼為(1*1)，都是等於1，因此這個時候幾何間隔=1/|w|||，因此兩個間隔邊界距離為2/||w||。這裡兩直線的距離參考如下二維平面下的推導
因此最大間隔分類器的目標函式可以定義為：
st表示約束條件，該公式含義是，在相應的約束條件
如上圖所示，對於支援向量上的點有，函式間隔
未完待續，對偶函式，針對非線性可分的資料，無法找到對應超平面的情況下，利用核函式等等......
支援向量機（SVM）
簡介 術語 支援向量機 svm 是乙個類分類器，正式的定義是乙個能夠將不同類樣本在樣本空間分隔的超平面。換句話說，給定一些標記 label 好的訓練樣本 監督式學習 svm演算法輸出乙個最優化的分隔超平面。首先我們假定有乙個未知的欲分類的集合，可以進行分割，但是我們不知道分割的函式 超平面，也叫真實...
支援向量機SVM
支援向量機svm support vector machine 是機器學習領域的乙個有監督的學習模型。一 簡介 支援向量機建立在統計學習理論的基礎之上。統計學習理論 statistical learning theory簡稱slt 是一種處理小樣本的統計理論 為研究有限樣本情況下的統計模式識別和更廣...
SVM支援向量機
在機器學習領域，很多時候會用到分類的一些演算法，例如knn，貝葉斯。我們可以把分類的樣本簡單除暴的分為兩種型別。線性可分和非線性可分。可以使用乙個非常簡單的例子來解釋什麼是線性可分，什麼是線性不可分。a 線性可分的2類樣本 b 非線性可分的2類樣 已知乙個線性可分的資料集,其中x表示乙個n維向量，當...