摘要：
本文為七月演算法（julyedu.com）12
svm是一種常見的分類器，在很長一段時間起到了統治地位。而目前來講
svm依然是一種非常好用的分類器，在處理少量資料的時候有非常出色的表現。
引言：
svm是乙個非常常見的分類器，在真正了解他的原理之前我們多多少少都有接觸過他。本位將會詳細的介紹
svm的原理、目標以及計算過程和演算法步驟。我們針對線性可分資料和線性不可分資料介紹了線性支援向量機和非線性支援向量機，並在最後簡單闡述非線性支援向量機的重要概念核函式。
svm實際上就是乙個求解極值凸優化的過程，想要更好的了解
svm一定要非常熟悉有關於「凸優化」的內容。當了解「凸優化」後，
svm實際上變得非常容易。
預備知識
凸優化一、線性可分支援向量機
1、概念
給定線性可分訓練資料集，通過間隔最大化得到的分離超平面為：
相應的分類決策函式：
，這個決策函式成為線性可分支援向量機。
某個確定的特徵空間轉換函式，它的作用是將x
對映到(
更高的)
維度。（核函式）
求解分離超平面問題可以等價為求解相應的凸二次規劃問題。
分割平面：
訓練集：
目標值：
新資料的分類：
2、求解方法
建立目標函式：通過等比例縮放w
的方法，使得兩類點的函式值都滿足
。原目標函式：
新目標函式：
拉格朗日乘子法可以得出：
原問題：
原始問題的對偶問題：
計算方案：
1、計算：
推導方式：目標函式的凸優化求極值，
為約束最優化解。
2、求得分割超平面
3、分類決策函式
二、
線性支援向量機：
若資料線性不可分，則增加鬆弛影子，
使函式間隔加上鬆弛變數大於等於1
，則約束條件變成：
目標函式：
求解過程類似線性可分支援向量機，但是在求
的時候，有所區別（要考慮鬆弛因子）
實踐中往往取支援向量的所有值取平均，作為b*
三、
核函式可以使用核函式，將原始輸入空間對映到新的特徵空間，從而，使得原本線性不可分的樣本可能在核空間可分。
常見的核函式：多項式核函式、高斯核函式、字串核函式。
在實際應用中，往往依賴先驗領域知識/
交叉驗證等方案才能選擇有效的核函式。
如果有更多先驗資訊，則使用高斯核函式。
來自為知筆記(wiz)
機器學習筆記 支援向量機演算法
基本思想 定義在特徵空間上的間隔最大的線性分類器。主要學習策略為使得間隔最大化，可形式化為乙個求解二次規劃的問題，等價於正則化的合頁損失函式的最小化問題。分類 線性 線性可分支援向量機 線性支援向量機 非線性 非線性支援向量機 當訓練資料線性可分時，通過硬間隔最大化，學習乙個線性的分類器，即線性可分...
機器學習 支援向量機
線性可分支援向量機 1.回顧感知機模型 2.函式間隔與幾何間隔 3.支援向量 4.svm模型目標函式與優化 5.線性可分svm的演算法過程 線性可分支援向量機 1.軟間隔最大化 2.線性分類svm的軟間隔最大化目標函式的優化 3.軟間隔最大化時的支援向量 4.軟間隔最大化的線性可分svm的演算法過程...
機器學習 支援向量機
svm就是試圖把棍放在最佳位置，好讓在棍的兩邊有盡可能大的間隙。這個間隙就是球到棍的距離。這裡我們看到兩種不同顏色的小球 我們找到乙個棍子放在其中，把他們分割開來，但是僅僅是這麼簡單嘛，不不，我們還要考慮怎麼放這根棍子，能夠分開這兩種小球的棍子在中間有無數種方法哪種最好呢？保證決策面方向不變且不會出...