對於給定的訓練集d=，yi∈，分類學習的初衷就是基於訓練集在樣本空間中找到乙個可以有效劃分樣本的超平面。可能存在很多可將樣本分開的超平面，選擇分類結果最魯棒、泛化能力最強的超平面便是支援向量機模型的重點。
通過二維樣本點分布的圖示看，最直觀上，找到兩類樣本正中間的超平面是最佳的。如此，在樣本空間中，劃分超平面通過線性方程描述為：wtx+b=0，其中，w=為法向量，決定了超平面的方向；d為位移項，決定了超平面與原點之間的距離。
對於其上定義的支援向量機數學原型，要得到最大間隔劃分超平面f(x)= w
tx+b，就要訓練出模型引數w和b；而svm模型本身是乙個凸二次規劃（convexquadratic programming）問題，可以直接用優化計算得出，如內點法、有效集法、共軛梯度法等，此處用更為高效的拉格朗日乘子法並得到其對偶問題（dual problem）。
對於訓練樣本是線性可分的，存在乙個超平面能將訓練樣本正確劃分，但在現實任務中，原始樣本空間是線性不可分的，就可能不存在乙個可正確劃分的超平面。對於線性不可分樣本的劃分問題，可將樣本從原始空間對映到乙個更高維的特徵空間，使得樣本在這個特徵空間內線性可分。如果原始空間是有限維，即屬性數目是有限，那一定存在乙個高維特徵空間使樣本可分。
特徵空間從低維對映到高維，在高維空間內尋找線性可分的超平面，這個是實在的幾何抽象。從高維形態去理解其對映成低維的形態，或從低維的形態去理解其對映成高維的形態，都是相當抽象的。當然最基礎還是從二維和三維來理解。推薦乙個鏈結關於傅利葉變換介紹，有助於理解時空抽象。
要將樣本在特徵空間內線性可分，特徵空間的好壞對支援向量機的效能至關重要，選擇合適的高維特徵空間來對映就很重要；在不知道特徵對映的形式時，也就不知道什麼樣的核函式是合適的，核函式也只是隱式定義了特徵空間；如此，核函式的選擇稱為支援向量機的最核心，好的支援向量機就是選對了核函式來訓練。若核函式選擇不合適，則意味著將樣本對映到了乙個不合適的特徵空間，可能導致支援向量機泛化效能不佳。
常用的核函式如下：
應用支援向量機模型來學習的前提是假定訓練樣本在樣本空間或特徵空間中是線性可分的，即存在乙個超平面能將不同類的樣本完全劃分開。自然，在現實任務中，未必就能確定合適的核函式使得訓練樣本在特徵空間中線性可分；即便找到某個核函式使訓練集在特徵空間中線性可分，也很難斷定這個線性可分的結果不是由於過擬合所造成的。這就要說了，能不能找到核函式可以正確劃分訓練集，即使找到了核函式來訓練，是否也只是可將訓練集線性可分，不具備泛化能力。
給定的訓練集d=，y
i∈r，要學得f(x)=w
tx+b模型，使得f(x)與y盡可能接近，w和b是待確定的模型引數。對樣本(x,y)來說，傳統回歸模型一般直接基於模型輸出f(x)和真實輸出y之間的差別來計算損失，當且僅當f(x)和y完全相同時，損失才為零。
統計學習方法（六）支援向量機
svm是一種二類分類模型。它的基本模型是定義在特徵空間上的間隔最大的線性分類器。支援向量機還包括核技巧，這使它成為實質上的非線性分類器。支援向量機學習方法包含構建由簡至繁的模型 線性可分支援向量機 線性支援向量機 非線性支援向量機。支援向量是訓練資料集的樣本點中與分離超平面距離最近的樣本點的例項。決...
機器學習筆記（二 支援向量機）
本次筆記基於mooc平台浙江大學的機器學習課程 對於乙個訓練樣本集,i 1 n,若存在 w,b 使得使得滿足下式，則是線性可分問題。要求這樣的乙個超平面 在二維平面中是一條直線 則要滿足以下公式 證明過程如下 首先要確認兩個事實，即 和 則可以根據線性可分問題的滿足式，用a來縮放 w,b 使得找到某...
機器學習筆記三 支援向量機
給定訓練集d，在樣本空間上找到最魯棒的超平面，將不同類別的樣本分開。對於線性可分問題，超平面的線性方程為 優化目標 找到引數w和b在劃分正確的前提下使得間隔最大，即 上述問題等價於 此為支援向量機 svm 的基本型，將引數求解問題轉化為凸二次規劃問題，為了方便求解且易於推廣到非線性情況下的核函式，採...