支援向量機包含三種：
線性可分支援向量機：當訓練資料線性可分時，可通過硬間隔最大化，學習乙個線性的分類器，叫線性可分支援向量機，也稱硬間隔支援向量機
線性支援向量機：當訓練資料近似線性可分時，可通過軟間隔最大化，也學習乙個線性的分類器，叫線性支援向量機，也稱為軟間隔支援向量機
非線性支援向量機：當訓練資料線性不可分時，通過使用核函式技巧及軟間隔最大化，學習乙個非線性的支援向量機
線性可分支援向量機原來及公式推導
相較於1的基礎上，加入了鬆弛變數和懲罰引數c,其目標函式變成：
最小化目標函式包含兩層含義：使 12∥
w∥2\frac\left \| w \right \|^
21∥w∥
2 的值盡量小即間隔盡量大，同時使誤分類點的個數盡量小，c是調和二者的係數。其他推導類似1的過程，線性支援向量機公式推導參考
相較於2的基礎上，加入了核技巧，通過乙個非線性變換將輸入空間（高維）對應於乙個特徵空間（低維），使得在輸入空間中的非線性模型對應於特徵空間的線性模型，再進一步去求解。推導過程類似2，只需將其中對偶形式中的內積換成核函式即可。
2.3.1. 常用的核函式及選取規則：
常用的核：linear核與rbf核
選取規則：
如果feature的數量很大，跟樣本數量差不多，這時候選用lr或者是linear kernel的svm
如果feature的數量比較小，樣本數量一般，不算大也不算小，選用svm+gaussian kernel
如果feature的數量比較小，而樣本數量很多，需要手工新增一些feature變成第一種情況
參考：相同點：
都是有監督的分類演算法
不考慮核函式，均為線性分類
都是判別式模型
不同點：
loss不同：
svm是結構風險最小化，lr是經驗風險最小化
svm只考慮個別點，而lr考慮所有點（若lr的不同類別數不平衡，需要先對資料做處理）
svm不能產生概率，lr能產生概率
svm可以用核函式，lr一般不用
svm計算複雜，但是效果好，適合小資料集；lr計算簡單，適合大資料
機器學習之支援向量機（SVM）
svm數學知識具體參考 數學知識補充 對於線性可分的超平面 既然能線性可分，那麼就有超平面 向量化表示 將這資料集分開，使得一側是 1 類，另一側是 1類 第乙個知識點 已知超平面 和資料集 哪個點離這個超平面最近，答案 哪乙個點使得 最小，哪一點離這個超平面最近 第二個知識點 已知超平面 和點x，...
機器學習 支援向量機 SVM
svm 方法的基本思想是 定義最優線性超平面，並把尋找最優線性超平面的演算法歸結為求解乙個凸規劃問題。進而基於 mercer 核展開定理，通過非線性對映 把樣本空間對映到乙個高維乃至於無窮維的特徵空間 hilbert 空間 使在特徵空間中可以應用線性學習機的方法解決樣本空間中的高度非線性分類和回歸等...
機器學習 支援向量機SVM
svm是一種監督學習演算法，主要用於分類 回歸 異常值檢測。目前應用於文字分類 手寫文字識別 影象分類 生物序列分析。支援向量機是一種通過某種非線性對映，把低維的非線性可分轉化為高維的線性可分，在高維空間進行線性分析的演算法。支援向量機 svm，support vector machine 是根據統...