（1）是一種二分類模型，它的目的是尋找乙個超平面來對樣本進行分割，分割的原則是間隔最大化，最終轉化為乙個凸二次規劃問題來求解。由簡至繁的模型包括：
當訓練樣本線性可分時，通過硬間隔最大化，學習乙個線性可分支援向量機；
當訓練樣本近似線性可分時，通過軟間隔最大化，學習乙個線性支援向量機；
當訓練樣本線性不可分時，通過核技巧和軟間隔最大化，學習乙個非線性支援向量機；
（2）線性可分支援向量機就對應著能將資料正確劃分並且間隔最大的直線。
（3）優點：
1、使用核函式可以向高維空間進行對映
2、使用核函式可以解決非線性的分類
3、分類思想很簡單，就是將樣本與決策面的間隔最大化
4、分類效果較好
（4）缺點：
1、對大規模資料訓練比較困難
2、無法直接支援多分類，但是可以使用間接的方法來做
（5）主要應用
應用場景：文字分類、人像識別、醫學診斷等。
支援向量機（support vector machines, svm）是一種二分類模型，它的基本模型是定義在特徵空間上的間隔最大的線性分類器，間隔最大使它有別於感知機；svm還包括核技巧，這使它成為實質上的非線性分類器。svm的的學習策略就是間隔最大化，可形式化為乙個求解凸二次規劃的問題，也等價於正則化的合頁損失函式的最小化問題。svm的的學習演算法就是求解凸二次規劃的最優化演算法。
1.支援向量機（support vector machines）是一種二分類模型，它的目的是尋找乙個超平面來對樣本進行分割，分割的原則是間隔最大化，最終轉化為乙個凸二次規劃問題來求解。由簡至繁的模型包括：
當訓練樣本線性可分時，通過硬間隔最大化，學習乙個線性可分支援向量機；
當訓練樣本近似線性可分時，通過軟間隔最大化，學習乙個線性支援向量機；
當訓練樣本線性不可分時，通過核技巧和軟間隔最大化，學習乙個非線性支援向量機；
2.如果乙個線性函式能夠將樣本分開，稱這些資料樣本是線性可分的。
3.那麼什麼是線性函式呢？其實很簡單，在二維空間中就是一條直線，在三維空間中就是乙個平面，以此類推，如果不考慮空間維數，這樣的線性函式統稱為超平面。
4.線性可分支援向量機就對應著能將資料正確劃分並且間隔最大的直線。
5.為什麼要間隔最大呢？
一般來說，乙個點距離分離超平面的遠近可以表示分類**的確信度，svm的目標是尋找乙個超平面，使得離超平面較近的異類點之間能有更大的間隔，即不必考慮所有樣本點，只需讓求得的超平面使得離它近的點間隔最大。svm的思想是使得間隔最大化，也就是：max2/||w||
6.怎樣計算間隔？
距離超平面最近的這幾個樣本點滿足yi(wtxi+b)=1，它們被稱為「支援向量」。虛線稱為邊界，兩條虛線間的距離稱為間隔（margin）。 間隔的計算於兩個異類支援向量的差在 w方向上的投影 。
機器學習（5） 支援向量機 SVM（一）
線性可區分 svm support vector machine 考慮如下分類問題 可以看到，黑色和白色的點分別為兩類，那麼可以在平面找一條線，將兩種點分割在直線的兩端，如圖的藍色和紅色的直線就是例子。這兩個直線對資料集表現的都很好，不像綠色的線甚至無法分清訓練資料的類別。那麼對於新來的資料，我們可...
《機器學習實戰》原始碼解析（五） 支援向量機
from numpy import smo演算法中的輔助函式 defloaddataset filename 功能 匯入資料庫 輸入 檔名 輸出 資料矩陣，標籤向量 datamat labelmat fr open filename for line in fr.readlines linearr ...
機器學習（三） 支援向量機
支援向量機是一種判別模型，它構建乙個超平面使得距離這個超平面最近的點的距離最大。支援向量機的任務是在較低的模型泛化誤差下尋找乙個合適的超平面。如果超平面的函式是如下表示式 那麼超平面與資料點 label 1 之間的幾何關係為 定義 幾何間隔和函式間隔 因此，轉換為帶約束的優化問題 我們無法保證資料是...