1.支援向量機的目的：
獲取乙個分類邊界，這個邊界可以最大化距離不同類別的最近點。
這樣的邊界可以擁有更好的抗雜訊干擾性。
2.限制：
①分類正確
②margin=min類別到邊界距離
於是，我們將這個問題轉化為了乙個maxmin的問題，並且我們的限制出現了不等式，於是需要kkt等演算法，將原問題轉化為其對偶問題求解。
3.支援向量機一般需要經過兩步：
① 將資料對映到乙個新的高維表示，這時決策邊界可以用乙個超平面來表示
注：這一步為解決一些線性不可分的情況，並且利用核函式，我們可以把多次的高次運算轉化為一次運算的高次結果，利用rbf徑向基核函式exp（-1/2（x1-x2）平方）及泰勒展開可將低維空間向量投射到無窮維
② 盡量讓超平面與每個類別最近的資料點之間的距離最大化，從而計算出良好決策邊界（分
割超平面），這一步叫作間隔最大化（maximizing the margin）。這樣決策邊界可以很好
地推廣到訓練資料集之外的新樣本。
機器學習面試筆記整理4 支援向量機
基於合頁損失找到一條最佳分離邊界，能把最難分的點 支援向量 分得間隔最大。優點 1.泛化能力高 2.利用核技巧對非線性樣本分類 3.svm 的最終決策函式只由少數的支援向量所確定,計算的複雜性取決於支援向量的數目,而不是樣本空間的維數，可解決高維問題，這在某種意義上避免了 維數災難 4少數支援向量決...
機器學習筆記（二 支援向量機）
本次筆記基於mooc平台浙江大學的機器學習課程 對於乙個訓練樣本集,i 1 n,若存在 w,b 使得使得滿足下式，則是線性可分問題。要求這樣的乙個超平面 在二維平面中是一條直線 則要滿足以下公式 證明過程如下 首先要確認兩個事實，即 和 則可以根據線性可分問題的滿足式，用a來縮放 w,b 使得找到某...
3 支援向量機
3.1 本質 基本模型是定義在特徵空間上的間隔最大的線性分類器。核技巧使之成為實質上的非線性分類器。學習策略是間隔最大化，可形式化為求解凸二次優化問題。等價於正則化的合頁損失函式的最小化問題。學習演算法是求解凸二次規劃的最優化演算法。理解支援向量機可以從簡至繁推進 線性可分支援向量機 硬間隔svm ...