在求解的過程中，會發現只根據部分資料就可以確定分類器，這些資料稱為支援向量。換句話說，就是超平面附近決定超平面位置的那些參與計算鎖定平面位置的點
區域性支援向量的新增才會提高，否則無效
對訓練器進行組合。其中比較典型的有一對一，和一對多
可以，把loss函式變為：
非線性問題
軟間隔允許部分樣本點不滿足約束條件： 1
樣本點的個數
核函式能夠將特徵從低維空間對映到高維空間， 這個對映可以把低維空間中不可分的兩類點變成高維線性可分的
我用的比較多的是線性核函式和高斯核函式，線性用於特徵多，線性問題的時候，高斯核函式用於特徵少，非線性問題需要公升維的時候
在機器學習中常用的核函式，一般有這麼幾類，也就是libsvm中自帶的這幾類：
線性：k(v1,v2) =
多項式：k(v1,v2) = (r+c)^n
radial basis function：k(v1,v2) = exp(-r||v1-v2||^2)
sigmoid：tanh(r+c)
mercer定理：核函式矩陣是對稱半正定的
無窮維e的n次方的泰勒展開得到了乙個無窮維度的對映
如果在svm容忍範圍內或者在svm的margin外，則不受影響；否則決策邊界會發生調整
非線性：
資料問題：
資料量少特徵少：
缺失值多：
支援向量機專題 線性支援向量機
原文 當資料線性不可分時，使用硬間隔支援向量機很難得到理想的結果。但是如果資料近似線性可分，可以採用軟間隔支援向量機 線性支援向量機 進行分類。這通常適用於有少量異常樣本的分類，如果使用線性支援向量機，它會盡量使得所有訓練樣本都正確，如下圖所示。顯然這並不是最好的結果，軟間隔支援向量機可以權衡 間隔...
支援向量機
支援向量機 svm 一種專門研究有限樣本 的學習方法。是在統計學習理論基礎之上發展而來的。沒有以傳統的經驗風險最小化原則作為基礎，而是建立在結構風險最小化原理的基礎之上，發展成為一種新型的結構化學習方法。結構風險最小歸納原理 解決了有限樣本或小樣本的情況下獲得具有優異泛化能力的學習機器。包含了學習的...
支援向量機
支援向量 與分離超平面距離最近的樣本點的例項 優點 泛化錯誤率低，計算開銷不大，結果易解釋 缺點 對引數調節和核函式選擇敏感，原始分類器不加修改僅適用於處理二分類問題 適合資料型別 數值型和標稱型資料 每次迴圈中選擇兩個alpha進行優化處理。一旦找到一對合適的alpha，那麼久增大其中乙個同時減小...