svm本身是乙個二值分類器
svm演算法最初是為二值分類問題設計的，當處理多類問題時，就需要構造合適的多類分類器。
目前，構造svm多類分類器的方法主要有兩類
（1）直接法，直接在目標函式上進行修改，將多個分類面的引數求解合併到乙個最優化問題中，通過求解該最優化問題「一次性」實現多類分類。這種方法看似簡單，但其計算複雜度比較高，實現起來比較困難，只適合用於小型問題中；
（2）間接法，主要是通過組合多個二分類器來實現多分類器的構造，常見的方法有one-against-one和one-against-all兩種。
一對多法（one-versus-rest,簡稱ovr svms）
訓練時依次把某個類別的樣本歸為一類,其他剩餘的樣本歸為另一類，這樣k個類別的樣本就構造出了k個svm。分類時將未知樣本分類為具有最大分類函式值的那類。
假如我有四類要劃分（也就是4個label），他們是a、b、c、d。
於是我在抽取訓練集的時候，分別抽取
（1）a所對應的向量作為正集，b，c，d所對應的向量作為負集；
（2）b所對應的向量作為正集，a，c，d所對應的向量作為負集；
（3）c所對應的向量作為正集，a，b，d所對應的向量作為負集；
（4）d所對應的向量作為正集，a，b，c所對應的向量作為負集；
使用這四個訓練集分別進行訓練，然後的得到四個訓練結果檔案。
在測試的時候，把對應的測試向量分別利用這四個訓練結果檔案進行測試。
最後每個測試都有乙個結果f1(x),f2(x),f3(x),f4(x)。
於是最終的結果便是這四個值中最大的乙個作為分類結果。
評價：這種方法有種缺陷,因為訓練集是1:m,這種情況下存在biased.因而不是很實用。可以在抽取資料集的時候，從完整的負集中再抽取三分之一作為訓練負集。
最早實現svm對多類別進行分類就是此種方法，思想是將多個類別轉化成兩類來實現。在訓練時，對於k個類別的樣本資料，需要訓練k個svm二類分類器，在構造第i個svm子分類的樣本資料標記為正類，其他不屬於i類別的樣本資料標記為負類。測試時，對測試資料分別計算各判別函式值，如果只有乙個分類器輸出正值，那麼可直接判決結果為相應分類器編號，否則選取判別函式值最大所對應的類別為測試資料的類別。
優點：訓練k個分類器，個數較少，其分類速度相對較快。
缺點：每個分類器的訓練都是將全部的樣本作為訓練樣本，這樣在求解二次規劃問題時，訓練速度會隨著訓練樣本的數量的增加而急劇減慢；同時由於負類樣本的資料要遠遠大於正類樣本的資料，從而出現了樣本不對稱的情況，且這種情況隨著訓練資料的增加而趨向嚴重。解決不對稱的問題可以引入不同的懲罰因子，對樣本點來說較少的正類採用較大的懲罰因子c。還有就是當有新的類別加進來時，需要對所有的模型進行重新訓練。
由於訓練資料的不平衡性，在實際情況下，我們應該合理的選擇冒認者模型，選擇出距離分類面較近的 少些樣本來進行訓練。
從冒認話者集中選取冒認者的方法：一是基於語音的方法，將冒認者話集的冒認語音與該目標說話人的gmm模型進行匹配，性中找到s個具有較大似然度評分的話者語音作為該目標說話人的冒認話者；二是將目標說話人與冒認話者分別訓練gmm模型，然後隨機選取k條次序固定的語音作為測試語音，然後將這k條測試語音通過目標模型的gmm和所有的冒認話者的gmm模型，得到的評分可以組成多個k維向量，通過計算向量間的歐氏距離來獲得最優的冒認話者。
在「一對多」的方式中，也可以為訓練語音尋找乙個公共的冒認話者集，而這個冒認話者集盡可能包含多種環境情況。這樣訓練得到的分類面相當於某個目標說話人與一群固定的冒認者之間的區分情況。
從「一對多」的方法又衍生出基於決策樹的分類：
首先將所有類別分為兩個類別，再將子類進一步劃分為兩個次級子類，如此迴圈下去，直到所有的節點都只包含乙個單獨的類別為止，此節點也是二叉樹樹種的葉子。該分類將原有的分類問題同樣分解成了一系列的兩類分類問題，其中兩個子類間的分類函式採用svm。如下圖表示：
一對一法（one-versus-one,簡稱ovo svms或者pairwise）
其做法是在任意兩類樣本之間設計乙個svm，因此k個類別的樣本就需要設計k(k-1)/2個svm。
當對乙個未知樣本進行分類時，最後得票最多的類別即為該未知樣本的類別。
libsvm中的多類分類就是根據這個方法實現的。
假設有四類a,b,c,d四類。在訓練的時候我選擇a,b; a,c; a,d; b,c; b,d;c,d所對應的向量作為訓練集，然後得到六個訓練結果，在測試的時候，把對應的向量分別對六個結果進行測試，然後採取投票形式，最後得到一組結果。
投票是這樣的：
a=b=c=d=0;
(a,b)-classifier 如果是a win,則a=a+1;otherwise,b=b+1;
(a,c)-classifier 如果是a win,則a=a+1;otherwise, c=c+1;
...(c,d)-classifier 如果是c win,則c=c+1;otherwise,d=d+1;
the decision is the max(a,b,c,d)
評價：這種方法雖然好,但是當類別很多的時候,model的個數是n*(n-1)/2,代價還是相當大的。
分別選取兩個不同類別構成乙個svm子分類器，這樣對於k個類別來說，共有（k*(k-1)/2）個分類器。在構造i和j的分類器時，可以將類別i的訓練樣本置為1，j的樣本置為-1來進行訓練。
在進行測試的時候，使用最多的就是friedman提出的投票策略：將測試資料x對所有的分類器分別進行測試，若由
例如說：我們有6個說話人的資料，分別作為6類，我們分別做（類1、類2），（類1、類3），。。。（類5、類6）總共15個svm分類面，現在有乙個測試說話人x，將其分別送入15個svm分類面，假如說，在（類1、類2）屬於類1，在（類1、類3）中屬於類1，在（類1，類4）中屬於類一，在（類1、類5）中屬於類1，在（類1、類6）中屬於類1，那麼它屬於類1的投票數是5，如果屬於其他類別數不大於5時，那麼x就屬於類1.
缺點是：所需構造和測試的二值分類器的數量關於k成二次函式增長，總訓練時間和測試時間相對較慢。
從「一對一」的方式出發，出現了有向無環圖（directed acyclic graph）的分類方法，訓練過程如「一對一」類似，但測試具體過程如下圖：
這種方法減小了測試的資料量，提高了速度。
層次支援向量機
層次分類法首先將所有類別分成兩個子類，再將子類進一步劃分成兩個次級子類，如此迴圈，直到得到乙個單獨的類別為止。對層次支援向量機的詳細說明可以參考**《支援向量機在多類分類問題中的推廣》（劉志剛，計算機工程與應用，2004）
SVM多分類的幾種方式
svm實現多分類的三種方案 svm本身是乙個二值分類器 svm演算法最初是為二值分類問題設計的，當處理多類問題時，就需要構造合適的多類分類器。目前，構造svm多類分類器的方法主要有兩類 1 直接法，直接在目標函式上進行修改，將多個分類面的引數求解合併到乙個最優化問題中，通過求解該最優化問題 一次性 ...
SVM實現多分類的三種方案
svm本身是乙個二值分類器 svm演算法最初是為二值分類問題設計的，當處理多類問題時，就需要構造合適的多類分類器。目前，構造svm多類分類器的方法主要有兩類 1 直接法，直接在目標函式上進行修改，將多個分類面的引數求解合併到乙個最優化問題中，通過求解該最優化問題 一次性 實現多類分類。這種方法看似簡...
SVM多分類器的實現（Opencv3，C ）
之前說要用svm實現表情識別來著，所以找個簡單例子練練手。慣例開始放結果，實現結果如下 這裡簡單對四個點分了四類，顯示得很直觀。支援向量總共6個。最後測試了兩個點進行分類。只需要配置好opencv3的環境即可執行。這裡用到的是cv svm,老版本opencv2410之前用的是cvsvm,推薦用最新的...