SVM 支援向量機原理

1.svm - support vector machine (支援向量機),是一種有監督的分類演算法;

有監督的分類模型:就是事先對資料打上標籤,這樣機器就知道資料是哪個分類.

無監督是事先沒有打標籤,比如資料聚類,然後對每個類精心分析.

svm通常是幫我們模式識別,分類以及回歸分析.

2.svm計算的過程就是找到超平面的過程.

3.支援向量機分類

1>完全線性可分:硬間隔(完全分類正確)

2>大部分線性可分:軟間隔(允許分類錯誤)

3>線性不可分:核函式(將原始空間對映到高維空間.使樣本在新空間線性可分)

4.svm如何解決多分類問題

svm本身是個二值分類器.但是如果要多分類,我們可以將多個二分類器組合起來形成多分類器.

常見方法有"一對多法"與"一對一法"兩種.

1.一對多法:將一種分類做正集,其他做負集.

比如a,b,c,d四個分類.可以構造4中svm

（1）樣本 a 作為正集，b，c，d 作為負集；

（2）樣本 b 作為正集，a，c，d 作為負集；

（3）樣本 c 作為正集，a，b，d 作為負集；

（4）樣本 d 作為正集，a，b，c 作為負集

這樣k個分類有k個分類器.分類速度快,但訓練速度慢.

因為每個訓練都要對全部樣本進行訓練.而且負樣本大於正樣本,會造成樣本不對稱的情況.而且增加新的分類,就要重新對分類器進行構造.

2.一對一法

可以再任意兩個樣本之間構造乙個svm,就會有 c(k,2)類分類器.

比如我們想要劃分 a、b、c 三個類，可以構造 3 個分類器：

（1）分類器 1：a、b；（2）分類器 2：a、c；（3）分類器 3：b、c。

這樣的好處在與如果新增一類,不需要重新訓練所有svm,只需不上新增與其他.這種方法在訓練單個svm模型,訓練速度快.

但是不足在於,分類器個數與類數的平方成正比,所以分類樹太大,訓練與測試時間慢

另外關於 svm 分類器的概念，我希望你能掌握以下的三個程度：

(1)完全線性可分情況下的線性分類器，也就是線性可分的情況，是最原始的 svm，它最核心的思想就是找到最大的分類間隔；

(2)大部分線性可分情況下的線性分類器，引入了軟間隔的概念。軟間隔，就是允許一定量的樣本分類錯誤；

(3)線性不可分情況下的非線性分類器,引入了核函式。它讓原有的樣本空間通過核函式投射到了乙個高維的空間中，從而變得線性可分。

支援向量和間隔邊界如上圖所示，舉例來說如上圖所示，其中x1，x2為正例，x3為反例，則svm希望有如下約束支援向量機模型中，我們的學習目標至此，我們已經推導完畢，得到最優的w,b。從上式上我們可以看出，分類決策函式只依賴於輸入x和訓練樣本輸入的內積這一內積又與後面的核函式有著千絲萬縷的聯絡...

1 簡介支援向量機基本上是最好的有監督學習演算法了。最開始接觸svm是去年暑假的時候，老師要求交統計學習理論的報告，那時去網上下了乙份入門教程，裡面講的很通俗，當時只是大致了解了一些相關概念。這次斯坦福提供的學習材料，讓我重新學習了一些svm知識。我看很多正統的都是從vc 維理論和結構風險最...

簡介術語支援向量機 svm 是乙個類分類器，正式的定義是乙個能夠將不同類樣本在樣本空間分隔的超平面。換句話說，給定一些標記 label 好的訓練樣本監督式學習 svm演算法輸出乙個最優化的分隔超平面。首先我們假定有乙個未知的欲分類的集合，可以進行分割，但是我們不知道分割的函式超平面，也叫真實...

SVM 支援向量機 原理