1，線性可分，即能找到超平面，對於硬間隔支援向量機
2，部分點不可分，總體近似可分，近似線性可分，對應軟間隔支援向量機
3，線性不可分，需要用到核函式
軟間隔支援向量機要加個鬆弛變數ξ。
我們都知道，硬間隔滿足，yi * ( wi * x + b )≥1，這是函式間隔，是幾何間隔的||w|| 倍。
由於一些點出現在兩條線的間隔內部，函式間隔的約束條件不滿足，所以引入鬆弛變數ξ，使yi * ( wi * x + b ) + ξ ≥1，即：yi * ( wi * x + b ) ≥1 - ξ。對於這些離群點有對應的鬆弛變數，其他的點是沒有鬆弛變數ξ的。
你需要明白兩個概念，函式距離（函式間隔）和幾何距離（幾何間隔），先看個圖：
它是兩條平行直線在某一條軸線（例如x軸）上的距離。在二維平面，它是豎著的，如圖中的藍色線標註，也可以是橫著的，圖中未畫出。
函式距離和幾何距離之間有關係，在本例中為：
||w||是矩陣w的模
在本例中，函式距離（d帽）就是直線1減去直線2的距離，是1。把這個數帶入函式距離（d帽），然後乘以2，就得到兩條虛線間的間隔
看到了嗎？這就是當初我們要最大化的那個式子。
還記得那個限制條件嗎？
不等式右邊的1 ，就是函式距離（d帽）。
也就是硬間隔支援向量機，它的數學模型為：
上面的一種情況是，我們找了兩條直線，最大化他們的距離。但有時我們找的直線，它們中間有一些散落的點，這些點不滿足那個限制條件。如下圖所示：
不滿足的樣本，如圖紅色標註的4個點。
也就是由於這些特殊的點，限制條件不滿足。這真是乙隻老鼠壞一鍋湯！
怎麼辦呢？就該我們的主角上場了，對，就是鬆弛變數ξ。
為了方便敘述與理解，我只拿其中的乙個點分析，下圖中的紅色點。
看圖：
藍色的線的長度就是引入的鬆弛變數ξ（ξ≥0）
由於d帽=1，相應的綠色的線的長度就是1-ξ
此時，紅色的點到橙色的線（我們要確定的最終分割線），之間的函式距離為：
對於所有的樣本點，都滿足：
這就是引入鬆弛變數後的限制條件。
這就是軟間隔支援向量機，它的數學模型為：
其中m是樣本個數
支援向量機鬆弛變數的理解
首先要清楚 1，線性可分，即能找到超平面，對於硬間隔支援向量機 2，部分點不可分，總體近似可分，近似線性可分，對應軟間隔支援向量機 3，線性不可分，需要用到核函式 軟間隔支援向量機要加個鬆弛變數 我們都知道，硬間隔滿足，yi wi x b 1，這是函式間隔，是幾何間隔的 w 倍。由於一些點出現在兩條...
支援向量機（二） 鬆弛變數處理異常點
在博文支援向量機 一 線性可分支援向量機 一文中，我們介紹了訓練資料集線性可分的情況下，應用硬間隔最大化策略得到最優超平面。但是在實際情況中，訓練集有很大可能存在雜訊，使得某些樣本偏離正常範圍，稱這些樣本為異常點，如下圖所示 這時如果應用硬間隔最大化，得到的最優超平面是圖中的黑色實線 而如果不遷就左...
SVM支援向量機的理解
support vector machine 為什麼一定要研究線性分類？首先說一下為什麼對資料集一定要說線性可分或線性不可分，難道不可以非線性分開嗎？想要非線性分開當然可以，實際上svm只是把原來線性不可分的資料點對映到乙個新的空間，轉換為在新空間中線性可分資料來進行分類的。如果返回到原來資料的空間...