svm是通過超平面將樣本分為兩類。
在超平面 w*x + b = 0 確定的情況下,| w*x + b | 可以相對地表示點x距離超平面的遠近。
對於兩類分類問題,如果 w*x + b > 0,則的類別被判定為1;否則判定為-1。
所以如果 y * ( w*x + b ) > 0,則認為x的分類結果是正確的,否則是錯誤的。且 y * ( w*x + b ) 的值越
大,分類結果的確信度越大。反之亦然。
所以樣本點 ( xi , yi ) 與超平面 ( w,b) 之間的函式間隔定義為
但是該定義存在問題:即 w 和 b 同時縮小或放大m倍後,超平面並沒有變化,但是函式間隔卻變化
了。所以,需要將 w 的大小固定,如 || w || = 1,使得函式間隔固定。這時的間隔也就是幾何間隔 。
幾何間隔的定義如下
實際上,幾何間隔就是點到超平面的距離。想像下中學學習的點( xi, yi ) 到直線ax+by+c=0的距離公式
所以在二維空間中,幾何間隔就是點到直線的距離。在三維及以上空間中,就是點到超平面的距
離。而函式距離,就是上述距離公式中的分子,即未歸一化的距離。
定義訓練集到超平面的最小幾何間隔是
svm訓練分類器的方法是尋找到超平面,使正負樣本在超平面的兩側,且樣本到超平面的幾何間隔最大。
所以svm可以表述為求解下列優化問題
SVM中函式間隔和幾何間隔的區別
1 用 w x b 表示點x 到超平面0的距離遠近,w x b y表示分類的正確性以及確信度 2 在二分類問題裡,如果 w x b 0 則x的類別被判定為1 如果 w x b 0,x 的類別判定為 1。所以如果要分類正確,就一定要有y w x b 0 3 樣本點 xi,y i 和超平面之間的函式間隔...
svm 函式間隔與幾何間隔的認識
在超平面w x b 0 w x b 0 確定的情況下,w x b w x b 可以相對地表示點x距離超平面的遠 近。對於兩類分類問題,如果w x b 0 w x b 0,則 x x 的類別被判定為1 否則判定為 1。所以如果y w x b 0 role presentation style posi...
支援向量機(一) 深入理解函式間隔與幾何間隔
實踐發現,在所給的例子中,兩種方法線性劃分兩類事物時得到的線性分類器的效果差不多。那具體的差別在哪呢?svm更關心的是靠近中間分割線的點,讓他們盡可能地遠離中間線,而不是在所有點上達到最優,因為那樣的話,要使得一部分點靠近中間線來換取另外一部分點更加遠離中間線。因此支援向量機和和邏輯斯蒂回歸的不同點...