函式間隔與幾何間隔及(感知機與支援向量機的區別)

2021-08-15 22:58:00 字數 938 閱讀 4442

支援向量機中講解了函式間隔與幾何間隔,我們在這篇博文中主要講解函式間隔與幾何間隔的區別。本篇博文主要講解簡單的複習知識,大佬勿噴。

在乙個二維平面上,乙個點距離超平面的距離的遠近可以表示為分類**的確信程度,距離越遠表示越有把握分類正確。|w

∗x+b

| |w∗

x+b|

表示點x x

距離超平面距離的遠近,而(w

∗x+b

)∗y' role="presentation" style="position: relative;">(w∗

x+b)

∗y(w

∗x+b

)∗y表示分類的正確性以及確信度,對於給定的訓練資料集t和超平面(w,b),定義超平面關於樣本點(x

i,yi

) (xi

,yi)

的函式間隔為 ri

=yi(

w∗xi

+b) ri=

yi(w

∗xi+

b)

函式間隔可以表示分類的正確性以及準確程度,但是在選擇超平面的過程中,只有函式間隔還不行,如果我們將w,

b w,b

都擴大兩倍。函式間隔就變成了原來的兩倍,但是超平面沒有改變。因此需要將方向量

w w

加上一定約束條件,如規範化||

w||=

1' role="presentation" style="position: relative;">||w

||=1

||w|

|=1。這樣就變成了幾何間隔。

幾何間隔的形式為 ri

=yi(

w||w

||∗x

i+b|

|w||

) ri=

yi(w

||w|

|∗xi

+b||

w||)

支援向量機(一) 深入理解函式間隔與幾何間隔

實踐發現,在所給的例子中,兩種方法線性劃分兩類事物時得到的線性分類器的效果差不多。那具體的差別在哪呢?svm更關心的是靠近中間分割線的點,讓他們盡可能地遠離中間線,而不是在所有點上達到最優,因為那樣的話,要使得一部分點靠近中間線來換取另外一部分點更加遠離中間線。因此支援向量機和和邏輯斯蒂回歸的不同點...

svm 函式間隔與幾何間隔的認識

在超平面w x b 0 w x b 0 確定的情況下,w x b w x b 可以相對地表示點x距離超平面的遠 近。對於兩類分類問題,如果w x b 0 w x b 0,則 x x 的類別被判定為1 否則判定為 1。所以如果y w x b 0 role presentation style posi...

支援向量機3 非線性支援向量機與核函式

本節敘述非線性支援向量機,其主要特點是利用核技巧 kernel trick 1 核技巧 非線性分類問題是指通過利用非線性模型才能很好地進行分類的問題。非線性問題往往不好求解,所以希望能用解線性問題的方法解決這個問題,所採取的方法是進行乙個非線性變換,將非線性問題變換為線性問題。通過解變換後的線性問題...