實踐發現，在所給的例子中，兩種方法線性劃分兩類事物時得到的線性分類器的效果差不多。那具體的差別在哪呢？
svm更關心的是靠近中間分割線的點，讓他們盡可能地遠離中間線，而不是在所有點上達到最優，因為那樣的話，要使得一部分點靠近中間線來換取另外一部分點更加遠離中間線。因此支援向量機和和邏輯斯蒂回歸的不同點，乙個是考慮區域性（不關心已經確定遠離的點，更考慮靠近中間分割線的點），乙個是考慮全域性（已經遠離的點可能通過調整中間線使其能夠更加遠離）
首先我們定義超平面的表示式為y=ω
tx+b
y=\omega ^tx+b
y=ωtx+
b，然後熟悉一下乙個點(x,
y)(x,y)
(x,y
)到ax+by+c=0，的距離公式是ax+
by+c
a2+b
2\frac+b^}}
a2+b2
ax+b
y+c
，其次我們要清楚我們的任務是找到離超平面最近的點，並使它最遠。
接著來看函式間隔的定義：給定乙個訓練樣本(xi
,yi)
(x_i,y_i)
(xi,y
i)，x是特徵，y是結果標籤，i表示第i個樣本。定義函式間隔為：
γ i^
=yi(
w∗xi
+b)\widehat}=y_(w*x_+b)
γi=y
i(w
∗xi
+b)由於之前對g(z)進行了定義，當yi=
1y_i=1
yi=
1時，w∗x
i+b≥
0w*x_i+b≥0
w∗xi+
b≥0，所以函式間隔實際上是∣w∗
xi+b
∣|w*x_i+b|
∣w∗xi
+b∣。由於是乙個訓練樣本，那麼為了使函式間隔最遠（更大的資訊確定該樣本是正例還是反例），所以，當yi=
1y_i=1
yi=
1時，我們希望w∗x
i+bw*x_i+b
w∗xi+
b能夠非常大，反之是非常小。因此函式間隔代表了我們認為特徵是正例還是反例的確信度。
函式間隔如果同時擴大w和b的話，例如將w∗x
i+bw*x_i+b
w∗xi+
b乘個係數2，函式間隔會增大2倍，但是所求的超平面w∗x
i+b=
0w*x_i+b=0
w∗xi+
b=0不會變化（注意這裡乙個是超平面概念，乙個是函式間隔概念）剛剛我們定義個函式間隔是針對某乙個樣本的，現在我們針對全域性樣本的定義的函式間隔：
γ ^=
minγ
^ii=
1,..
.,n\widehat=\underset_}
γ=i=1
,...
,nmi
nγi
意思就是找到訓練樣本中函式間隔最小的那個樣本，並且要讓它的函式間隔最大。
幾何間隔首先簡單一點說就是點到直線距離，如圖
假設我們有b點所在的w∗x
i+b=
0w*x_i+b=0
w∗xi+
b=0，任何其他一點，比如a到該面的距離以γ
iγ^i
γi表示，假設b就是a在分割面上的投影。w是法向量，則單位向量就是ω∣∣
ω∣∣\frac
∣∣ω∣∣ω
。a點座標是(xi
,yi)
(x_i,y_i)
(xi,y
i)。所以b點是x=x
i−γi
∗ω∣∣
ω∣∣x=x_i-γ^i*\frac
x=xi−
γi∗∣
∣ω∣∣
ω（初中數學知識），帶入到所需要求的超平面w∗x
i+b=
0w*x_i+b=0
w∗xi+
b=0，就得到以下公式：
看吧，幾何距離實際上就是點到直接距離，換一種寫法：
當||w||等於1的時候，函式間隔就和幾何間隔一樣，可以理解為函式間隔是幾何間隔沒有除以||w||的表達，幾何間隔是函式間隔歸一化的結果。這是為什麼呢？因為函式間隔是我們定義的，在定義的時候就有幾何間隔的色彩。幾何間隔最大的優勢就是不管將w和b擴大幾倍，幾何間隔都沒有影響。
同樣，定義全域性的幾何間隔為
幾何間隔與函式間隔的關係就是：
γ =γ
^∣∣ω
∣∣\gamma =\frac}
γ=∣∣ω∣
∣γ
函式間隔與幾何間隔及（感知機與支援向量機的區別）
支援向量機中講解了函式間隔與幾何間隔，我們在這篇博文中主要講解函式間隔與幾何間隔的區別。本篇博文主要講解簡單的複習知識，大佬勿噴。在乙個二維平面上，乙個點距離超平面的距離的遠近可以表示為分類 的確信程度，距離越遠表示越有把握分類正確。w x b w x b 表示點x x 距離超平面距離的遠近，而 w...
深入理解SVM，軟間隔與對偶問題
left min frac omega 2 s.t.quad y i omega tx b ge 1,i 1,2,3 ldots,m end right.機器學習 深入svm原理及模型推導 一 我個人感覺和實際的機器學習以及工程結合不是非常緊密，目前主要在svm模型的原理推導上用到，所以我們可以只需...
支援向量機3 非線性支援向量機與核函式
本節敘述非線性支援向量機，其主要特點是利用核技巧 kernel trick 1 核技巧 非線性分類問題是指通過利用非線性模型才能很好地進行分類的問題。非線性問題往往不好求解，所以希望能用解線性問題的方法解決這個問題，所採取的方法是進行乙個非線性變換，將非線性問題變換為線性問題。通過解變換後的線性問題...