SVM理論疏導 什麼是超平面

2021-10-07 01:58:06 字數 1808 閱讀 6352

超平面是一種數學上的概念,它是線上的乙個點,也是平面上的一條直線,也是三維空間的一張平面。前面說的點、線、平面都可以是超平面,但一般都不叫為超平面,因為超平面是點、線、平面的推廣,即大於三維的才叫超平面。

超平面是相對的,一般說起它,都會帶上乙個參照物,如這堆樣本集需要找到乙個超平面來劃分,這裡的超平面的維度實際上是樣本集的維度減一。

下面是n維空間下超平面的乙個線性方程:

其中,w 和 x 都是 n 維列向量,x 為平面上的點,w 為平面上的法向量,決定了超平面的方向,b 是乙個實數,決定了超平面與原點的距離。

下面解釋為什麼w是法向量:

設定一二維方程為:

ax + 1/by + c = 0 (1)

(1)式轉換一下為:

y = -abx -cb (2)

在這條(2)式直線上的點集設為i(x,y),則

i(x,y) = i(x,-abx-cb) = x(1,-ab) + (0,-cb)

上式意味著向量m(1,-ab)是該直線的方向,並且通過(0,-cb)這個點。令乙個向量為n(a,1/b),可以發現m*n等於0。兩個向量只有垂直相乘才會為0,m向量是該直線的方向,故n向量就是該直線的法向量。

故(1)式等價於:

(a,1/b)(x,y) + c = 0 或 (a,1/b)(x,y+bc) = 0 (3)

利用式(3)進一步解釋什麼是超平面:

給定向量空間 rn 中的乙個點 p 和乙個非零向量n ,滿足

則稱點集 i 為通過點p 的超平面,向量 n為通過超平面的法向量。按照這個定義,雖然當維度大於3才可以成為「超」平面,但是你仍然可以認為,一條直線是 r2 空間內的超平面,乙個平面是 r3 空間內的超平面 。rn 空間的超平面是rn 空間內的乙個 n - 1 維的仿射子空間。

樣本空間中的任意一點 x,到超平面(w,b)的距離,可以表示為:

下面證明下:

設乙個超平面公式如下:

超平面有乙個點為x『,故可得:

對於空間上任一點x,它到超平面的距離實際上等於x『x向量在超平面法向量上的投影(紙上稍微畫下即可知道)。

兩個向量u、v的投影計算為:

所以距離就是將 xx』 乘以法向量 w 的單位向量即可。

乙個超平面可以將它所在的空間分為兩半, 它的法向量指向的那一半對應的一面是它的正面, 另一面則是它的反面。如果利用數學來判斷的話,需要利用到法向量 w。

為什麼超平面一定過原點

上述超平面方稱,b 是乙個實數,為什麼代表超平面到原點的距離?

SVM開篇提到的超平面概念如何理解?

我們最常見的平面概念是在三維空間中定義的 ax by cz d 0它由兩個性質定義 若拋卻維度等於3的限制,就得到了超平面的定義.方程數量為1,它的本質其實是自由度比空間維度 d 小一.自由度 的概念可以簡單的理解為至少要給定多少個分量的值才能確定乙個點.例如,三維空間裡的 超 平面只要給定了 x ...

SVM 分類器的分類超平面的繪製

load libraries from sklearn.svm import linearsvc from sklearn import datasets from sklearn.preprocessing import standardscaler import numpy as np from...

什麼是長尾理論

一 概念 簡單的說,所謂 長尾理論 是指,只要產品的儲存和流通的渠道足夠大,需求不旺或銷量不佳的產品所共同佔據的市場份額可以和那些少數熱銷產品所佔據的市場份額相匹敵甚至更大,即眾多小市場匯聚成可產生與主流相匹敵的市場能量 也就是說,企業的銷售量不在於傳統需求曲線上那個代表 暢銷商品 的頭部,而是那條...