超平面
定義：n 維線性空間中維度為 n−1 的子空間，它可以把線性空間分割為不相交的兩部分。
這裡的 n 必須大於 3，其子空間才能稱之為超平面。
更直觀得來理解超平面：超平面其實就是平面中的直線、空間中的平面之推廣。在三維座標系裡，xoy 平面把三維座標系」分割」成
兩個空間，這個分割平面引申到一維，二維，四維空間…來，他就是乙個超平面。一維裡是乙個點分割空間，二維裡是條線，三維剛好是
個平面，四維的用幾何已經無法表示了，但是我們賦予這個分割的東西為超平面，就比較形象了。
超平面方程推導：
1）平面直線方程
對於平面上的任意一條直線，它的一般方程為：
ax+by+c=0
從向量角度來看，一般方程可以寫成如下形式
[ab][xy]+c=0
可以發現：直線其實就是乙個常向量和另乙個變化的向量的內積為定值 c。
其中 x,y 代表直線上任意一點的座標，所以 (x,y)t 表示從原點出發到直線上任意一點的射線構成的向量。
那向量 (a,b)t 是啥呢？看個圖：
那能否找到乙個向量，這個向量必須滿足：向量 (x,y)t 在它上面的投影都一樣。這樣才能保證內積為定值。
這樣的向量只有乙個，那便是直線 l 的法向量 l′。所以常向量 (a,b)t 就是直線的法向量。
不同的法向量 (a,b)t 或者不同的定值 c 就意味著不同的直線方程。
但表示的直線卻沒變，所以只在最簡形式法向量和定值才與直線一一對應。對於空間上的任意乙個平面，它的一般方程為：
ax+by+cz+d=0
從向量角度來看，一般方程可以寫成如下形式
[abc]⎡⎣⎢xyz⎤⎦⎥+d=0
和平面直線類似，上面這個方程可以理解為：乙個常向量和另乙個變化的向量的內積為定值 d。
其中常向量為這個平面的法向量，變化的向量為原點到平面上任意一點的射線構成的向量。
3）引申到超平面
乙個超平面的法向量：意味著它要垂直於該超平面內的任乙個向量。
對於 4 維空間來說，它的超平面就是乙個 3 維空間，很難想象會存在乙個向量，它垂直於三維空間中的任乙個向量。
我們沒辦法想象到三維以上的空間長啥樣，但數學是純粹邏輯上的東西，高維空間在邏輯上是存在的。
設 n 維空間中的乙個超平面的法向量為 w=(w1,w2,…,wn)t，原點到該超平面上任意一點的向量為 xt=(x1,x2,…,xn)。
由直線方程、平面方程進行推廣，可知超平面方程為
wtx+b=0
點到超平面的距離推導：
1）點到平面直線的距離公式
任一點 (x0,y0) 到直線 ax+by+c=0 的距離公式為
d=|ax0+by0+c|a2+b2−−−−−−√
如下示意圖：
在直線上任取一點 (x,y)，考慮向量
(x−x0,y−y0)t
圖中的 d 就是我們所要求的點到直線的距離，向量點積代表：乙個向量乘以另乙個向量在該向量上的正交投影。
而 d 顯然就是向量 (x−x0,y−y0)t 在法線向量上的投影的絕對值。所以
[ab][x−x0y−y0]=±a2+b2−−−−−−√⋅d
繼續轉化
[ab][xy]−[ab][x0y0]=−c−[ab][x0y0]=±a2+b2−−−−−−√⋅d
所以距離 d 為
d=|[ab][x0y0]+c|a2+b2−−−−−−√
2）點到空間平面的距離公式
我們按照上面的思路也可以列出方程：
[abc]⎡⎣⎢x−x0y−y0z−z0⎤⎦⎥=±a2+b2+c2−−−−−−−−−√⋅d
所以距離 d 為
d=|[abc]⎡⎣⎢x0y0z0⎤⎦⎥+d|a2+b2+c2−−−−−−−−−√
3）引申到超平面
已知超平面方程為 wtx+b=0。
模擬於點到直線和平面的距離公式，有
d=|w⋅xi+d|||w||2
向量 w 的 l2 範數就是向量的模，x^ 表示具體的某乙個點，d 就是該點到超平面的距離。
注：xi 表示某個具體向量，而不是表示座標分量，它的座標分量用另一種記法，即
xi=(x(1),x(2),…,x(n))t
判斷超平面的正反
乙個超平面可以將它所在的空間分為兩半, 它的法向量指向的那一半對應的一面是它的正面, 另一面則是它的反面。
那如何判斷乙個點位於超平面內，還是超平面的正面，或者反面呢？
點 x 在超平面上有
wtx+b=0
若點 x 在超平面的正面，考慮到 wx 其實就是向量 w 的模(為正)乘上 x 在它上面的投影(可正可負)，考慮函式
y=ax,a>0
上式是乙個遞增函式，所以當 x 往正方向移動時，y 是變大的，所以若點 x 在超平面的正面，有
wtx+b>0
若點 x 在超平面的反面，有
wtx+b<0
若將距離公式中分子的絕對值去掉, 讓它可以為正為負. 那麼, 它的值正得越大, 代表點在平面的正向且與平面的距離越遠。
反之, 它的值負得越大, 代表點在平面的反向且與平面的距離越遠。
超平面公式推導及理解
最近在學習 統計學習方法 在學習第乙個機器學習演算法 感知機時，提出了超平面的概念，以下為超平面公式的推導及空間中任意一點距離超平面距離的推導。方便日後複習。參考 在數學中，超平面是n維歐氏空間中，餘維度為1的子空間 1 即超平面是n維空間中的n 1維的子空間。它是平面中的直線 空間中的平面之推廣。...
機器學習中超引數的理解
什麼是超引數？在看機器學習時，經常碰到乙個叫超引數的引數 hyperparameter 所以到底什麼是超引數？超引數的定義 在機器學習的上下文中，超引數是在開始學習過程之前設定值的引數，而不是通過訓練得到的引數資料。通常情況下，需要對超引數進行優化，給學習機選擇一組最優超引數，以提高學習的效能和效果...
機器學習01 初識機器學習
4.基本步驟 5.基本術語 6.參考 機器學習 machine learning 是一門人工智慧的學科，它模擬人類的學習行為，從已有的資料中習得經驗，再利用這些經驗對未知的資料進行 或判斷，以此來改善計算機演算法的效能。與傳統程式設計和演算法相比 傳統程式設計由程式設計師給演算法指定規則，機器學習由...