什麼是範數？
我們知道距離的定義是乙個寬泛的概念，只要滿足非負、自反、三角不等式就可以稱之為距離。範數是一種強化了的距離概念，它在定義上比距離多了一條數乘的運算法則。有時候為了便於理解，我們可以把範數當作距離來理解。
在數學上，範數包括向量範數和矩陣範數，向量範數表徵向量空間中向量的大小，矩陣範數表徵矩陣引起變化的大小。一種非嚴密的解釋就是，對應向量範數，向量空間中的向量都是有大小的，這個大小如何度量，就是用範數來度量的，不同的範數都可以來度量這個大小，就好比公尺和尺都可以來度量遠近一樣；對於矩陣範數，學過線性代數，我們知道，通過運算ax=bax=b，可以將向量x變化為b，矩陣範數就是來度量這個變化大小的。
這裡簡單地介紹以下幾種向量範數的定義和含義
1、 l-p範數
與閔可夫斯基距離的定義一樣，l-p範數不是乙個範數，而是一組範數，其定義如下：
lp=∑1nxpi−−−−√p，x=(x1,x2,⋯,xn)lp=∑1nxipp，x=(x1,x2,⋯,xn)
根據p 的變化，範數也有著不同的變化，乙個經典的有關p範數的變化圖如下：
這裡寫描述
上圖表示了p從無窮到0變化時，三維空間中到原點的距離（範數）為1的點構成的圖形的變化情況。以常見的l-2範數（p=2）為例，此時的範數也即歐氏距離，空間中到原點的歐氏距離為1的點構成了乙個球面。
實際上，在0≤p<1≤p<1時，lp並不滿足三角不等式的性質，也就不是嚴格意義下的範數。以p=0.5，二維座標(1,4)、(4,1)、(1,9)為例，(1+4–√)−−−−−−−√0.5+(4–√+1)−−−−−−−√0.5<(1+9–√)−−−−−−−√0.5(1+4)0.5+(4+1)0.5<(1+9)0.5。因此這裡的l-p範數只是乙個概念上的寬泛說法。
2、l0範數
當p=0時，也就是l0範數，由上面可知，l0範數並不是乙個真正的範數，它主要被用來度量向量中非零元素的個數。用上面的l-p定義可以得到的l-0的定義為：
||x||=∑1nx0i−−−−√0，x=(x1,x2,⋯,xn)||x||=∑1nxi00，x=(x1,x2,⋯,xn)
||x||0=||x||0=#(i|xi≠0)(i|xi≠0)
表示向量xx中非零元素的個數。
對於l0範數，其優化問題為：
min||x||0min||x||0
s.t. ax=b
在實際應用中，由於l0範數本身不容易有乙個好的數學表示形式，給出上面問題的形式化表示是乙個很難的問題，故被人認為是乙個np難問題。所以在實際情況中，l0的最優問題會被放寬到l1或l2下的最優化。
3、l1範數
l1範數是我們經常見到的一種範數，它的定義如下：
||x||1=∑i|xi|||x||1=∑i|xi|
表示向量xx中非零元素的絕對值之和。
l1範數有很多的名字，例如我們熟悉的曼哈頓距離、最小絕對誤差等。使用l1範數可以度量兩個向量間的差異，如絕對誤差和（sum of absolute difference）：
sad(x1,x2)=∑i|x1i−x2i|sad(x1,x2)=∑i|x1i−x2i|
對於l1範數，它的優化問題如下：
min||x||1min||x||1
s.t.ax=bs.t.ax=b
由於l1範數的天然性質，對l1優化的解是乙個稀疏解，因此l1範數也被叫做稀疏規則運算元。通過l1可以實現特徵的稀疏，去掉一些沒有資訊的特徵，例如在對使用者的電影愛好做分類的時候，使用者有100個特徵，可能只有十幾個特徵是對分類有用的，大部分特徵如身高體重等可能都是無用的，利用l1範數就可以過濾掉。
4、l2範數
l2範數是我們最常見最常用的範數了，我們用的最多的度量距離歐氏距離就是一種l2範數，它的定義如下：
||x||2=∑ix2i−−−−−√||x||2=∑ixi2
表示向量元素的平方和再開平方。
像l1範數一樣，l2也可以度量兩個向量間的差異，如平方差和（sum of squared difference）:
ssd(x1,x2)=∑i(x1i−x2i)2ssd(x1,x2)=∑i(x1i−x2i)2
對於l2範數，它的優化問題如下：
min||x||2min||x||2
s.t.ax=bs.t.ax=b
l2範數通常會被用來做優化目標函式的正則化項，防止模型為了迎合訓練集而過於複雜造成過擬合的情況，從而提高模型的泛化能力。
5、l-∞範數∞範數
當p=∞∞時，也就是l-∞∞範數，它主要被用來度量向量元素的最大值。用上面的l-p定義可以得到的l∞∞的定義為：
||x||∞=∑1nx∞i−−−−−√∞，x=(x1,x2,⋯,xn)||x||∞=∑1nxi∞∞，x=(x1,x2,⋯,xn)
||x||∞=max(|xi|)||x||∞=max(|xi|)
來表示l∞
幾種範數的簡單介紹
我們知道距離的定義是乙個寬泛的概念，只要滿足非負 自反 三角不等式就可以稱之為距離。範數是一種強化了的距離概念，它在定義上比距離多了一條數乘的運算法則。有時候為了便於理解，我們可以把範數當作距離來理解。在數學上，範數包括向量範數和矩陣範數，向量範數表徵向量空間中向量的大小，矩陣範數表徵矩陣引起變化的...
常見的幾種範數
設x是數域k上的線性空間，若對映 x r滿足範數公理 對任意x，y x。任意 k，有 n1 正定性 x 0且 x 0 x 0 n2 齊次性 x x n3 三角不等式 x y x y 則稱 是線性空間x上的一種範數。對應的 x，稱為賦範線性空間，簡稱賦範空間。範數為賦範空間中的概念，通常藉以研究賦範空...
範數對於數學的意義？1範數 2範數 無窮範數
要更好的理解範數，就要從函式 幾何與矩陣的角度去理解，我盡量講的通俗一些。我們都知道，函式與幾何圖形往往是有對應的關係，這個很好想象，特別是在三維以下的空間內，函式是幾何影象的數學概括，而幾何影象是函式的高度形象化，比如乙個函式對應幾何空間上若干點組成的圖形。但當函式與幾何超出三維空間時，就難以獲得...