向量的範數可以簡單形象的理解為向量的長度，或者向量到零點的距離，或者相應的兩個點之間的距離。
向量的範數定義：向量的範數是乙個函式||x||,滿足非負性||x|| >= 0，齊次性||cx|| = |c| ||x|| ，三角不等式||x+y|| <= ||x|| + ||y||。
常用的向量的範數：
l0範數：||x||0為x向量各個非零元素的個數
l1範數: ||x||1 為x向量各個元素絕對值之和。
l2範數: ||x||2為x向量各個元素平方和的1/2次方，l2範數又稱euclidean範數或者frobenius範數
lp範數: ||x||為x向量各個元素絕對值p次方和的1/p次方
l∞範數: ||x||為x向量各個元素絕對值最大那個元素的絕對值，如下：
橢球向量範數: ||x||a = sqrt[t(x)ax]， t(x)代表x的轉置。定義矩陣c 為m個模式向量的協方差矩陣， 設c』是其逆矩陣，則mahalanobis距離定義為||x||c』 = sqrt[t(x)c』x], 這是乙個關於c』的橢球向量範數。
**：
深入理解L1 L2範數
說起l1 l2範數，大家會立馬想到這是機器學習中常用的正則化方法，一般新增在損失函式後面，可以看作是損失函式的懲罰項。那新增l1和l2正則化後到底有什麼具體作用呢？為什麼會產生這樣的作用？本篇博文將和大家一起去 l1範數 l2範數背後的原理。l1和l2的作用如下 理解l1，主要需要理解兩個問題。第一...
L1 L2損失 和 L1 L2正則化
1 l1損失 最小絕對值誤差 最小化 值 真實值 的絕對值，魯棒性強。2 l2損失 最小平方誤差 最小化 值 真實值 的平方，對於大於1的數，平方更大，因此對樣本敏感。3 l1正則化 l1正則化和l2正則化可以看做是損失函式的懲罰項，l1正則化是指權值向量中各個元素的絕對值之和。l1正則化可以產生稀...
L1 L2範數理解 Ridge以及Lasso回歸
l0範數 指向量中非0的元素的個數。l0範數很難優化求解 l1範數 指向量中各個元素絕對值之和 l2範數 指向量各元素的平方和然後求平方根 注 l0範數,指向量中非零元素的個數。無窮範數,指向量中所有元素的最大絕對值。l1範數 可以進行特徵選擇，即讓特徵的係數變為0.l2範數 可以防止過擬合，提公升...