l0範數是指向量中非0的元素的個數。(l0範數很難優化求解)
l1範數是指向量中各個元素絕對值之和
l2範數是指向量各元素的平方和然後求平方根
l1範數可以進行特徵選擇，即讓特徵的係數變為0.
l2範數可以防止過擬合，提公升模型的泛化能力，有助於處理 condition number不好下的矩陣(資料變化很小矩陣求解後結果變化很大)
（核心：l2對大數，對outlier離群點更敏感！）
下降速度：最小化權值引數l1比l2變化的快
模型空間的限制：l1會產生稀疏 l2不會。
l1會趨向於產生少量的特徵，而其他的特徵都是0，而l2會選擇更多的特徵，這些特徵都會接近於0。
範數是具有「長度」概念的函式。在向量空間內，為所有的向量的賦予非零的增長度或者大小。不同的範數，所求的向量的長度或者大小是不同的。
舉個例子，2維空間中，向量(3,4)的長度是5，那麼5就是這個向量的乙個範數的值，更確切的說，是歐式範數或者l2範數的值。
特別的，l0範數：指向量中非零元素的個數。無窮範數：指向量中所有元素的最大絕對值。
L1和L2正規化 範數
範數是形容乙個公式具有廣泛性,類似於有人指桑罵槐但不說名字,但一旦說了名字這句話就有意義了.l1l2都從l p範數中得來,1和2就是p 1和p 2的結果.雖然p可以隨便取,但有被人提到的也只有0,1,2這三個值.l0範數僅靠p 0代入l p範數是很迷惑的,既有0次方也有0次開方,數學上的表示就很怪,...
深度學習 L1及L2範數
在深度學習中，監督類學習問題其實就是在規則化引數同時最小化誤差。最小化誤差目的是讓模型擬合訓練資料，而規則化引數的目的是防止模型過分擬合訓練資料。引數太多，會導致模型複雜度上公升，容易過擬合，也就是訓練誤差小，測試誤差大。因此，我們需要保證模型足夠簡單，並在此基礎上訓練誤差小，這樣訓練得到的引數才能...
機器學習 正則化項L1範數與L2範數的關係
在學習機器學習過程中，我自己糾結了很久的乙個問題是 l1 norm 和 l2 norm 到底是什麼關係，有什麼區別。l1 和 l2 都是深度學習中常用的正則化項 regularizer 描述的是模型的複雜度，它的作用在於模型越複雜，正則化項越大，將它加在損失函式 loss function 後面作為...