l0，l1，l2正則項是機器學習中常用的正則項，本文主要對這三種正則項做乙個簡單的介紹。
l0: l0主要是指引數中0的個數，希望引數中的大部分元素是0，希望引數是稀疏的，但是l0有乙個缺點就是難以優化，所以就引出了l1正則項。
l1: l1正則項是指向量中各個元素絕對值之和，l0正則項的最優凸近似，它比l0要更容易求解，所以在實際使用中，l1的使用要多於l0的使用。 c=
c0+λ
n∣∣w
∣∣l2: l2正則項是平時最常用的一種正則項了，為了防止過擬合現象的發生，l2（也叫權重衰弱）是一種最常用方式過擬合方法： c=
c0+λ
2n∑w
2 l2可以使得w的每個元素都很小，都接近於0，但與l1範數不同，它不會讓它等於0，而是接近於0。
人們普遍認為：更小的權值w，從某種意義上說，表示網路的複雜度更低，對資料的擬合剛剛好
一句話總結就是：l1會趨向於產生少量的特徵，而其他的特徵都是0，而l2會選擇更多的特徵，這些特徵都會接近於0。l1在特徵選擇時候非常有用，而l2就只是一種規則化而已。
參考文章：
機器學習中的L0,L1,L2講解
1.正則化概述 regularization 監督學習可以簡單的理解為在最小化loss function 的同時，保證模型的複雜度盡可能的低，防止出現過擬合 overfitting 常用的loss函式有square loss regression hinge loss svm exp loss ad...
深度學習正則化 L0 L1 L2正則化
概念 l0正則化的值是模型引數中非零引數的個數。l1正則化表示各個引數絕對值之和。l2正則化標識各個引數的平方的和的開方值。先討論幾個問題 1 實現引數的稀疏有什麼好處嗎？乙個好處是可以簡化模型，避免過擬合。因為乙個模型中真正重要的引數可能並不多，如果考慮所有的引數起作用，那麼可以對訓練資料可以 的...
L0，L1，L2正則，lasso，嶺回歸
我們要討論的第乙個規範是l0規範。根據定義，x的l0範數是 嚴格來說，l0範數實際上不是乙個範數。它是基數函式，其定義形式為l0 norm，儘管許多人稱其為範數。使用它有點棘手，因為其中存在零次冪和零次方。顯然，任何x 0都將變為1，但是零次冪 尤其是零次冪 的定義問題使這裡變得混亂。因此，實際上，...