假設需要求解的目標函式為：
e(x) = f(x) + r(x)
其中f(x)為損失函式，用來評價模型訓練損失，必須是任意的可微凸函式，r(x)為規範化約束因子，用來對模型進行限制，根據模型引數的概率分布不同，r(x)一般有:l1正規化約束(模型服從高斯分布)，l2正規化約束(模型服從拉普拉斯分布)；其它的約束一般為兩者組合形式。
l1正規化約束一般為：
l2正規化約束一般為:
l1正規化可以產生比較稀疏的解，具備一定的特徵選擇的能力，在對高維特徵空間進行求解的時候比較有用；l2正規化主要是為了防止過擬合。
稀疏性約束
在文章non-negative matrix factorization with sparseness constraints中，將l1正規化和l2正規化組合起來形成新的約束條件，用稀疏度來表示l1正規化和l2正規化之間的關係(**時注：下面公式，根號內應該是求平方和)：
當向量x中只有乙個非零的值時，稀疏度為1，當所有元素非零且相等的時候稀疏度為0。n表示向量x的維度。不同稀疏度的向量表示如下：
L1 L2損失 和 L1 L2正則化
1 l1損失 最小絕對值誤差 最小化 值 真實值 的絕對值，魯棒性強。2 l2損失 最小平方誤差 最小化 值 真實值 的平方，對於大於1的數，平方更大，因此對樣本敏感。3 l1正則化 l1正則化和l2正則化可以看做是損失函式的懲罰項，l1正則化是指權值向量中各個元素的絕對值之和。l1正則化可以產生稀...
稀疏表示字典學習與L1 L2範數
兩個流程 訓練字典 重建。l1使權值稀疏。l2防過擬合。l1範數可以使權值稀疏，方便特徵提取。l2範數可以防止過擬合，提公升模型的泛化能力。l1和l2正則先驗分別服從的分布 l1是拉普拉斯分布，l2是高斯分布。l0 範數是 x 0 xi xi不等於0 代表非0元素的個數，1,2,3,4,5 非0個數...
L1 L2範數 概念
向量的範數可以簡單形象的理解為向量的長度，或者向量到零點的距離，或者相應的兩個點之間的距離。向量的範數定義 向量的範數是乙個函式 x 滿足非負性 x 0，齊次性 cx c x 三角不等式 x y x y 常用的向量的範數 l0範數 x 0為x向量各個非零元素的個數 l1範數 x 1 為x向量各個元素...