兩個流程：訓練字典+重建。
l1使權值稀疏。l2防過擬合。
l1範數可以使權值稀疏，方便特徵提取。 l2範數可以防止過擬合，提公升模型的泛化能力。
l1和l2正則先驗分別服從的分布：l1是拉普拉斯分布，l2是高斯分布。
l0 範數是 ||x||0 = xi (xi不等於0)代表非0元素的個數，[1,2,3,4,5] 非0個數為5，[0,1,2,0,3]非0 個數為3。
l1範數是||x||1=σ|xi| x與0之間的曼哈頓距離，[1,2,3,-2,-1] =1+2+3+2+1 =9,為個數字的絕對值的和。
l2範數是||x||2=σ|xi|^2為x與0之間的歐式距離，[1,2,-3]=1^2+2^2+(-3)^2=1+4+9=14,為各個數字的平方和在開方。
lp範數是||x||p=√∑（xi）^p。控制模型複雜度減少過擬合。一般在損失函式中加入懲罰項。
lasso演算法（最小絕對值收斂和選擇運算元、套索演算法）是一種同時進行特徵選擇和正則化（數學）的回歸分析方法，旨在增強統計模型的**準確性和可解釋性，最初由史丹福大學統計學教授robert tibshirani於2023年基於leo breiman的非負引數推斷(nonnegative garrote, nng)提出。
【**自】
稀疏表示（sparse representations） - yif25 -
dictionary learning(字典學習、稀疏表示以及其他) - mario-chao -
l1 和l2範數的真實意義 - limingqi -
lasso演算法_xgxyxs的部落格-csdn部落格
L1 L2範數 概念
向量的範數可以簡單形象的理解為向量的長度，或者向量到零點的距離，或者相應的兩個點之間的距離。向量的範數定義 向量的範數是乙個函式 x 滿足非負性 x 0，齊次性 cx c x 三角不等式 x y x y 常用的向量的範數 l0範數 x 0為x向量各個非零元素的個數 l1範數 x 1 為x向量各個元素...
深入理解L1 L2範數
說起l1 l2範數，大家會立馬想到這是機器學習中常用的正則化方法，一般新增在損失函式後面，可以看作是損失函式的懲罰項。那新增l1和l2正則化後到底有什麼具體作用呢？為什麼會產生這樣的作用？本篇博文將和大家一起去 l1範數 l2範數背後的原理。l1和l2的作用如下 理解l1，主要需要理解兩個問題。第一...
L1 L2損失 和 L1 L2正則化
1 l1損失 最小絕對值誤差 最小化 值 真實值 的絕對值，魯棒性強。2 l2損失 最小平方誤差 最小化 值 真實值 的平方，對於大於1的數，平方更大，因此對樣本敏感。3 l1正則化 l1正則化和l2正則化可以看做是損失函式的懲罰項，l1正則化是指權值向量中各個元素的絕對值之和。l1正則化可以產生稀...