$$c=c_0+\frac\sum_^n$$
$$\frac=\frac+\fracw$$
\beginw\to w'=w-\eta\frac=\left(1-\frac\right)w-\eta\frac\label\end
η是學習率，λ是正則係數，n是引數的個數。
l2 正則項的作用是使 w 在每次迭代時都 變小了 ηλ/n 倍。如果要使這個倍率不變，那麼當引數個數增多(即 n 變大) 時，正則項係數 λ 也應該相應調大。
$$c=c_0+\frac\sum_^n$$
$$\frac=\frac+\frac\textrm(w)$$
$$\textrm(w)=\left\1 & \textrm\;w\geqslant 0\\0 & \textrm\;w<0\end\right.$$
$$w \to w-\frac\textrm(w)-\eta\frac=w\pm\frac-\eta\frac$$
當w是小於1的正數時，l1正則的效果是使w減小ηλ/n ，即相比於l2正則w減小得更多，l1正則使(0,1)上的w快速向0逼近。當w位於(-1,0)時，l1正則的效果是使w增大ηλ/n，也是快速向0逼近。總的來說l1 正則的效果是使不重要的 w （絕對值小的w）幾乎衰減為 0。
跟l2一樣，引數變多時，正則係數λ也要跟著變大才能使w的更新速率保持不變。
L1和L2正則化的理解
摘錄自 正則化之所以能夠降低過擬合的原因在於，正則化是結構風險最小化的一種策略實現。給loss function加上正則化項，能使得新得到的優化目標函式h f normal，需要在f和normal中做乙個權衡 trade off 如果還像原來只優化f的情況下，那可能得到一組解比較複雜，使得正則項no...
L1和L2正則化
l1和l2正則化 l1與l2正則化都是防止模型過擬合，其方式略有不同。具體請見下文。1 l1 正則化l1正則化 1範數 是指，各權值 變數 特徵 絕對值之和。其作用是產生權值的稀疏模型，也就是讓大部分權值為0.為什麼能產生權值稀疏模型？因為如下圖所示，各權值絕對值之和後得到乙個矩陣，很容易在矩陣的頂...
關於L1和L2正則
l0範數表示向量中非零元素的個數 也就是如果我們使用l0範數，即希望 w的大部分元素都是0 w是稀疏的 所以可以用於ml中做 稀疏編碼 特徵選擇。通過最小化l0範數，來尋找 最少最優的稀疏特徵項 但不幸的是，l0範數的最優化問題是乙個np hard問題，而且理論上有證明，l1範數是l0範數的最優凸近...