l2 regularization（權重衰減）
c0代表原始的代價函式，後面那一項就是l2正則化項，它是這樣來的：所有引數w的平方的和，除以訓練集的樣本大小n。λ就是正則項係數，權衡正則項與c0項的比重。另外還有乙個係數1/2，1/2經常會看到，主要是為了後面求導的結果方便，後面那一項求導會產生乙個2，與1/2相乘剛好湊整。
l2正則化項是怎麼避免overfitting的呢？我們推導一下看看，先求導：
可以發現l2正則化項對b的更新沒有影響，但是對於w的更新有影響:
在不使用l2正則化時，求導結果中w前係數為1，現在w前面係數為 1−ηλ/n ，因為η、λ、n都是正的，所以1−ηλ/n小於1，它的效果是減小w，這也就是權重衰減（weight decay）的由來。當然考慮到後面的導數項，w最終的值可能增大也可能減小。
另外，需要提一下，對於基於mini-batch的隨機梯度下降，w和b更新的公式跟上面給出的有點不同：
對比上面w的更新公式，可以發現後面那一項變了，變成所有導數加和，乘以η再除以m，m是乙個mini-batch中樣本的個數。
到目前為止，我們只是解釋了l2正則化項有讓w「變小」的效果，但是還沒解釋為什麼w「變小」可以防止overfitting？乙個所謂「顯而易見」的解釋就是：更小的權值w，從某種意義上說，表示網路的複雜度更低，對資料的擬合剛剛好（這個法則也叫做奧卡姆剃刀），而在實際應用中，也驗證了這一點，l2正則化的效果往往好於未經正則化的效果。當然，對於很多人（包括我）來說，這個解釋似乎不那麼顯而易見，所以這裡新增乙個稍微數學一點的解釋（引自知乎）：
過擬合的時候，擬合函式的係數往往非常大，為什麼？如下圖所示，過擬合，就是擬合函式需要顧忌每乙個點，最終形成的擬合函式波動很大。在某些很小的區間裡，函式值的變化很劇烈。這就意味著函式在某些小區間裡的導數值（絕對值）非常大，由於自變數值可大可小，所以只有係數足夠大，才能保證導數值很大。
而正則化是通過約束引數的範數使其不要太大，所以可以在一定程度上減少過擬合情況
向量的L2範數求導
回歸中最為基礎的方法,最小二乘法.begin j frac vec right quad end begin vec x x 1,cdots,x n vec x p left sum m right frac,space p infty end l 2 範數具體為 vec x 2 x 1 2 cdo...
L1範數與L2範數對比
l0範數是指向量中非0的元素的個數。l0範數很難優化求解 l1範數是指向量中各個元素絕對值之和 l2範數是指向量各元素的平方和然後求平方根 l1範數可以進行特徵選擇，即讓特徵的係數變為0.l2範數可以防止過擬合，提公升模型的泛化能力，有助於處理 condition number不好下的矩陣 資料變化...
L1和L2正規化 範數
範數是形容乙個公式具有廣泛性,類似於有人指桑罵槐但不說名字,但一旦說了名字這句話就有意義了.l1l2都從l p範數中得來,1和2就是p 1和p 2的結果.雖然p可以隨便取,但有被人提到的也只有0,1,2這三個值.l0範數僅靠p 0代入l p範數是很迷惑的,既有0次方也有0次開方,數學上的表示就很怪,...