機器學習中幾乎都可以看到損失函式後面會新增乙個額外項，常用的額外項一般有兩種，一般英文稱作ℓ1
-norm和ℓ2
-norm，中文稱作l1正則化
和l2正則化
，或者l1範數
和l2範數
。l1正則化和l2正則化可以看做是損失函式的懲罰項。所謂『懲罰』是指對損失函式中的某些引數做一些限制。對於線性回歸模型，使用l1正則化的模型建叫做lasso回歸，使用l2正則化的模型叫做ridge回歸（嶺回歸）。下圖是python中lasso回歸的損失函式，式中加號後面一項α|
|w||
1 即為l1正則化項。
下圖是python中ridge回歸的損失函式，式中加號後面一項α|
|w||
22即為l2正則化項。
一般回歸分析中回歸
w 表示特徵的係數，從上式可以看到正則化項是對係數做了處理（限制）。l1正則化和l2正則化的說明如下：
一般都會在正則化項之前新增乙個係數，python中用
α 表示，一些文章也用
λ 表示。這個係數需要使用者指定。
那新增l1和l2正則化有什麼用？下面是l1正則化和l2正則化的作用，這些表述可以在很多文章中找到。
上面提到l1正則化有助於生成乙個稀疏權值矩陣，進而可以用於特徵選擇。為什麼要生成乙個稀疏矩陣？
稀疏矩陣指的是很多元素為0，只有少數元素是非零值的矩陣，即得到的線性回歸模型的大部分係數都是0. 通常機器學習中特徵數量很多，例如文字處理時，如果將乙個片語（term）作為乙個特徵，那麼特徵數量會達到上萬個（bigram）。在**或分類時，那麼多特徵顯然難以選擇，但是如果代入這些特徵得到的模型是乙個稀疏模型，表示只有少數特徵對這個模型有貢獻，絕大部分特徵是沒有貢獻的，或者貢獻微小（因為它們前面的係數是0或者是很小的值，即使去掉對模型也沒有什麼影響），此時我們就可以只關注係數是非零值的特徵。這就是稀疏模型與特徵選擇的關係。
這部分內容將解釋為什麼l1正則化可以產生稀疏模型（l1是怎麼讓係數等於零的）
，以及為什麼l2正則化可以防止過擬合
。假設有如下帶l1正則化的損失函式： j
=j0+
α∑w|
w|(1) 其中
j0是原始的損失函式，加號後面的一項是l1正則化項，α
是正則化係數。注意到l1正則化是權值的
絕對值之和，j
是帶有絕對值符號的函式，因此j
是不完全可微的。機器學習的任務就是要通過一些方法（比如梯度下降）求出損失函式的最小值。當我們在原始損失函式j0
後新增l1正則化項時，相當於對j0
做了乙個約束。令l=
α∑w|
w| ，則
j=j0
+l，此時我們的任務變成在l
約束下求出j0
取最小值的解
。考慮二維的情況，即只有兩個權值w1
和w2，此時l=
|w1|
+|w2
| 對於梯度下降法，求解j0
的過程可以畫出等值線，同時l1正則化的函式l
也可以在w1
w2的二維平面上畫出來。如下圖：
圖1 l1正則化
圖中等值線是j0
的等值線，黑色方形是
l 函式的圖形。在圖中，當j0
等值線與
l 圖形首次相交的地方就是最優解。上圖中j0
與l在l
的乙個頂點處相交，這個頂點就是最優解。注意到這個頂點的值是(w
1,w2
)=(0
,w) 。可以直觀想象，因為
l 函式有很多『突出的角』（二維情況下四個，多維情況下更多），j0
與這些角接觸的機率會遠大於與
l 其它部位接觸的機率，而在這些角上，會有很多權值等於0，這就是為什麼l1正則化可以產生稀疏模型，進而可以用於特徵選擇。
而正則化前面的係數
α ，可以控制
l 圖形的大小。
α 越大，
l 的圖形越大（上圖中的黑色方框）；
α 越小，
l 的圖形就越小，可以小到黑色方框只超出原點範圍一點點，這是最優點的值(w
1,w2
)=(0
,w) 中的
w 可以取到很小的值。
類似，假設有如下帶l2正則化的損失函式： j
=j0+
α∑ww
2(2)
同樣可以畫出他們在二維平面上的圖形，如下：
圖2 l2正則化
二維平面下l2正則化的函式圖形是個圓，與方形相比，被磨去了稜角。因此j0
與l相交時使得w1
或w2 等於零的機率小了許多，這就是為什麼l2正則化不具有稀疏性的原因。
擬合過程中通常都傾向於讓權值盡可能小，最後構造乙個所有引數都比較小的模型。因為一般認為引數值小的模型比較簡單，能適應不同的資料集，也在一定程度上避免了過擬合現象。可以設想一下對於乙個線性回歸方程，若引數很大，那麼只要資料偏移一點點，就會對結果造成很大的影響；但如果引數足夠小，資料偏移得多一點也不會對結果造成什麼影響，專業一點的說法是『抗擾動能力強』。
那為什麼l2正則化可以獲得值很小的引數？
以線性回歸中的梯度下降法為例。假設要求的引數為
θ ，hθ
(x) 是我們的假設函式，那麼線性回歸的代價函式如下： j
(θ)=
12m∑
i=1m
(hθ(
x(i)
)−y(
i))(3)
那麼在梯度下降法中，最終用於迭代計算引數θ
的迭代式為： θj
:=θj−
α1m∑
i=1m
(hθ(
x(i)
)−y(
i))x
(i)j
(4) 其中
α 是learning rate. 上式是沒有新增l2正則化項的迭代公式，如果在原始代價函式之後新增l2正則化，則迭代公式會變成下面的樣子： θj
:=θj(
1−αλ
m)−α
1m∑i
=1m(
hθ(x
(i))
−y(i
))x(
i)j(5)
其中λ就是正則化引數
。從上式可以看到，與未新增l2正則化的迭代公式相比，每一次迭代，θj
都要先乘以乙個小於1的因子，從而使得θj
不斷減小，因此總得來看，θ
是不斷減小的。
最開始也提到l1正則化一定程度上也可以防止過擬合。之前做了解釋，當l1的正則化係數很小時，得到的最優解會很小，可以達到和l2正則化類似的效果。
通常越大的
λ 可以讓代價函式在引數為0時取到最小值。下面是乙個簡單的例子，這個例子來自quora上的問答。為了方便敘述，一些符號跟這篇帖子的符號保持一致。
假設有如下帶l1正則化項的代價函式： f
(x)=
f(x)
+λ||
x||1
其中x是要估計的引數，相當於上文中提到的w
以及θ. 注意到l1正則化在某些位置是不可導的，當λ
足夠大時可以使得f(
x) 在
x=0
時取到最小值。如下圖：
圖3 l1正則化引數的選擇
分別取λ
=0.5
和λ=2
，可以看到越大的
λ 越容易使f(
x)在x=0
時取到最小值。
從公式5可以看到，
λ 越大，θj
衰減得越快。另乙個理解可以參考圖2，
λ 越大，l2圓的半徑越小，最後求得代價函式最值時各引數也會變得很小。
上圖中的模型是線性回歸，有兩個特徵，要優化的引數分別是w1和w2，左圖的正則化是l2，右圖是l1。藍色線就是優化過程中遇到的等高線，一圈代表乙個目標函式值，圓心就是樣本觀測值（假設乙個樣本），半徑就是誤差值，受限條件就是紅色邊界（就是正則化那部分），二者相交處，才是最優引數。可見右邊的最優引數只可能在座標軸上，所以就會出現0權重引數，使得模型稀疏。
L1和L2正則化
l1和l2正則化 l1與l2正則化都是防止模型過擬合，其方式略有不同。具體請見下文。1 l1 正則化l1正則化 1範數 是指，各權值 變數 特徵 絕對值之和。其作用是產生權值的稀疏模型，也就是讓大部分權值為0.為什麼能產生權值稀疏模型？因為如下圖所示，各權值絕對值之和後得到乙個矩陣，很容易在矩陣的頂...
L1與L2正則化
在機器學習中，我們茶廠聽到l1和l2正則化，用他們來防止過擬合，但是在什麼情況下使用它們和它們的原理是什麼樣的可能一知半解。所以在本部落格中將對l1和l2做簡單的介紹和應用場景。如果引數過多，模型過於複雜，容易造成過擬合 overfit 即模型在訓練樣本資料上表現的很好，但在實際測試樣本上表現的較差...
L1與L2正則化
尊重原創，我沒有改動乙個字。過擬合示意圖 我們知道,過擬合就是所謂的模型對可見的資料過度自信,非常完美的擬合上了這些資料,如果具備過擬合的能力,那麼這個方程就可能是乙個比較複雜的非線性方程 正是因為這裡的 x 3 和 x 2 使得這條虛線能夠被彎來彎去,所以整個模型就會特別努力地去學習作用在 x 3...