機器學習中，如果引數過多，模型過於複雜，容易造成過擬合（overfit）。即模型在訓練樣本資料上表現的很好，但在實際測試樣本上表現的較差，不具備良好的泛化能力。為了避免過擬合，最常用的一種方法是使用使用正則化，例如 l1 和 l2 正則化。但是，正則化項是如何得來的？其背後的數學原理是什麼？l1 正則化和 l2 正則化之間有何區別？本文將給出直觀的解釋。
l2 正則化公式非常簡單，直接在原來的損失函式基礎上加上權重引數的平方和：
其中，ein 是未包含正則化項的訓練樣本誤差，λ 是正則化引數，可調。但是正則化項是如何推導的？接下來，我將詳細介紹其中的物理意義。
我們知道，正則化的目的是限制引數過多或者過大，避免模型更加複雜。例如，使用多項式模型，如果使用 10 階多項式，模型可能過於複雜，容易發生過擬合。所以，為了防止過擬合，我們可以將其高階部分的權重 w 限制為 0，這樣，就相當於從高階的形式轉換為低階。
為了達到這一目的，最直觀的方法就是限制 w 的個數，但是這類條件屬於 np-hard 問題，求解非常困難。所以，一般的做法是尋找更寬鬆的限定條件：
上式是對 w 的平方和做數值上界限定，即所有w 的平方和不超過引數 c。這時候，我們的目標就轉換為：最小化訓練樣本誤差 ein，但是要遵循 w 平方和小於 c 的條件。
下面，我用一張圖來說明如何在限定條件下，對 ein 進行最小化的優化。
如上圖所示，藍色橢圓區域是最小化 ein 區域，紅色圓圈是 w 的限定條件區域。在沒有限定條件的情況下，一般使用梯度下降演算法，在藍色橢圓區域內會一直沿著 w 梯度的反方向前進，直到找到全域性最優值 wlin。例如空間中有一點 w（圖中紫色點），此時 w 會沿著 -∇ein 的方向移動，如圖中藍色箭頭所示。但是，由於存在限定條件，w 不能離開紅色圓形區域，最多只能位於圓上邊緣位置，沿著切線方向。w 的方向如圖中紅色箭頭所示。
那麼問題來了，存在限定條件，w 最終會在什麼位置取得最優解呢？也就是說在滿足限定條件的基礎上，盡量讓 ein 最小。
我們來看，w 是沿著圓的切線方向運動，如上圖綠色箭頭所示。運動方向與 w 的方向（紅色箭頭方向）垂直。運動過程中，根據向量知識，只要 -∇ein 與執行方向有夾角，不垂直，則表明 -∇ein 仍會在 w 切線方向上產生分量，那麼 w 就會繼續運動，尋找下一步最優解。只有當 -∇ein 與 w 的切線方向垂直時，-∇ein在 w 的切線方向才沒有分量，這時候 w 才會停止更新，到達最接近 wlin 的位置，且同時滿足限定條件。
-∇ein 與 w 的切線方向垂直，即 -∇ein 與 w 的方向平行。如上圖所示，藍色箭頭和紅色箭頭互相平行。這樣，根據平行關係得到：
移項，得：
這樣，我們就把優化目標和限定條件整合在乙個式子中了。也就是說只要在優化 ein 的過程中滿足上式，就能實現正則化目標。
接下來，重點來了！根據最優化演算法的思想：梯度為 0 的時候，函式取得最優值。已知 ∇ein 是 ein 的梯度，觀察上式，λw 是否也能看成是某個表示式的梯度呢？
當然可以！λw 可以看成是 1/2λw*w 的梯度：
這樣，我們根據平行關係求得的公式，構造乙個新的損失函式：
之所以這樣定義，是因為對 eaug 求導，正好得到上面所求的平行關係式。上式中等式右邊第二項就是 l2 正則化項。
這樣， 我們從影象化的角度，分析了 l2 正則化的物理意義，解釋了帶 l2 正則化項的損失函式是如何推導而來的。
l1 正則化公式也很簡單，直接在原來的損失函式基礎上加上權重引數的絕對值：
我仍然用一張圖來說明如何在 l1 正則化下，對 ein 進行最小化的優化。
ein 優化演算法不變，l1 正則化限定了 w 的有效區域是乙個正方形，且滿足 |w| < c。空間中的點 w 沿著 -∇ein 的方向移動。但是，w 不能離開紅色正方形區域，最多只能位於正方形邊緣位置。其推導過程與 l2 類似，此處不再贅述。
介紹完 l1 和 l2 正則化的物理解釋和數學推導之後，我們再來看看它們解的分布性。
以二維情況討論，上圖左邊是 l2 正則化，右邊是 l1 正則化。從另乙個方面來看，滿足正則化條件，實際上是求解藍色區域與黃色區域的交點，即同時滿足限定條件和 ein 最小化。對於 l2 來說，限定區域是圓，這樣，得到的解 w1 或 w2 為 0 的概率很小，很大概率是非零的。
對於 l1 來說，限定區域是正方形，方形與藍色區域相交的交點是頂點的概率很大，這從視覺和常識上來看是很容易理解的。也就是說，方形的凸點會更接近 ein 最優解對應的 wlin 位置，而凸點處必有 w1 或 w2 為 0。這樣，得到的解 w1 或 w2 為零的概率就很大了。所以，l1 正則化的解具有稀疏性。
擴充套件到高維，同樣的道理，l2 的限定區域是平滑的，與中心點等距；而 l1 的限定區域是包含凸點的，尖銳的。這些凸點更接近 ein 的最優解位置，而在這些凸點上，很多 wj 為 0。
正則化是結構風險最小化的一種策略實現，能夠有效降低過擬合。損失函式實際上包含了兩個方面：乙個是訓練樣本誤差。乙個是正則化項。其中，引數 λ 起到了權衡的作用。
以 l2 為例，若 λ 很小，對應上文中的 c 值就很大。這時候，圓形區域很大，能夠讓 w 更接近 ein 最優解的位置。若 λ 近似為 0，相當於圓形區域覆蓋了最優解位置，這時候，正則化失效，容易造成過擬合。相反，若 λ 很大，對應上文中的 c 值就很小。這時候，圓形區域很小，w 離 ein 最優解的位置較遠。w 被限制在乙個很小的區域內變化，w 普遍較小且接近 0，起到了正則化的效果。但是，λ 過大容易造成欠擬合。欠擬合和過擬合是兩種對立的狀態。
機器學習中，如果引數過多，模型過於複雜，容易造成過擬合（overfit）。即模型在訓練樣本資料上表現的很好，但在實際測試樣本上表現的較差，不具備良好的泛化能力。為了避免過擬合，最常用的一種方法是使用使用正則化，例如 l1 和 l2 正則化。但是，正則化項是如何得來的？其背後的數學原理是什麼？l1 正則化和 l2 正則化之間有何區別？本文將給出直觀的解釋。
L1和L2正則化
l1和l2正則化 l1與l2正則化都是防止模型過擬合，其方式略有不同。具體請見下文。1 l1 正則化l1正則化 1範數 是指，各權值 變數 特徵 絕對值之和。其作用是產生權值的稀疏模型，也就是讓大部分權值為0.為什麼能產生權值稀疏模型？因為如下圖所示，各權值絕對值之和後得到乙個矩陣，很容易在矩陣的頂...
l1和l2正則化
import tensorflow as tf import tensorflow.contrib as contrib weight tf.constant 1.0,2.0 3.0,4.0 with tf.session as sess print sess.run contrib.layers....
L1和L2正則化
l0範數指的是向量中非零元素的個數，l0正則化就是限制非零元素的個數在一定的範圍，這很明顯會帶來稀疏。一般而言，用l0範數實現稀疏是乙個np hard問題，因此人們一般使用l1正則化來對模型進行稀疏約束。稀疏性 參考 另外一種解釋 假設費用函式l與某個引數w的關係如圖所示 則最優的 w在綠點處，w非...