正則化（regularization）是機器學習中進行模型選擇的典型方法。正則化是模型損失函式結構風險最小化策略的實現，是在經驗風險上加乙個正則化項（regularized item）或罰項（penalty term）。正則化項一般是模型複雜度的單調遞增函式，模型越複雜，正則化值就越大。比如，正則化項可以是模型引數向量的範數。
正則化項一般具有如下形式：
minf∈f
1n∑i
=1nl
(yi,
f(xi
))+λ
j(f)
其中第一項是經驗風險，第二項是正則化項，λ≥
0 為調整兩者之間關係的係數。
正則化項可以取不同的形式，例如，在回歸問題中，損失函式是平方損失，正則化項可以是引數向量的l2
範數： l(
w)=1
n∑i=
1n(f
(xi;
w)−y
i)+λ
2∥w∥
2 其中，∥w∥
2 表示w的l2
範數。
正則化項也可以是引數向量的l1
範數： l(
w)=1
n∑i=
1n(f
(xi;
w)−y
i)+λ
∥w∥1
其中∥w
∥1表示引數向量的l1
範數。
第一項的經驗風險較小的模型可能較複雜（有多個非零引數），這時第二項的模型複雜度會較大。正則化的作用是選擇經驗風險和模型複雜度同時較小的模型。
正則化符合奧卡姆剃刀（occam』s razor）原理。也就是說，在所有可供選擇的模型中，能夠很好地解釋已有資料並且十分簡單才是最好的模型，也就是應該選擇的模型。從貝葉斯估計的角度來看，正則化項對應於模型的先驗概率，可以假設複雜的模型有較小的先驗概率，簡單的模型有較大的先驗概率。
根據以上解釋，經過正則化方法選擇出的模型，同時也減少了過擬合的可能性。
reference:
[1]: 李航，統計學習方法 ，2012.3
機器學習中的正則化
簡單來說，正則化是一種為了減小測試誤差的行為 有時候會增加訓練誤差 我們在構造機器學習模型時，最終目的是讓模型在面對新資料的時候，可以有很好的表現。當你用比較複雜的模型比如神經網路，去擬合資料時，很容易出現過擬合現象 訓練集表現很好，測試集表現較差 這會導致模型的泛化能力下降，這時候，我們就需要使用...
機器學習正則化
設p 1的實 數，p norm 定義為 x i 1 n xi p 1 p 1.1 這裡寫描述 如果方陣a是非奇異的，那麼a的conditio nnumber定義為 a a a 1 condition number是乙個矩陣穩定性或者敏感度的度量。矩陣的condition number在1附近，那麼它...
機器學習 正則化
為了增加模型的泛化能力，避免模型出現過擬合的現象，我們經常會加入正則化處理 當模型偏差較低，但是方差很大，尤其在輸入的維數較高時，很容易出現過擬合現象，當加入正則項，模型損失了一部分偏差，卻大大降低了模型的方差 l1和l2正則是我們經常用到的方法。l1正則 這種方法的結果會讓引數向量中許多元素趨於0...