看了幾篇文章，我的理解是，首先時正則化的英語時regularizism...其實更可以看作是「規則化」，主要用於降維，pca(主成成分分析)，就是去掉一些無關緊要的資料，使資料更好地擬合函式。
公式上看是減少w權重，是乙個意思，就是擬合一群資料的時候，比如用最小二乘法這個最簡單的方法來，肯定會存在過擬合的問題，這個時候加入乙個正則項，將前面的損失函式規定在某乙個範圍內（你想，正則化項大了，損失fx小了的地方就沒意義了，反之亦然）。
這個正則化項一般是二次範數，一次很好，但不好實現。
機器學習正則化
設p 1的實 數，p norm 定義為 x i 1 n xi p 1 p 1.1 這裡寫描述 如果方陣a是非奇異的，那麼a的conditio nnumber定義為 a a a 1 condition number是乙個矩陣穩定性或者敏感度的度量。矩陣的condition number在1附近，那麼它...
機器學習 正則化
為了增加模型的泛化能力，避免模型出現過擬合的現象，我們經常會加入正則化處理 當模型偏差較低，但是方差很大，尤其在輸入的維數較高時，很容易出現過擬合現象，當加入正則項，模型損失了一部分偏差，卻大大降低了模型的方差 l1和l2正則是我們經常用到的方法。l1正則 這種方法的結果會讓引數向量中許多元素趨於0...
機器學習正則化
正則化項可以是模型引數向量的範數 首先，範數是指推廣到高維空間中的模，給定向量x x1,x2,x3,xn 常用的向量的範數如下 l0範數 向量非零元素的個數 l1範數 向量各個元素絕對值之和 l2範數 向量各個元素的平方和然後求平方根 lp範數 向量各個元素絕對值的p次方求和然後求1 p次方 l正則...