1.為什麼要正則化?
防止過擬合.
2.什麼是過擬合?
指訓練的模型在訓練集的損失很小,但是在測試集上表現不佳.
3.為什麼會過擬合?
一般來說,資料中會有雜訊,為了擬合包含雜訊的訓練集的資料,模型會變得很複雜.而這個模型只是適合這個包含了雜訊的訓練集,和實際的模型有較大偏差,在測試集資料上往往表現不回.
4.什麼是正則化,其思想是什麼?
正則化的思想是,模型應當是趨於簡單的.根據奧卡姆剃刀定律，或許我們可以通過降低複雜模型的複雜度來防止過擬合，這種原則稱為正則化,以最小化損失和複雜度為目標，這稱為結構風險最小化.
5.模型複雜度怎麼度量?
如果模型複雜度是權重的函式，則特徵權重的絕對值越高，對模型複雜度的貢獻就越大。我們可以使用
l2 正則化公式來量化複雜度，該公式將正則化項定義為所有特徵權重的平方和：接近於 0 的權重對模型複雜度幾乎沒有影響，而離群值權重則可能會產生巨大的影響。
l1正則化公根據權重的絕對值的總和來懲罰權重。在依賴稀疏特徵的模型中，l1 正則化有助於使不相關或幾乎不相關的特徵的權重正好為 0，從而將這些特徵從模型中移除。與l2 正則化相對。
6.l1,l2如何選擇?
l₁ 正則化, 又稱稀疏性正則化 (regularization for sparsity) ,可用於特徵選擇,大量權重為零的特徵被排除,選擇少量權重不為零的特徵.
機器學習正則化
設p 1的實 數，p norm 定義為 x i 1 n xi p 1 p 1.1 這裡寫描述 如果方陣a是非奇異的，那麼a的conditio nnumber定義為 a a a 1 condition number是乙個矩陣穩定性或者敏感度的度量。矩陣的condition number在1附近，那麼它...
機器學習 正則化
為了增加模型的泛化能力，避免模型出現過擬合的現象，我們經常會加入正則化處理 當模型偏差較低，但是方差很大，尤其在輸入的維數較高時，很容易出現過擬合現象，當加入正則項，模型損失了一部分偏差，卻大大降低了模型的方差 l1和l2正則是我們經常用到的方法。l1正則 這種方法的結果會讓引數向量中許多元素趨於0...
機器學習正則化
正則化項可以是模型引數向量的範數 首先，範數是指推廣到高維空間中的模，給定向量x x1,x2,x3,xn 常用的向量的範數如下 l0範數 向量非零元素的個數 l1範數 向量各個元素絕對值之和 l2範數 向量各個元素的平方和然後求平方根 lp範數 向量各個元素絕對值的p次方求和然後求1 p次方 l正則...