正則化：減少過擬合問題
欠擬合：演算法沒有很好地擬合資料，具有高偏差
過擬合：會在變數過多的時候出現，無法泛化到新樣本，具有高方差
以下從左到右：欠擬合，擬合，過擬合
當複雜的模型容易出現過擬合，我們可以通過控制模型的中的某些引數，讓模型向著簡單發展，來減輕擬合。（即無論有多少項，通過調整權重，使函式更加光滑）
線性回歸的正則化：
正則化線性回歸的代價函式：
其中λ為正規化引數，
引數λ就是用來控制這兩者之間的平衡，目標就是平衡擬合訓練的目的和保持引數值較小的目的。（即欠擬合和過擬合的平衡）
且懲罰引數從θ1開始，對θ0不懲罰
（在實際情況中，是否包含θ0只有很小的差異）
懲罰項的目的是儘量減少代價函式的均方誤差
而θj
由於(1-a*λ/m)<1，則相當於每次跟新在不改變後面一項的情況下使θj減小，降低高次項的權重
邏輯回歸的正則化：
與線性回歸基本一樣，只不過h（x）函式不同
機器學習正則化
設p 1的實 數，p norm 定義為 x i 1 n xi p 1 p 1.1 這裡寫描述 如果方陣a是非奇異的，那麼a的conditio nnumber定義為 a a a 1 condition number是乙個矩陣穩定性或者敏感度的度量。矩陣的condition number在1附近，那麼它...
機器學習 正則化
為了增加模型的泛化能力，避免模型出現過擬合的現象，我們經常會加入正則化處理 當模型偏差較低，但是方差很大，尤其在輸入的維數較高時，很容易出現過擬合現象，當加入正則項，模型損失了一部分偏差，卻大大降低了模型的方差 l1和l2正則是我們經常用到的方法。l1正則 這種方法的結果會讓引數向量中許多元素趨於0...
機器學習正則化
正則化項可以是模型引數向量的範數 首先，範數是指推廣到高維空間中的模，給定向量x x1,x2,x3,xn 常用的向量的範數如下 l0範數 向量非零元素的個數 l1範數 向量各個元素絕對值之和 l2範數 向量各個元素的平方和然後求平方根 lp範數 向量各個元素絕對值的p次方求和然後求1 p次方 l正則...