這些特徵值未必是必要的，過多此類的特徵值會引起回歸函式的過擬合。
但若是特徵值不足就會導致函式的欠擬合問題。
所以為了約束不相關項的係數theta，增加正則項。
對於logistic regression亦是在末尾新增這麼一項。
他們確保了在擬合一些不那麼必要的theta值時，使這些theta值趨與0。lambda越大，對這些theta值約束越嚴格。當lambda過於大時，幾乎使所有的theta值為0.此時假設函式變為 h_x=theta_0。而theta_0因為是乙個與特徵值無關的常數項，所以它不需要正則化，所以從j=1開始取值。
其實最後一項對應的是模型的複雜度。根據奧卡姆剃刀原則，我們不僅需要訓練誤差小，還需要模型的複雜度小，所以將兩項相加，使他們同時達到乙個相對較小的值，避免二者其一過大另一項過小（直接導致過擬合或欠擬合）。
機器學習正則化
設p 1的實 數，p norm 定義為 x i 1 n xi p 1 p 1.1 這裡寫描述 如果方陣a是非奇異的，那麼a的conditio nnumber定義為 a a a 1 condition number是乙個矩陣穩定性或者敏感度的度量。矩陣的condition number在1附近，那麼它...
機器學習 正則化
為了增加模型的泛化能力，避免模型出現過擬合的現象，我們經常會加入正則化處理 當模型偏差較低，但是方差很大，尤其在輸入的維數較高時，很容易出現過擬合現象，當加入正則項，模型損失了一部分偏差，卻大大降低了模型的方差 l1和l2正則是我們經常用到的方法。l1正則 這種方法的結果會讓引數向量中許多元素趨於0...
機器學習正則化
正則化項可以是模型引數向量的範數 首先，範數是指推廣到高維空間中的模，給定向量x x1,x2,x3,xn 常用的向量的範數如下 l0範數 向量非零元素的個數 l1範數 向量各個元素絕對值之和 l2範數 向量各個元素的平方和然後求平方根 lp範數 向量各個元素絕對值的p次方求和然後求1 p次方 l正則...