正則化項可以是模型引數向量的範數
首先，範數是指推廣到高維空間中的模，給定向量x=(x1,x2,x3,...,xn)，常用的向量的範數如下：
l0範數：向量非零元素的個數
l1範數：向量各個元素絕對值之和
l2範數：向量各個元素的平方和然後求平方根
lp範數：:向量各個元素絕對值的p次方求和然後求1/p次方
l正則化後會導致引數稀疏，乙個好處是可以簡化模型，避免過擬合。因為乙個模型中真正重要的引數可能並不多，如果考慮所有的引數起作用，那麼可以對訓練資料可以**的很好，但是對測試資料就只能呵呵了。另乙個好處是引數變少可以使整個模型獲得更好的可解釋性。
且引數越小，模型就會越簡單，這是因為越複雜的模型，越是會嘗試對所有的樣本進行擬合，甚至包括一些異常樣本點，這就容易造成在較小的區間裡**值產生較大的波動，這種較大的波動也反映了在這個區間裡的導數很大，而只有較大的引數值才能產生較大的導數。因此複雜的模型，其引數值會比較大
機器學習正則化
設p 1的實 數，p norm 定義為 x i 1 n xi p 1 p 1.1 這裡寫描述 如果方陣a是非奇異的，那麼a的conditio nnumber定義為 a a a 1 condition number是乙個矩陣穩定性或者敏感度的度量。矩陣的condition number在1附近，那麼它...
機器學習 正則化
為了增加模型的泛化能力，避免模型出現過擬合的現象，我們經常會加入正則化處理 當模型偏差較低，但是方差很大，尤其在輸入的維數較高時，很容易出現過擬合現象，當加入正則項，模型損失了一部分偏差，卻大大降低了模型的方差 l1和l2正則是我們經常用到的方法。l1正則 這種方法的結果會讓引數向量中許多元素趨於0...
機器學習正則化
機器學習正則化筆記概要 正則化 regularization 是用於抑制過擬合的方法的統稱，它通過動態調整估計引數的取值來降低模型的複雜度，以偏差的增加為代價來換取方差的下降。總結起來 利用貝葉斯概率來確定最優引數的步驟可以歸納如下 求解的物件是已知訓練資料時，測試資料的條件概率 p y y 要計算...