在對資料進行擬合，學習模型的過程中，會出現以下情況：
1）high variance, overfitting.過擬合
2）high bias, underfiiting.欠擬合
過擬合出現的原因
1）太多的特徵。
2）過少的訓練資料。
如何解決？
1）減少特徵數
2）模型選擇演算法（model selection algorithm）
3）正則化：保留特徵引數，但盡可能減小其幅值為0。
lambuda為正則化引數：看做是乙個tradeoff。用於平衡以下兩項
1）更好的適應模型
2）將特徵的係數盡可能變小
此引數過大，則會出現underfitting. 過小則會出現overfitting.
如何選擇正則化引數？後續章節將會論述。
機器學習正則化
設p 1的實 數，p norm 定義為 x i 1 n xi p 1 p 1.1 這裡寫描述 如果方陣a是非奇異的，那麼a的conditio nnumber定義為 a a a 1 condition number是乙個矩陣穩定性或者敏感度的度量。矩陣的condition number在1附近，那麼它...
機器學習 正則化
為了增加模型的泛化能力，避免模型出現過擬合的現象，我們經常會加入正則化處理 當模型偏差較低，但是方差很大，尤其在輸入的維數較高時，很容易出現過擬合現象，當加入正則項，模型損失了一部分偏差，卻大大降低了模型的方差 l1和l2正則是我們經常用到的方法。l1正則 這種方法的結果會讓引數向量中許多元素趨於0...
機器學習正則化
正則化項可以是模型引數向量的範數 首先，範數是指推廣到高維空間中的模，給定向量x x1,x2,x3,xn 常用的向量的範數如下 l0範數 向量非零元素的個數 l1範數 向量各個元素絕對值之和 l2範數 向量各個元素的平方和然後求平方根 lp範數 向量各個元素絕對值的p次方求和然後求1 p次方 l正則...