l2與l1的區別在於，l1正則是拉普拉斯先驗，而l2正則則是高斯先驗。它們都是服從均值為0，協方差為1λ。當λ=0時，即沒有先驗）沒有正則項，則相當於先驗分布具有無窮大的協方差，那麼這個先驗約束則會非常弱，模型為了擬合所有的訓練集資料， 引數w可以變得任意大從而使得模型不穩定，即方差大而偏差小。λ越大，標明先驗分布協方差越小，偏差越大，模型越穩定。即，加入正則項是在偏差bias與方差variance之間做平衡tradeoff。
讓我很困惑的是為什麼引數w任意大時模型不穩定會出現方差大偏差小的情況，那麼方差和偏差作為兩種度量方式有什麼區別呢？
在知乎上看到了幾種解釋，還是比較有助於自己理解的：
1、偏差：描述的是**值（估計值）的期望與真實值之間的差距。偏差越大，越偏離真實資料，如下圖第二行所示。
方差：描述的是**值的變化範圍，離散程度，也就是離其期望值的距離。方差越大，資料的分布越分散，如下圖右列所示。
bias：誤差，物件是單個模型，期望輸出與真實標記的差別（可以解釋為描述了模型對本訓練集的擬合程度）
variance：方差，物件是多個模型（這裡更好的解釋是換同樣規模的訓練集，模型的擬合程度怎麼樣；也可以說方差是刻畫資料擾動對模型的影響，描述的是訓練結果的分散程度）
從同乙個資料集中，用科學的取樣方法得到幾個不同的子訓練集，用這些訓練集訓練得到的模型往往並不相同。
以上圖為例：
1. 左上的模型偏差最大，右下的模型偏差最小；
2. 左上的模型方差最小，右下的模型方差最大（根據上面紅字的解釋這裡就很好理解了）
一般來說，偏差、方差和模型的複雜度之間的關係是這樣的：
實際中，我們需要找到偏差和方差都較小的點。
xgboost中，我們選擇盡可能多的樹，盡可能深的層，來減少模型的偏差；
通過cross-validation，通過在驗證集上校驗，通過正則化，來減少模型的方差
從而獲得較低的泛化誤差。
機器學習中的偏差和方差
數學解釋 偏差 描述的是 值 估計值 的期望與真實值之間的差距。偏差越大，越偏離真實資料，如下圖第二行所示。方差 描述的是 值的變化範圍，離散程度，也就是離其期望值的距離。方差越大，資料的分布越分散，如下圖右列所示。機器學習中的偏差和方差 首先，假設你知道訓練集和測試集的關係。簡單來講是我們要在訓練...
機器學習中的偏差和方差
機器學習中誤差的 主要有兩個方面 bias 偏差 和variance 方差 只有找到誤差的 才能為下一步的模型優化提供方向。這裡以估計隨機變數 x 的均值和方差為例，進行分析。假設，對於隨機變數 x 1.1 首先考慮均值 我們在總體中取出 n 個樣本 對隨機變數 x 的均值作估計 m 1n xn f...
機器學習中的偏差和方差
首先了解一下資料集的分類 偏差，可以理解為樣本y與模型 結果的差距，可以使用平方差計算。方差，是樣本y值與模型期望的差的平方和。如果你在訓練集上的錯誤率是 15 即 85 的精度 但你的目標是 5 錯誤率 95 精度 那麼首先要解決的問題是提高演算法在訓練集上的效能。演算法在驗證 測試集上的效能通常...