以打靶為例，瞄相當於訓練，打相當於測試
偏差相當於瞄的準不准，方差相當於打的穩不穩
在用訓練集訓練模型初期（欠擬合），模型對訓練集有較高的錯誤率（瞄的不准，偏差高），而且在不同的測試集上表現近似（打的穩，方差小）；
在用訓練集訓練模型後期（過擬合），模型對訓練集都的錯誤率很小（瞄的準，偏差低），但在不同的測試集上表現與訓練集相差較大（打的不穩，方差大）；
在深度學習中，
增加資料和正則化可以降低方差，減少過擬合的發生；
增大網路深度和增加訓練時間可以降低偏差，減少欠擬合的發生；
資料越多就越能覆蓋真實資料的分布，試想下如果有現實世界中全部已存在和未存在的資料進行訓練，就沒有過擬合的問題了，因為任何乙個資料的特點都被模型學到了；正則化可以一定程度上阻止過度學習訓練集資料的分布特點，因為訓練集的資料分布特點與現實世界真實的全部資料分布肯定是有一定誤差的，所以過度學習訓練集並不是好事。
而當我們假設訓練集與現實世界真實的全部資料集資料分布特點一致時，增大網路深度和增加訓練時間都可以使模型更複雜從而更好的學習到訓練集（也是世界真實全部資料）的分布特點，從而時模型更加準確（偏差更小）。
正則化方法：
l2範數當懲罰係數增大時學到的大部分w都會偏小，其對應的神經元影響會減弱，假設弱到一定程度比神經元可以忽略，就相當於得到了乙個深度不變但每層神經元減少的新網路，即降低了網路的複雜度。另外此時，當w偏小時計算出的z=wa也是偏小的，假設所有的w都極小，故每層z是位於0附近左右的極小值，此時對於啟用函式sigmod和tanh在0極小附近的函式變化近似於斜率為1的直線，即使用二者啟用函式計算出來的值都維持了線性特點，所以最後一層得到的結果只是輸入值的線性組合而已，相當於降低了網路的複雜度。
dropout:直接關閉某些神經元的方式相當於構造了乙個每層神經元更少的網路
early stopping:開始時訓練集和測試集的代價函式一起減少，當到一定程度測試集的代價函式開始上公升，此時方差開始增大，相當於開始過擬合了，可以嘗試停止訓練。
機器學習中偏差 方差的理解
在機器學習中經常遇到，model的 過擬合 以及 欠擬合 問題，怎樣判斷呢，這裡可能就需要根據偏差 方差 錯誤曲線來判別。因此這裡我們需要對方差 偏差有乙個直觀感性的認識。當模型做出與實際情況不符的假設時就會引起錯誤，這種錯誤稱為偏差。如果選擇的模型與 變數和因變數之間的關係差別太大時 通常是模型太...
理解機器學習中的偏差與方差
學習演算法的 誤差,或者說泛化誤差 generalization error 可以分解為三個部分 偏差 bias 方差 variance 和雜訊 noise 在估計學習演算法效能的過程中,我們主要關注偏差與方差.因為雜訊屬於不可約減的誤差 irreducible error 首先拋開機器學習的範疇,...
機器學習中的偏差和方差
數學解釋 偏差 描述的是 值 估計值 的期望與真實值之間的差距。偏差越大，越偏離真實資料，如下圖第二行所示。方差 描述的是 值的變化範圍，離散程度，也就是離其期望值的距離。方差越大，資料的分布越分散，如下圖右列所示。機器學習中的偏差和方差 首先，假設你知道訓練集和測試集的關係。簡單來講是我們要在訓練...