偏差度量了學習演算法的期望**與真實結果的偏離程度，刻畫了學習演算法本身的擬合能力。
方差度量了同樣大小的訓練集的變動所導致的學習效能的變化，刻畫了資料擾動所造成的影響。
雜訊表達了當前任務上任何學習演算法所能達到的期望泛化誤差的下界，也就是最小值。
泛化誤差可以分解為偏差、方差和雜訊之和。
一般來說，偏差和方差是有衝突的，成為偏差-方差窘境（bias- variance dilemma）
1） 訓練程度不足時，學習器的擬合能力不夠強，訓練資料的擾動不足以使學習器產生顯著變化，偏差將主導泛化錯誤率。
2）訓練程度加深，學習器的擬合能力逐漸增強，訓練資料發生的擾動逐漸能夠被學習器學到，方差將主導泛化錯誤率。
3）訓練程度充足後，學習器的擬合能力已經非常強，訓練資料發生的輕微擾動都會導致學習器發生顯著變化。訓練資料非全域性的特徵如果被學習器學到了，將發生過擬合。
吳恩達的《深度學習》課程中提到理解偏差和方差的兩個關鍵資料：
train set error（訓練集誤差） 和 dev set error （開發集誤差）
可以看到，若我們假設貝葉斯誤差為0，也就是人類的錯誤率接近於0%。
1）若訓練集誤差很接近人類的可避免誤差，並且和開發集誤差相差很大時，我們稱此情況為高方差。模型過度擬合了訓練資料。
2）若訓練集誤差與貝葉斯誤差相差較大，同時接近開發集誤差時，稱之為高偏差。演算法沒有在資料集上得到很好的訓練，對訓練資料欠擬合。
3）若訓練集誤差與貝葉斯誤差相差較大，同時與開發集誤差也相差較大時，此時為高偏差高方差情形。參見下圖，這是乙個整體為線性，但在區域性具有高靈活性，能夠過度擬合部分資料的線性分類器。
4）若訓練集誤差非常接近貝葉斯誤差，同時開發集誤差也非常接近訓練集誤差，那麼就是我們期望的低偏差低方差狀態。
下面看另外乙個問題，為什麼在深度學習中不用太關注偏差-方差權衡？
這需要了解一下在偏差-方差權衡問題解決中的辦法。
對於高偏差問題，我們一般採用：
a.更加複雜的模型
b. 增加訓練時間
對於高方差問題，則採取：
a.更多的訓練資料
b. 正則化
因此，在目前的大資料時代和深度學習演算法不斷進步的今天，只要我們訓練乙個更大的神經網路，準備了更多的訓練資料，就解決了以上問題。可以做到僅僅減小方差或偏差，而不對另一方產生過多影響。也就是方差和偏差的相關性減弱了。
偏差 方差權衡 正則化 過擬合問題
偏差 方差權衡就是通過正則化調整模型的複雜度，正則化是解決共線性 特徵間高度相關 的乙個很有用的方法，它可以過濾掉資料中的雜訊，並最終防止過擬合。正則化背後的概念是引入額外的資訊 偏差 來對極端引數權重做出懲罰。最常用 的正則化形式成為l2正則化 l2 regularization 它有時也稱作l2...
機器學習模型中，偏差與方差的權衡及計算
衡量乙個機器學習模型的效能，可以用偏差和方差作為依據。乙個高偏差的模型，總是會對資料分布做出強假設，比如線性回歸。而乙個高方差的模型，總是會過度依賴於它的訓練集，例如未修剪的決策樹。我們希望乙個模型的偏差和方差都很低，但更多情況下我們需要在二者之間做出權衡。在選擇和調整模型時，偏差 方差權衡 是乙個...
偏差與方差
偏差度量了學習演算法的期望 與真實結果的偏離程度，即刻畫了學習演算法本身的擬合能力 方差度量了同樣大小的訓練集的變動多導致的學習效能的變化，即刻畫了資料擾動所造成的影響。雜訊則表達了在當前任務上任何學習演算法所能達到的期望泛化誤差的下界，即刻畫了學習問題本身的難度。偏差 方差分解說明，泛化效能是由學...