首先我來介紹一下高方差和高偏差的概念，可能很多人理解的不是很清楚。
偏差：是指乙個模型的在不同訓練集上的平均效能和最優模型的差異。偏差可以用來衡量乙個模型的擬合能力。偏差越大，**值平均效能越偏離最優模型。偏差衡量模型的**能力，物件是乙個在不同訓練集上模型，形容這個模型平均效能對最優模型的**能力。
方差：（ variance）描述的是 乙個模型在不同訓練集上的差異，描述的是乙個模型在不同訓練集之間的差異，表示模型的泛化能力，方差越小，模型的泛化能力越強。可以用來衡量乙個模型是否容易過擬合。
**值的變化範圍，離散程度，也就是離其期望值的距離。方差越大，**結果資料的分布越散。方差用於衡量乙個模型在不同訓練集之間的關係，和最優模型無關。物件是不同訓練集上的乙個模型，表示選取不同的訓練集，得出的模型之間的差異性。
記住：方差和偏差都是衡量模型的，方差表示選取不同的訓練集，訓練出模型的差異有多大，而偏差是指乙個模型在不同訓練集上的平均效能和最優模型的差異。
假設上面打靶圖中的紅點是真實值，每乙個藍色的點代表了乙個根據不同的訓練集訓練出乙個訓練模型的**資料，就是選取不同的訓練集，訓練出不一樣的模型（不一樣的模型指的是假設的模型結構一樣，但是選取不同的訓練集，訓練出不同的模型引數，例如：模型都是y=ax^3+bx+c,但是選取不同的訓練集，模型1：y=0.5x^3+2x+3,模型2：y=x^3+5x+2），每乙個藍點代表某乙個訓練模型對紅點的**值，這樣說就很容易理解力吧。
分析上面的四幅圖，左上是低偏差，低方差，因為首先每個模型**的點都相距很近，所以選取不同的訓練集，**出他們模型之間的差異比較小，所以每個模型的方差比較低，其次對於每乙個的模型，他們**的值和紅點之間的距離很近，準確率很高，偏差很小，所以他們是低偏差的。右上是低偏差，高方差，因為首先每個模型**的點都相距很離散，所以選取不同的訓練集，**出他們模型之間的差異比較大，所以每個模型的方差比較高，其次對於每乙個的模型，他們**的值準確率很高，結果比較集中，偏差比較小，所以他們是低偏差的。左下是高偏差，低方差，因為首先每個模型**的點都相距很近，所以選取不同的訓練集，**出他們模型之間的差異比較小，所以每個模型的方差比較小，其次對於每乙個的模型，他們**的值準確率很差，離紅心點比較遠，偏差比較大，所以他們是高偏差的。右下是高偏差，高方差，因為首先每個模型**的點都相距很離散，所以選取不同的訓練集，**出他們模型之間的差異比較大，所以每個模型的方差比較大，其次對於每乙個的模型，他們**的值準確率很差，離紅心點比較遠，偏差比較大，所以他們是高偏差的。
再用乙個簡單的例子說明一下
左上中選取模型結構y=ax+b，不管選取什麼訓練集，他們**出的直線的每個引數是差距不大的，所以說是低方差的，但是對於上面紅線這乙個引數已知的模型，**出來的結果和真實的結果差距較大，所以它是高偏差的。右上的是擬合度剛剛合適。右下的模型真實值和**值之間的偏差平均最小，所以右下的模型偏差很低，但是對於不同的訓練集，他們訓練出的模型引數差距是比較大的，如下圖所示，
所以說，右下的方差比較大。
吳恩達老師（andrew）在機器學習的課程中講解了偏差和方差，在這兒我總結一下。
當你的訓練誤差和交叉驗證誤差或測試誤差都很大，且值差不多時，是處於高偏差，低方差，欠擬合狀態，需要增加多項式的次數來解決。
當你的訓練誤差和交叉驗證誤差差距很大，且測試集誤差很小，驗證誤差很大，是處於低偏差，高方差，過擬合狀態，需要減少多項式的次數或者利用正則化來解決。如下圖所示：
利用正則化防止過擬合時，正則化引數
參考文章：
高方差和高偏差
1.高方差和高偏差 偏差 描述的是 值 估計值 的期望與真實值之間的差距。偏差越大，越偏離真實資料集。方差 描述的是 值的變化範圍，離散程度，也就是離其期望值的距離。方差越大，結果資料的分布越散。理解偏差和方差 bias variance 的兩個關鍵資料是訓練集誤差 train set error ...
機器學習高方差和高偏差問題
在講模型高方差和高偏差問題前，先聊聊資料集分配和模型選擇。為了使得模型具有更好的泛化能力，我們在資料集分配問題上採用了6 2 2的分配原則，60 作為訓練集，20 作為交叉驗證集，20 作為測試集。當選擇模型時用訓練集訓練得到模型的一組權重，將這組權重帶入到模型中，並用交叉驗證集求出損失值，選取損失...
高方差與高偏差學習筆記
error bias variance。這裡的error大概可以理解為模型的 錯誤率，是有兩部分組成的，一部分是由於模型太簡單而帶來的估計不準確的部分 bias 樸素貝葉斯是高偏差低方差的演算法 另一部分是由於模型太複雜而帶來的更大的變化空間和不確定性 variance error反映的是整個模型的...