如果乙個機器學習演算法表現不理想，要麼是欠擬合，要麼是過擬合。越高次方越能代表我們的訓練集，但能適應訓練集並不代表能推廣至一般情況。
高偏差：訓練誤差很大，訓練誤差與測試誤差很小，隨著樣本增多，訓練誤差增大。
高方差：訓練誤差很小，訓練誤差與測試誤差差距很大，隨著樣本增多，測試誤差會減小。
訓練集誤差和交叉驗證集誤差近似時：高偏差。
交叉驗證集誤差遠大於訓練集誤差時：高方差。
在訓練模型的過程中，一般會使用一些正則化的方法來防止過擬合。
當 λ 較小時，訓練集誤差較小（過擬合）而交叉驗證集誤差較大
隨著 λ 的增加，訓練集誤差不斷增加（欠擬合），而交叉驗證集誤差則是先減小後
學習曲線是學習演算法的乙個很好的合理檢驗。
解決高方差：
1. 獲得更多的訓練例項
2. 嘗試減少特徵的數量
3. 嘗試增加正則化程度 λ
解決高偏差：
1. 嘗試獲得更多的特徵
2. 嘗試增加多項式特徵
3. 嘗試減少正則化程度 λ
診斷偏差（bias）和方差（variance）
以下兩個圖是比較熟悉的高偏差 high bias 與高方差 high variance 的圖 接下來畫 誤差 error 圖 訓練誤差 left theta right frac sum limits m left right right 2 交叉驗證誤差 多項式的度 補充概念 定義如下 begin...
機器學習中的偏差和方差
數學解釋 偏差 描述的是 值 估計值 的期望與真實值之間的差距。偏差越大，越偏離真實資料，如下圖第二行所示。方差 描述的是 值的變化範圍，離散程度，也就是離其期望值的距離。方差越大，資料的分布越分散，如下圖右列所示。機器學習中的偏差和方差 首先，假設你知道訓練集和測試集的關係。簡單來講是我們要在訓練...
機器學習中的偏差和方差
機器學習中誤差的 主要有兩個方面 bias 偏差 和variance 方差 只有找到誤差的 才能為下一步的模型優化提供方向。這裡以估計隨機變數 x 的均值和方差為例，進行分析。假設，對於隨機變數 x 1.1 首先考慮均值 我們在總體中取出 n 個樣本 對隨機變數 x 的均值作估計 m 1n xn f...