以下兩個圖是比較熟悉的高偏差（high bias）與高方差（high variance）的圖
接下來畫「誤差」（error）圖
訓練誤差：
\[}\left( \theta \right) = \frac}\sum\limits_^m \left( }} \right) - }} \right)}^2}} \]
交叉驗證誤差：
多項式的度（補充概念）
定義如下
\[\begin
\left( x \right) = + x\\
\left( x \right) = + x + \\
.\\.\\
.\\\left( x \right) = + x + ... + }}
\end\]
多項式的度從d=1到d=10（主要是方便理解，意在表達多項式越來越複雜，越來越適應訓練資料）
從圖中可以看出（也比較容易理解）隨著多項式度的增加，訓練誤差在逐漸變小，因為「假設函式（多項式）」正在越來越適應訓練集；而交叉驗證誤差先減小然後增大。因為剛開始「假設函式」處於「underfit」的情況，這時模型對訓練集和交叉驗證集的適應性都不好。隨著度的增大，模型越來越接近「just right」狀態，這時，交叉驗證誤差達到最小值。當度再繼續增大時，模型就會對訓練資料產生「voerfit」現象，這樣交叉驗證集的誤差就會公升高。
總結
偏差（bias 和方差 variance 區別
偏差 bias 和方差 variance 區別 偏差指的是演算法的期望 與真實 之間的偏差程度，反應了模型本身的 擬合能力 方差度量了同等大小的訓練集的變動導致學習效能的變化，刻畫了資料擾動 所導致的影響。當模型越複雜時，擬合的程度就越高，模型的訓練偏差就越小。但此時如果 換一組資料可能模型的變化就...
偏差 bias 與方差 variance
在分析模型的泛化效能時，經常用到偏差和方差。泛化誤差可以分解為偏差，方差與雜訊之和。自己的理解 偏差 在某演算法下期望的 值與真實的標記 客觀存在的標記，而不是資料庫人工的標記 度量了學習演算法的期望 與真實結果的偏離程度，刻畫了學習演算法本身的擬合能力，偏差的主要來之演算法本身的擬合能力和資料庫的...
模型評估 偏差bias和方差variance
1 定義 觀測值 y 特徵值 x 且，假設 用偏差和方差來表述 則，最後一項為系統雜訊，是無法通過模型降低的。1.1 偏差bias與方差variance，他們的基本定義如下 偏差bias 描述 模型的期望與理論模型之間的差距，偏差越大偏離理論值越大。b ias f x e f x f x 公式3 方...