1、 定義：
觀測值：y
特徵值：x
且，假設
用偏差和方差來表述：
則，最後一項為系統雜訊，是無法通過模型降低的。
1.1 偏差bias與方差variance，他們的基本定義如下：
偏差bias： 描述**模型的期望與理論模型之間的差距，偏差越大偏離理論值越大。 b
ias[
f^(x
)]=e
[f^(
x)]−
f(x) （公式3）
方差variance：描述的是**模型得離散程度，方差越大離散程度越大。 v
ar[f
^(x)
]=e[
(f^(
x)−e
[f^(
x)])
2] （公式4）
2、公式推導：
對公式（2）推導過程如下：
3、常用結論
：影象化表示如下：
偏差、方差與過擬合、欠擬合之間的關係為：
利用較少引數，簡單的模型進行**，通常會得到低方差，高偏差，通常出現欠擬合；
利用較多引數，複查的模型進行**，通常會得到高方差，低偏差，通常出現過擬合；
3.1在模型**中，模型可能出現的誤差來自兩個主要**，即：因模型無法表示
基本資料的複雜度
而造成的偏差（bias），
或者因模型對訓練它所用的有限資料過度敏感而造成的方差（variance）。
1) 如果模型具有足夠的資料，但因不夠複雜而無法捕捉基本關係，則會出現偏差。這樣一來，模型一直會系統地錯誤表示資料，
從而導致**準確率降低。這種現象叫做欠擬合（underfitting）。
簡單來說，如果模型不適當，就會出現偏差。或者，我們可能有
本質上是多項式的連續資料，但模型只能表示線性關係。在此情況下，我們向模型提供多少資料並不重要，因為模型根本無法表示
其中的基本關係，我們需要更複雜的模型。那是不是擬合程度越高越好呢？也不是，因為還會有方差。 2)
方差就是指模型過於貼近訓練資料，以至於沒辦法把它的結果泛化（generalize）。而泛化是正事機器學習要解決的問題，如
果乙個模型只能對一組特定的資料有效，換了資料就無效了，我們就說這個模型過擬合。
泛化誤差可分解為偏差、方差和雜訊。
偏差度量了學習演算法的期望**與真實結果的偏離程度，即刻畫了學習演算法本身的擬合能力；方差度量了同樣大小的訓練集的
變動所導致的學習效能的變化，即刻畫了資料擾動所造成的影響；雜訊則表達了在當前任務上任何學習演算法所能達到的期望誤差的下界，
即刻畫了學習問題本身的難度。
參考文章：
偏差（bias 和方差 variance 區別
偏差 bias 和方差 variance 區別 偏差指的是演算法的期望 與真實 之間的偏差程度，反應了模型本身的 擬合能力 方差度量了同等大小的訓練集的變動導致學習效能的變化，刻畫了資料擾動 所導致的影響。當模型越複雜時，擬合的程度就越高，模型的訓練偏差就越小。但此時如果 換一組資料可能模型的變化就...
診斷偏差（bias）和方差（variance）
以下兩個圖是比較熟悉的高偏差 high bias 與高方差 high variance 的圖 接下來畫 誤差 error 圖 訓練誤差 left theta right frac sum limits m left right right 2 交叉驗證誤差 多項式的度 補充概念 定義如下 begin...
偏差 bias 與方差 variance
在分析模型的泛化效能時，經常用到偏差和方差。泛化誤差可以分解為偏差，方差與雜訊之和。自己的理解 偏差 在某演算法下期望的 值與真實的標記 客觀存在的標記，而不是資料庫人工的標記 度量了學習演算法的期望 與真實結果的偏離程度，刻畫了學習演算法本身的擬合能力，偏差的主要來之演算法本身的擬合能力和資料庫的...