泛化誤差可以分為三個部分，偏差(bias), 方差(variance) 和雜訊(noise)。其中可控的是偏差(bias), 方差(variance)。
偏差： bias，指的是模型**值偏離真實值的程度；
方差： variance，值模型**值的離散程度，比如兩條幾乎相同的樣本，但是**值可能差很多；
bias 和variance 的關係如下圖所示，模型可以**的不准但是方差很小，比如第三個圓。
一般情況下模型偏差越小方差越大，即模型訓練的越複雜訓練集上的準確率越高越可能過擬合。過擬合的表現就是模型的方差較大。
交叉驗證中就是根據偏差和方差的權衡來評估模型的效果
參考資料
偏差與方差
偏差度量了學習演算法的期望 與真實結果的偏離程度，即刻畫了學習演算法本身的擬合能力 方差度量了同樣大小的訓練集的變動多導致的學習效能的變化，即刻畫了資料擾動所造成的影響。雜訊則表達了在當前任務上任何學習演算法所能達到的期望泛化誤差的下界，即刻畫了學習問題本身的難度。偏差 方差分解說明，泛化效能是由學...
偏差與方差
1.定義 偏差指的是演算法在大型訓練集上的錯誤率，方差指的是演算法在測試集上的表現低於訓練集的程度。當方差很高時，說明模型過擬合 當偏差很高時，說門模型欠擬合。2.減少偏差的方案 偏差過高，既模型在訓練集上的錯誤率太高說明模型欠擬合，減少偏差的方案如下 減少或去掉正則化 l1,l2,dropout ...
偏差與方差
打靶場上來了4個槍手，開始打靶，piapiapia 一陣槍響，不一會兒，打靶成績出來了。以下是4位搶手的打靶結果 不難看出，第一位搶手打的又準，而且穩定性也好，把把命中紅星。第二位槍手慘不忍睹，打的又偏，而且又毫無章法。第三位搶手準度一般，好在穩定性還不錯，只要提公升下準度，還是可以搶救一下。第四名...