一、偏差-方差分解（以回歸演算法為例）
偏差-方差分解是解釋學習演算法泛化效能的一種重要工具。
誤差是測量值與真實值之間的差值。
偏差度量了學習演算法的期望**與真實結果的偏離程度。
方差度量了同樣大小的訓練集的變動所導致的學習效能的變化，刻畫了資料擾動所造成的影響。
雜訊則表達了在當前任務上任何學習演算法所能表達的期望泛化誤差的下界。
因模型無法表示基本資料的複雜度而造成偏差
因模型對訓練它的有限資料過敏（原資料集上效果很好，換個資料就不行了）而造成方差
偏差造成的誤差——欠擬合
方差造成的誤差——過擬合
從偏差-方差分解的角度看，boosting主要關注降低偏差。
下面介紹損失函式：
損失函式又叫代價函式，常見的損失函式詳見：
風險函式是損失函式的期望，包括經驗風險函式和結構風險函式，目標函式是求解使經驗風險函式和結構風險函式之和最小的引數
在機器學習的世界中，最重要的就是選擇合適的損失函式，構建出目標函式，對目標函式進行求解。我們的最終目的就是提高**準確性，就需要不停的優化，包括對計算結果的優化和對計算效能的優化。這需要很強的數學功底。
過擬合通常發生在變數過多時，防止過擬合的方法：
1、儘量減少選取變數的數量；
2、正則化。保留所有的特徵變數，但是會減小特徵變數的數量級。
下面介紹正則化：
正則化 方差 偏差
正則化是指，在損失函式的基礎上加上了正則化項，即原來的loss function frac sum n y i hat y 2 變為 frac sum n y i hat y 2 frac sum n w 2 正則化的目的是為了防止過擬合 正則化可以防止過擬合的原因，從直觀意義上講，我們需要最小化損...
通俗理解偏差和方差 過擬合 正則化
1.解釋一下偏差和方差？在統計學中，偏差和方差是用來衡量模型的好壞的。偏差是指模型的 值的期望和真實值之間的差距。偏差越大，值越偏離真實資料。方差是指 值的分布範圍。方差越大，分布越分散。2.為什麼會出現過擬合的現象？過擬合是指模型在訓練集上達到了非常高甚至是100 的準確率，但是在測試集上的結果確...
偏差 方差權衡 正則化 過擬合問題
偏差 方差權衡就是通過正則化調整模型的複雜度，正則化是解決共線性 特徵間高度相關 的乙個很有用的方法，它可以過濾掉資料中的雜訊，並最終防止過擬合。正則化背後的概念是引入額外的資訊 偏差 來對極端引數權重做出懲罰。最常用 的正則化形式成為l2正則化 l2 regularization 它有時也稱作l2...