PAC理論 訓練誤差和測試誤差 模型複雜度

pac理論

訓練誤差和測試（泛化）誤差的區別及其與模型複雜度的關係

1.泛化能力：

機器學習的目標是使學得的模型能夠很好的適用於新的樣本，而不是僅僅在訓練樣本上工作的很好。學得的模型對新樣本（即新鮮資料）的適應能力稱為泛化能力。

2.誤差：學習到的模型在樣本上的**結果與樣本的真實結果之間的差 。

訓練誤差：模型在訓練集上的誤差。

泛化誤差（測試誤差）：在新樣本上的誤差。

顯然，我們更希望得到泛化誤差小的模型。

3.欠擬合與過擬合

欠擬合：學得的模型訓練誤差很大的現象。

過擬合：學得的模型的訓練誤差很小，但泛化誤差大（泛化能力較弱）的現象。

泛化誤差可分解為偏差、方差與雜訊之和，即generalization error=bias2+variance+noise。

「雜訊」：描述了在當前任務上任何學習演算法所能達到的期望泛化誤差的下界，即刻畫了學習問題本身的難度。

假定期望雜訊為零，則泛化誤差可分解為偏差、方差之和，即generalization error=bias2+variance。

「偏差」：描述了模型的期望**（模型的**結果的期望）與真實結果的偏離程度。偏離程度越大，說明模型的擬合能力越差，此時造成欠擬合。

「方差」：描述了資料的擾動造成的模型效能的變化，即模型在不同資料集上的穩定程度。方差越大，說明模型的穩定程度越差。如果模型在訓練集上擬合效果比較優秀，但是在測試集上擬合效果比較差劣，則方差較大，說明模型的穩定程度較差，出現這種現象可能是由於模型對訓練集過擬合造成的。

簡單的總結一下：偏差大，說明模型欠擬合；方差大，說明模型過擬合

1、橫軸為訓練樣本數量，縱軸為誤差：

首先，我們來看如何通過學習曲線識別是否發生了欠擬合/過擬合，如下圖2。模型欠擬合時，在訓練集以及測試集上同時具有較高的誤差，此時模型的偏差較大；模型過擬合時，在訓練集上具有較低的誤差，在測試集上具有較高的誤差，此時模型的方差較大。模型正常時，在訓練集以及測試集上，同時具有相對較低的偏差以及方差。

圖二情況下， 訓練誤差小，泛化誤差大， =》 過擬合

圖三情況下， 兩個誤差都小。 = 》正常

??? 為何藍色曲線是上公升的？

橫座標是樣本量， 樣本量 = 樣本類別數量 * 每個類別的平均樣本量

然後，我們想辦法解決欠擬合/過擬合。根據上圖2，我們發現：當模型欠擬合的時候，我們發現增大訓練集，偏差無法降低，無法解決欠擬合問題；當模型過擬合的時候，我們發現增大訓練集，方差減小，可以解決過擬合問題。

2、橫軸為模型複雜程度，縱軸為誤差：

橫軸表示模型的複雜程度，增加模型的複雜程度的方法，比如增加特徵項、新增多項式等等。

首先，我們來看如何通過學習曲線識別是否發生了欠擬合/過擬合，如下圖3。模型在點a處，在訓練集以及測試集上同時具有較高的誤差，此時模型的偏差較大，模型欠擬合；模型在點c處，在訓練集上具有較低的誤差，在測試集上具有較高的誤差，此時模型的方差較大，模型過擬合。模型複雜程度控制在點b處為最優。

然後，我們想辦法解決欠擬合/過擬合。根據上圖3，我們發現：當模型欠擬合時，可以增加模型的複雜程度；當模型過擬合時，可以減小模型的複雜程度。

3、橫軸為正則項係數，縱軸為誤差：

一般情況下，為了限制模型造成過擬合，可以新增正則項（懲罰項）。

首先，我們來看如何通過學習曲線識別是否發生了欠擬合/過擬合，如下圖4。模型在點a處，在訓練集上具有較低的誤差，在測試集上具有較高的誤差，此時模型的方差較大，模型過擬合；模型在點c處，在訓練集以及測試集上同時具有較高的誤差，此時模型的偏差較大，模型欠擬合。模型正則項係數控制在點b處為最優。

然後，我們想辦法解決欠擬合/過擬合。根據上圖4，我們發現：當模型過擬合時，可以增大模型正則項係數；模型欠擬合時，可以減小模型正則項係數。

關於訓練誤差 測試誤差 泛化誤差

我們在學習模式識別的時候，總是會遇到一些專業詞彙，而其中有的專業詞彙叫人傻傻分不清。今天我就來說說訓練誤差 測試誤差 泛化誤差到底是什麼，區別所在。對於分類學習演算法，我們一般將樣本集分為訓練集和測試集，其中訓練集用於演算法模型的學習或訓練，而測試集通常用於評估訓練好的模型對於資料的 效能評估。而這...

偏差，方差，訓練誤差，測試誤差的區別

偏差 就是 值的期望離所有被 的樣本的真實值的 距離的期望。刻畫了學習演算法本身的擬合能力。方差 就是 值的期望離所有被 的樣本的 值的 距離的期望。刻畫了資料擾動所造成的影響。值的期望就好像測試集所有點的中心。注意 當我們確定乙個模型時，可以通過比較偏差，方差情況看看，我們是最大我們的訓練長度還是...

機器學習十二 誤差原因與模型複雜度

誤差原因 error 用於測量模型效能的基本指標。在模型 中，模型可能出現的誤差來自兩個主要 即 因模型無法表示基本資料的複雜度而造成的 偏差 bias 或者因模型對訓練它所用的有限資料過度敏感而造成的 方差 variance 偏差 準確率和欠擬合 如果模型具有足夠的資料，但因不夠複雜而無法捕捉基本...