過擬合與欠擬合

訓練誤差：在訓練集上的誤差。

測試誤差：在測試集上的誤差，也稱為泛化誤差。

注：在先前未觀測到的輸入上表現良好的能力被稱為泛化。

欠擬合（underfitting）：模型在訓練集上不能獲得足夠低的誤差

過擬合（overfitting）：訓練誤差與測試誤差之間的差距太大。

通過調整模型的容量（capacity）可以控制模型是否偏向於過擬合或者欠擬合。模型的容量是指其擬合各種函式的能力。具體講，容量低的模型可能很難擬合訓練集，容易高的模型可能會過擬合，因為記住了不適用於測試集的訓練集性質。

欠擬合與過擬合

在用機器學習搭建模型時，經常會碰到這樣一種情況，你的模型演算法在樣本資料中匹配的非常完美。但用新資料測試，發現模型結果和實際差距非常大。那麼恭喜你！你掉進了機器學習中常見的乙個大坑 過擬合。什麼是過擬合呢？機器學習本質上是通過建立資料模型，使其和現有資料相吻合，從而找到資料中內在的規律。如下面三張圖...

欠擬合與過擬合

一 1.欠擬合 訓練集上表現很差 這種情況在測試集上也不會好 高偏差 bias 解決辦法 選擇更複雜的網路 有正則項就減小正則項引數等。2.過擬合 訓練集上表現很好，但測試集上表現很差，高方差 variance 解決辦法 採用更多資料 如果有正則化就增加正則化引數，沒有就加上正則化 dropout等...

過擬合與欠擬合

過擬合與欠擬合 欠擬合 個人理解就是由於資料少 正則化太厲害 模型複雜度太簡單等原因，導致模型沒有學習到足夠的規律，準確率與模型可達到的準確率差距較大。但是模型在訓練集和測試集的曲線趨勢是正常收斂的。解決方法為有 增加特徵，尋找與標籤相關性較大的特徵，在保證特徵沒有共線性的前提下，增加特徵的數量 減...