goodfellow的解釋感覺很精闢：
我們在訓練網路的時候往往有兩大目標：
這兩點其實分別對應著： 欠擬合與過擬合。
對於欠擬合，如果模型的容量（擬合各種函式的能力）過低則會導致網路難以擬合訓練集-> 訓練誤差難以下降。
對於過擬合，就是模型的學習能力過強，很好的fit了訓練資料，但是卻沒有對測試集的泛化能力。（train loss低，test loss高）。
一般來說我們在會通過cv來檢驗。
此外，如果使用mse均方誤差度量泛化誤差，我們會發現：
方差的定義是平凡的；偏差也是：就是所有資料的期望 - 該項的真實值。
欠擬合與過擬合
在用機器學習搭建模型時，經常會碰到這樣一種情況，你的模型演算法在樣本資料中匹配的非常完美。但用新資料測試，發現模型結果和實際差距非常大。那麼恭喜你！你掉進了機器學習中常見的乙個大坑 過擬合。什麼是過擬合呢？機器學習本質上是通過建立資料模型，使其和現有資料相吻合，從而找到資料中內在的規律。如下面三張圖...
欠擬合與過擬合
一 1.欠擬合 訓練集上表現很差 這種情況在測試集上也不會好 高偏差 bias 解決辦法 選擇更複雜的網路 有正則項就減小正則項引數等。2.過擬合 訓練集上表現很好，但測試集上表現很差，高方差 variance 解決辦法 採用更多資料 如果有正則化就增加正則化引數，沒有就加上正則化 dropout等...
過擬合與欠擬合
過擬合與欠擬合 欠擬合 個人理解就是由於資料少 正則化太厲害 模型複雜度太簡單等原因，導致模型沒有學習到足夠的規律，準確率與模型可達到的準確率差距較大。但是模型在訓練集和測試集的曲線趨勢是正常收斂的。解決方法為有 增加特徵，尋找與標籤相關性較大的特徵，在保證特徵沒有共線性的前提下，增加特徵的數量 減...