為了得到一致假設而使假設變得過度複雜稱為過擬合(overfitting)，過擬合表現在訓練好的模型在訓練集上效果很好，但是在測試集上效果差。
訓練集的數量級和模型的複雜度不匹配。訓練集的數量要小於模型的複雜度；
訓練集和測試集特徵分布不一致；
樣本裡的噪音資料干擾過大，大到模型過分記住了噪音特徵，反而忽略了真實的輸入輸出間的關係；
權值學習迭代次數足夠多（overtraining），擬合了訓練資料中的雜訊和訓練樣例中沒有代表性的特徵。
1.資料集擴增（data augmentation）
增加訓練資料樣本。訓練集越多，過擬合的概率越小。
2.資料處理-清洗資料
丟棄一些不能幫助正確**的特性。糾正錯誤的label，或者刪除錯誤資料。
3.dropout方法
通過修改隱藏層神經元的個數來防止過擬合。
4.early stepping
是一種迭代次數截斷的方法來防止過擬合。即在模型對訓練資料集迭代收斂之前停止迭代來防止過擬合。
5.正則化（regularization）：l1和l2
保留所有特性，但是減少引數的大小。
l1和l2是正則化項，又叫做罰項，是為了限制模型的引數，防止模型過擬合而載入損失函式後面的一項。
機器學習問題中過擬合出現的原因及解決方案
如果一味的追求模型的 能力，所選的模型複雜度就會過高，這種現象稱為過擬合。模型表現出來的就是訓練模型時誤差很小，但在測試的時候誤差很大。一 產生的原因 1.樣本資料問題 樣本資料太少 樣本抽樣不符合業務場景 樣本中的噪音資料影響2.模型問題 模型複雜度高，引數太多 決策樹模型沒有剪紙 模型訓練過程中...
怎麼解決過擬合
過擬合主要包括 建模樣本選取有誤。樣本噪音干擾過大。假設的模型無法合理存在，或者說是假設成立的條件實際並不成立。引數太多，模型複雜度過高。對於神經網路模型 a 對樣本資料可能存在分類決策面不唯一，隨著學習的進行,bp演算法使權值可能收斂過於複雜的決策面 b 權值學習迭代次數足夠多 overtrain...
什麼是過擬合？
過擬合很好理解，今天在知乎上看到eyounx這麼解釋，挺形象的，大致是這麼個說法 在機器學習中，我們提高了在訓練資料集上的表現力時，在測試資料集上的表現力反而下降了，這就是過擬合。過擬合發生的本質原因，是由於監督學習的不適定性。比如我們再學習線性代數時，給出n個線性無關的方程，我們可以解出來n個變數...