為了得到一致假設而使假設變得過度嚴格稱為過擬合。過擬合的模型一般對訓練資料表現很好，而對測試資料表現很差。
early stopping：可以設定乙個迭代截斷的閾值，到了這個閾值迭代終止；也可以設定兩次迭代之間的accuracy提高很小的時候，停止迭代。
l1 l2正則化：使整體cost取較大值，避免某些特徵權重過大。l1: 0附近引數趨於0，降低模型複雜度，防止過擬合；0處不可求導，w=0時，用未經正則化的更新方程來更新；l2: 使引數w變小加劇，更小的w意味著更低的模型複雜度。
dropout：隨機刪除一些隱藏層神經元，使這些單元不更新。
原文見該位址。
過擬合 欠擬合，如何解決
乙個模型所能提供的資訊一般 於2個方面，一是訓練資料中蘊含的資訊，二是在模型的形成過程中 包括構造，學習，推理等 人們提供的先驗資訊。當訓練資料不足時，說明模型從原始資料中獲取的資訊比較少，這種情況下要保證模型的效果，就需要更多的先驗資訊。先驗資訊可以作用在模型上，例如讓模型採用特定的內在結構，條件...
如何解決過擬合問題？
如何降低過擬合？這是深度學習中非常重要的問題。關於過擬合的相關概念和過擬合帶來的危害，可參考筆者之前的部落格 過擬合與欠擬合簡要總結。如何解決過擬合？1.獲取和使用更多的資料集 對於解決過擬合的辦法就是給與足夠多的資料集，讓模型在更可能多的資料上進行 觀察 和擬合，從而不斷修正自己。然而事實上，收集...
深度學習 Dropout如何解決過擬合
在機器學習的模型中，如果模型的引數太多，而訓練樣本又太少，訓練出來的模型很容易產生過擬合的現象 類似於結構力學中的超靜定問題，舉這個栗子是因為作者的專業是工程力學。當然了不保證栗子的準確性。在訓練神經網路的時候經常會遇到過擬合的問題，過擬合具體表現在 模型在訓練資料上損失函式較小，準確率較高 但是在...