過擬合（overfitting）:是指在模型引數擬合過程中的問題，由於訓練資料報含抽樣誤差，訓練時，複雜的模型將抽樣誤差也考慮在內，將抽樣誤差也進行了很好的擬合。具體表現就是模型在訓練集上效果好，在測試集上效果差。模型泛化能力弱。
1.擬合的模型一般是用來**未知的結果，過擬合雖然在訓練集上效果好，但是在實際使用時測試集的效果差。2.機器學習演算法為了滿足盡可能複雜的任務，其模型的擬合能力一般遠遠高於問題複雜度，也就是說，機器學習演算法有「擬合出正確規則的前提下，進一步擬合雜訊」的能力。
3.根本問題：資料太少+模型太複雜。
神經網路中的過擬合
先說下一般對原始資料的劃分為什麼分為訓練集 驗證集 測試集三個部分？train data的作用是訓練模型，validation data的作用是對模型的超引數進行調節，為什麼不直接在test data上對引數進行調節？因為如果在test data上來調節引數，那麼隨著訓練的進行，我們的網路實際上就是...
神經網路的過擬合問題
神經網路模型訓練會出現三種情況 模型過於簡單，模型合理，過擬合。為避免過擬合問題，常常使用正則化方法 正則化的思想是 在損失函式中加入刻畫模型複雜程度的指標。模型優化時需要優化該損失函式 j r w j r w 其中 j j 為損失函式，表示的是乙個神經網路的所有引數，包括權重w w 和偏置b ro...
神經網路的過擬合overfitting
過擬合 模型在訓練上表現越來越好，但是在未見過的資料上表現不好，缺少泛化能力。機器學習的根本問題在於優化和泛化的問題。優化指在調整模型在訓練集上得到最佳效能，泛化指的是模型在前所未見的資料上的效能好壞。1.最優方法是獲取更多的訓練資料 利用影象增強，將資料進行翻轉旋轉等操作。2.正則化 次優解決方法...