過擬合：模型在訓練上表現越來越好，但是在未見過的資料上表現不好，缺少泛化能力。
機器學習的根本問題在於優化和泛化的問題。優化指在調整模型在訓練集上得到最佳效能，泛化指的是模型在前所未見的資料上的效能好壞。
1.最優方法是獲取更多的訓練資料-利用影象增強，將資料進行翻轉旋轉等操作。
2.正則化：次優解決方法是 調節模型允許儲存的資訊量，或對模型允許儲存的資訊加以約束。
1.減小網路大小：減少引數個數，但是也要避免欠擬合。（越多引數，和』記憶『越容易過擬合。）
2.新增權重正則化：強制讓模型權重只能取較小的值， 從而限制模型的複雜度，這使得權重值的分布更加規則（regular）。其實現方法是向網路損失函式中新增與較大權重值相關的成本（cost）。
l1 正則化（l1 regularization）：新增的成本與權重係數的絕對值［權重的 l1 範數（norm）］ 成正比。
l2 正則化（l2 regularization）：新增的成本與權重係數的平方（權重的 l2 範數）成正比。 神經網路的 l2 正則化也叫權 重衰減（weight decay）。不要被不同的名稱搞混，權重衰減 與 l2 正則化在數學上是完全相同的。
3.dropout：隨機捨棄某些輸出特徵。model.add(layers.dropout(0.5))
神經網路的過擬合問題
神經網路模型訓練會出現三種情況 模型過於簡單，模型合理，過擬合。為避免過擬合問題，常常使用正則化方法 正則化的思想是 在損失函式中加入刻畫模型複雜程度的指標。模型優化時需要優化該損失函式 j r w j r w 其中 j j 為損失函式，表示的是乙個神經網路的所有引數，包括權重w w 和偏置b ro...
神經網路中的過擬合
過擬合 overfitting 是指在模型引數擬合過程中的問題，由於訓練資料報含抽樣誤差，訓練時，複雜的模型將抽樣誤差也考慮在內，將抽樣誤差也進行了很好的擬合。具體表現就是模型在訓練集上效果好，在測試集上效果差。模型泛化能力弱。1.擬合的模型一般是用來 未知的結果，過擬合雖然在訓練集上效果好，但是在...
神經網路中的過擬合
先說下一般對原始資料的劃分為什麼分為訓練集 驗證集 測試集三個部分？train data的作用是訓練模型，validation data的作用是對模型的超引數進行調節，為什麼不直接在test data上對引數進行調節？因為如果在test data上來調節引數，那麼隨著訓練的進行，我們的網路實際上就是...