**如此
過擬合的表現：在訓練集上loss很小，但在驗證集和測試集上精度不高
原因：參數量和資料量的極度不平衡，沒有學習到資料通用特徵，學習到些資料的特殊特徵，導致泛化能力弱。如白天鵝和黑天鵝，僅用白天鵝訓練，是否能識別黑天鵝，顏色是特殊特徵，不應該作為顯著特徵。
方法1：豐富資料集，增大資料集，適當減少模型大小資料增強，預處理，保持訓練集和測試集的同分布，無限接近現實世界的資料新增先驗知識，增加特徵的稀疏性：如l1,l2正則，relu，稀疏訓練等網路結構上使用bn，保持網路每層資料的同分布，減少資訊丟失整合學習思想：多個不同結構的模型組合學習，增強模型的魯棒性。使用dropout類似運算元。
attention機制：加權，突出重要通用特徵。
方法2：
2、增加資料量；
3、dropout；
4、early stopping
防止過擬合以及解決過擬合
過擬合 為了得到一致假設而使假設變得過度複雜稱為過擬合。乙個過配的模型試圖連誤差 噪音 都去解釋 而實際上噪音又是不需要解釋的 導致泛化能力比較差，顯然就過猶不及了。這句話很好的詮釋了過擬合產生的原因，但我認為這只是一部分原因，另乙個原因是模型本身並不能很好地解釋 匹配 資料，也就是說觀測到的資料並...
過擬合以及如何防止過擬合
過擬合即模型在訓練過程中對模型引數進行擬合的過程中，由於訓練資料集存在抽樣誤差 雜訊 複雜的模型在訓練的過程中會將抽樣誤差也一同進行擬合。這就導致訓練好的模型在訓練集上的表現很好，在測試集上的表現很差的原因。導致過擬合的主要原因有兩個 資料量太少和模型過於複雜 因為機器學習演算法在擬合出正確的規則後...
SVM防止過擬合
過擬合 overfitting 表現為在訓練資料上模型的 很準，在未知資料上 很差。過擬合主要是因為訓練資料中的異常點，這些點嚴重偏離正常位置。我們知道，決定svm最優分類超平面的恰恰是那些佔少數的支援向量，如果支援向量中碰巧存在異常點，那麼我們傻傻地讓svm去擬合這樣的資料，最後的超平面就不是最優...