二、降低模型複雜度
三、正則化方法
四、訓練
五、整合方法
補充：降低「欠擬合」風險的方法
如何解決網路過擬合的問題？
判斷乙個訓練模型過擬合，主要依據來自於，該模型在訓練集上的表現很好。但是在測試集合和新資料上的表現都不太好的情況。
可以從以下的三個角度去解決訓練網路過擬合的問題。
從資料入手，獲得更多的訓練資料。使用更多的訓練資料是解決過擬合問題的有效手段。因為更多的樣本能夠讓我們的模型學習到更多的特徵，減小資料的影響。
（1）影象的旋轉、平移、縮放、隨機剪下、填充、左右反轉等，這些資料增強來自於對應著同乙個目標在不同角度的觀察結果。
（2）影象加入雜訊。比如高斯白雜訊和椒鹽雜訊。
（3）顏色變換。
（4）改變影象的亮度、清晰度、對比度、銳度等等。
可以考慮用生成對抗網路來生成資料。
在資料比較少的時候，模型過於複雜是產生過擬合的主要因素，適當降低模型複雜度可以避免模型擬合過多的取樣雜訊。
例如在神經網路裡可以削減層數，神經元個數，卷積核個數。決策樹可以減少樹的深度和剪枝。
比如14年中的inception結構，設定瓶頸層，能夠大量削減通道引數。
給模型的引數加上一定的正則化約束。
將模型引數的大小加入到損失函式中，比如l1、l2正則化。這樣優化目標函式的同時，也能夠避免引數權值過大帶來的過擬合風險。
隨機選取神經元失活。
bn有輕微的正則化作用，可以適當緩解過擬合效果。
可以設定訓練時間 early stopping。及時停止我們的網路訓練。也可以每乙個epoch都儲存模型。
將多個模型整合在一起，降低單一模型的過擬合方法。
（1）新增新特徵
（2）增加模型複雜度
（3）減小正則化係數
如何解決過擬合問題？
如何降低過擬合？這是深度學習中非常重要的問題。關於過擬合的相關概念和過擬合帶來的危害，可參考筆者之前的部落格 過擬合與欠擬合簡要總結。如何解決過擬合？1.獲取和使用更多的資料集 對於解決過擬合的辦法就是給與足夠多的資料集，讓模型在更可能多的資料上進行 觀察 和擬合，從而不斷修正自己。然而事實上，收集...
如何解決過擬合（overfitting）問題？
為了得到一致假設而使假設變得過度嚴格稱為過擬合。過擬合的模型一般對訓練資料表現很好，而對測試資料表現很差。early stopping 可以設定乙個迭代截斷的閾值，到了這個閾值迭代終止 也可以設定兩次迭代之間的accuracy提高很小的時候，停止迭代。l1 l2正則化 使整體cost取較大值，避免某...
過擬合 欠擬合，如何解決
乙個模型所能提供的資訊一般 於2個方面，一是訓練資料中蘊含的資訊，二是在模型的形成過程中 包括構造，學習，推理等 人們提供的先驗資訊。當訓練資料不足時，說明模型從原始資料中獲取的資訊比較少，這種情況下要保證模型的效果，就需要更多的先驗資訊。先驗資訊可以作用在模型上，例如讓模型採用特定的內在結構，條件...