任何機器學習模型，包括神經網路都可能存在過擬合（overfit）問題。下面用一張圖來說明：
上圖中，分別用三個模型來擬合實際的樣本點（紅色 x 表示樣本）。第乙個模型是一條直線，模型簡單，但是**值與樣本 label 差別較大，這種情況稱之為欠擬合（underfit）。第三個模型是乙個高階多項式，模型過於複雜，雖然**值與樣本 label 完全吻合，但是該模型在訓練樣本之外的資料上擬合效果可能很差，該模型可能把雜訊也學習了。這種情況稱之為過擬合（overfit），即模型過於擬合訓練樣本的資料而泛化能力很差。第二個模型是二次曲線，模型複雜度中等，既能對訓練樣本有較好的擬合效果，也能保證有不錯的泛化能力。這是我們構建神經網路模型希望得到的模型。
欠擬合和過擬合分別對應著高偏差（high bias）和高方差（high variance）。偏差度量了學習演算法的期望**與真實結果的偏離程度，刻畫描述了演算法本身對資料的擬合能力，也就是訓練資料的樣本與訓練出來的模型的匹配程度；方差度量了訓練集的變化導致學習性
深層神經網路過擬合優化
過擬合 overfitting 深層神經網路模型的訓練過程，就是尋找乙個模型能夠很好的擬合現有的資料 訓練集 同時能夠很好的 未來的資料。在訓練過程中由於模型建立的不恰當，往往所訓練得到的模型能夠對訓練集的資料非常好的擬合，但是卻在 未來的資料上表現得非常差，這種情況就叫做過擬合 overfitti...
第14課 專案實戰 深度優化你的神經網路模型
本文將繼續使用第9課中的專案，帶領大家使用一些梯度優化技巧和正則化技術搭建乙個更好的神經網路來解決貓 狗分類問題。這是乙個典型的二分類問題。輸入是一張，我們會把三通道的 rgb 拉伸為一維資料作為神經網路的輸入層。神經網路的輸出層包含乙個神經元，經過 sigmoid 函式輸出概率值 p 若 p 0....
深度學習篇 神經網路中的調優二，防止過擬合
一 前述 二 l1，l2正則防止過擬合 使用l1和l2正則去限制神經網路連線的weights權重，限制更小 1 對於一層時可以定義如下 一種方式去使用tensorflow做正則是加合適的正則項到損失函式，當一層的時候，可以如下定義 2 對於多層時可以定義如下 可是如果有很多層，上面的方式不是很方便，...