過擬合
定義：訓練誤差和測試誤差之間的差距太大
原因：模型容量過大
後果：無法提取有效的結構資訊，即解過多，無法選出乙個泛化能力好的解
（這裡就得解釋一下模型容量和泛化能力的概念了，模型容量即擬合各種函式的能力，顯然高次函式多項式的這種能力比低次的強，就說更高次的模型容量大。泛化能力即在未觀測到的輸入上表現的良好程度）
欠擬合
定義：模型不能在訓練集上獲得足夠低的誤差
原因：模型容量不足
後果：無法刻畫真實函式的曲率
所以，過擬合和欠擬合的罪魁禍首就是模型容量，那如何改變模型容量呢？一般來說，有：
1.改變輸入特徵的個數（乙個x的n次冪就是乙個特徵）
2.加入這些特徵對應的引數
注意，當學習演算法優化不完美時，學習演算法的有效容量會小於模型族的表示容量
（表示容量：學習演算法可以選取的函式族）
正則化
定義：以增大訓練誤差來減小測試誤差的策略
正則化思路：1.向機器學習模型新增額外的約束，如增加引數的限制
2.向目標函式新增額外項
3.整合方法
常用的正則化策略：
1.引數範數懲罰
2.l^2引數正則化
3.l1引數正則化
顯然，正則化可以用來解決過擬合問題
定義
對過擬合和欠擬合的理解以及解決辦法
前言 不管是在深度學習還是在機器學習中訓練的模型存在著過擬合和欠擬合的現象，而且這種現象或多或少可能都是難以避免的。在介紹擬合和欠擬合之前我們先來了解一下其他幾個概念。誤差 偏差 訓練得到的模型實際 輸出和樣本的真實輸出之間的差異叫做誤差。方差 描述的是模型實際的 輸出的變化範圍，離散程度，也就是離...
過擬合 欠擬合 正則化
產生原因 緩解方法 合適的資料分布 合理的模型複雜性 合理的組合應該是 複雜的資料分布 簡單的模型 或者 簡單的資料分布 複雜的模型 神經網路中的過擬合 原理 或者說思考 從貝葉斯的角度來說，代價函式可以表示為p y w,x 的形式，而正則項則是對引數w做了乙個先驗分布的假設，使得代價函式變成p y...
深度學習 對過擬合和欠擬合問題的處理
我們以影象形式說明下欠擬合 正常擬合 過擬合的場景，左圖為欠擬合，此時演算法學習到的資料規律較弱，有較差的 效果，中圖為正常擬合的形態，模型能夠兼顧 效果和泛化能力，右圖是過擬合的情形，此時模型對訓練集有較好的 效果，但是因為其過度擬合於訓練資料，所以對未見過的資料集有較差的 效果，也就是我們通常說...