過擬合：在訓練集上的loss很低，但是在測試集上的loss很高，就是過擬合。模型的泛化能力差
欠擬合：不能在訓練集上獲得足夠低的訓練誤差
過擬合的解決辦法：
1、權值共享：減少模型引數，減少計算量
2、batchnormalization（輸入的資料做乙個歸一化處理）：可以讓大型卷積網路快速收斂，提高準確率。不需要使用區域性歸一化處理，也可以不加dropout
3、dropout：深度中最常見控制過擬合的方法，主要用在全連線層。dropout方法是在一定概率上除去網路神經元。
欠擬合的解決辦法：
1、加入新的特徵
2、增加模型複雜度
3、減少正則化項係數
模型過擬合與欠擬合
機器學習中，經常討論到的乙個話題就是泛化能力。泛化能力的強弱決定了模型的好壞，而影響泛化能力的則是模型的擬合問題。機器學習的目的並不是為了對訓練集的做出正確的 而是對沒有在訓練集中出現的資料進行正確的 但是對訓練集之外的資料 的前提是，模型在訓練集上的表現很好，基本可以滿足大部分資料的 這樣才會被用...
欠擬合與過擬合
在用機器學習搭建模型時，經常會碰到這樣一種情況，你的模型演算法在樣本資料中匹配的非常完美。但用新資料測試，發現模型結果和實際差距非常大。那麼恭喜你！你掉進了機器學習中常見的乙個大坑 過擬合。什麼是過擬合呢？機器學習本質上是通過建立資料模型，使其和現有資料相吻合，從而找到資料中內在的規律。如下面三張圖...
欠擬合與過擬合
一 1.欠擬合 訓練集上表現很差 這種情況在測試集上也不會好 高偏差 bias 解決辦法 選擇更複雜的網路 有正則項就減小正則項引數等。2.過擬合 訓練集上表現很好，但測試集上表現很差，高方差 variance 解決辦法 採用更多資料 如果有正則化就增加正則化引數，沒有就加上正則化 dropout等...