在用機器學習搭建模型時，經常會碰到這樣一種情況，你的模型演算法在樣本資料中匹配的非常完美。但用新資料測試，發現模型結果和實際差距非常大。那麼恭喜你！你掉進了機器學習中常見的乙個大坑——過擬合。
什麼是過擬合呢？機器學習本質上是通過建立資料模型，使其和現有資料相吻合，從而找到資料中內在的規律。如下面三張圖，x表示訓練樣本資料，藍色線條表示建立的資料模型。
第一張圖：雖然模型部分體現了資料變化的趨勢，但是樣本資料基本都不在模型曲線上，這叫做欠擬合
第二張圖：大多數的樣本資料都在模型曲線上，平且很好的體現了資料變化規律，這叫做擬合
第三張圖：雖然所有點都在模型曲線上，但卻沒有體現出資料變化規律，這就是過擬合
過擬合產生的原因是由於採集的樣本本身帶有的『抽樣誤差「，而機器學習的演算法可以產生足夠複雜的模型，將這些誤差值也精確擬合到模型中，導致生成的模型反倒丟失了的本質規律。說白了就是想太多了。
過擬合是在機器學習中經常會遇到的問題，不過不用怕。一般可以通過增加樣本數量，或者減少模型複雜度的方式來規避這個坑。
欠擬合與過擬合
一 1.欠擬合 訓練集上表現很差 這種情況在測試集上也不會好 高偏差 bias 解決辦法 選擇更複雜的網路 有正則項就減小正則項引數等。2.過擬合 訓練集上表現很好，但測試集上表現很差，高方差 variance 解決辦法 採用更多資料 如果有正則化就增加正則化引數，沒有就加上正則化 dropout等...
過擬合與欠擬合
過擬合與欠擬合 欠擬合 個人理解就是由於資料少 正則化太厲害 模型複雜度太簡單等原因，導致模型沒有學習到足夠的規律，準確率與模型可達到的準確率差距較大。但是模型在訓練集和測試集的曲線趨勢是正常收斂的。解決方法為有 增加特徵，尋找與標籤相關性較大的特徵，在保證特徵沒有共線性的前提下，增加特徵的數量 減...
欠擬合與過擬合
機器學習中的泛化，泛化即是，模型學習到的概念在它處於學習的過程中時模型沒有遇見過的樣本時候的表現。在機器學習領域中，當我們討論乙個機器學習模型學習和泛化的好壞時，我們通常使用術語 過擬合和欠擬合。我們知道模型訓練和測試的時候有兩套資料，訓練集和測試集。在對訓練資料進行擬合時，需要照顧到每個點，而其中...