機器學習中的泛化，泛化即是，模型學習到的概念在它處於學習的過程中時模型沒有遇見過的樣本時候的表現。在機器學習領域中，當我們討論乙個機器學習模型學習和泛化的好壞時，我們通常使用術語：過擬合和欠擬合。我們知道模型訓練和測試的時候有兩套資料，訓練集和測試集。在對訓練資料進行擬合時，需要照顧到每個點，而其中有一些噪點，當某個模型過度的學習訓練資料中的細節和噪音，以至於模型在新的資料上表現很差，這樣的話模型容易複雜，擬合程度較高，造成過擬合。而相反如果值描繪了一部分資料那麼模型複雜度過於簡單，欠擬合指的是模型在訓練和**時表現都不好的情況，稱為欠擬合。
我們來看一下線性回歸中擬合的幾種情況圖示：
還有在邏輯回歸分類中的擬合情況：
欠擬合指的是模型在訓練和**時表現都不好的情況，欠擬合通常不被討論，因為給定乙個評估模型表現的指標的情況下，欠擬合很容易被發現。矯正方法是繼續學習並且試著更換機器學習演算法。
對於過擬合，特徵集合數目過多，我們需要做的是盡量不讓回歸係數數量變多，對擬合（損失函式）加以限制。
（1）當然解決過擬合的問題可以減少特徵數，顯然這只是權宜之計，因為特徵意味著資訊，放棄特徵也就等同於丟棄資訊，要知道，特徵的獲取往往也是艱苦卓絕的。
（2）引入了正則化概念。
特徵的獲取往往也是艱苦卓絕的。
（2）引入了正則化概念。
直觀上來看，如果我們想要解決上面回歸中的過擬合問題，我們最好就要消除x
3x_3
x3和x
4x_4
x4的影響，也就是想讓θ3,
θ4θ3,θ4
θ3,θ
4都等於0，乙個簡單的方法就是我們對θ3,
θ4\theta_3\theta_4
θ3,θ4
進行懲罰，增加乙個很大的係數，這樣在優化的過程中就會使這兩個引數為零。
欠擬合與過擬合
在用機器學習搭建模型時，經常會碰到這樣一種情況，你的模型演算法在樣本資料中匹配的非常完美。但用新資料測試，發現模型結果和實際差距非常大。那麼恭喜你！你掉進了機器學習中常見的乙個大坑 過擬合。什麼是過擬合呢？機器學習本質上是通過建立資料模型，使其和現有資料相吻合，從而找到資料中內在的規律。如下面三張圖...
欠擬合與過擬合
一 1.欠擬合 訓練集上表現很差 這種情況在測試集上也不會好 高偏差 bias 解決辦法 選擇更複雜的網路 有正則項就減小正則項引數等。2.過擬合 訓練集上表現很好，但測試集上表現很差，高方差 variance 解決辦法 採用更多資料 如果有正則化就增加正則化引數，沒有就加上正則化 dropout等...
過擬合與欠擬合
過擬合與欠擬合 欠擬合 個人理解就是由於資料少 正則化太厲害 模型複雜度太簡單等原因，導致模型沒有學習到足夠的規律，準確率與模型可達到的準確率差距較大。但是模型在訓練集和測試集的曲線趨勢是正常收斂的。解決方法為有 增加特徵，尋找與標籤相關性較大的特徵，在保證特徵沒有共線性的前提下，增加特徵的數量 減...