好比你想學習追妹子。
先找你表妹問喜歡什麼，表妹說她喜歡乾淨帥氣的男生，還說她喜歡周杰倫，喜歡火鍋，喜歡酸菜魚，合計一百條規矩。你規規矩矩地按照要求學習，終於符合表妹的一切要求，0 error，訓練完成，超級自信準備出去試試追個妹子。
可是換了個妹子，發現學到的似乎沒想象中有用。第二個妹子只要你乾淨帥氣。後面的九十八條她都不care，她甚至討厭吃火鍋，那後面98條只會增加誤差。這就過擬合了。
怎麼防止過擬合呢？應該用cross validation，交叉比對。
解釋起來就是，你在你表妹那兒學到的東西，在你表姐那兒測試一下對不對。在你表姐那兒學到的，在你二姐那測試一下。來來回回用不同的測試物件和訓練物件做交叉比對。這樣學到規律就不會過擬合啦~
其實不完全是雜訊和假規律會造成過擬合。
(1)打個形象的比方，給一群天鵝讓機器來學習天鵝的特徵，經過訓練後，知道了天鵝是有翅膀的，天鵝的嘴巴是長長的彎曲的，天鵝的脖子是長長的有點曲度，天鵝的整個體型像乙個「2」且略大於鴨子.這時候你的機器已經基本能區別天鵝和其他動物了。
(2)然後，很不巧你的天鵝全是白色的，於是機器經過學習後，會認為天鵝的羽毛都是白的，以後看到羽毛是黑的天鵝就會認為那不是天鵝.
(3)好，來分析一下上面這個例子：(1)中的規律都是對的，所有的天鵝都有的特徵，是全域性特徵；然而，(2)中的規律：天鵝的羽毛是白的.這實際上並不是所有天鵝都有的特徵，只是區域性樣本的特徵。機器在學習全域性特徵的同時，又學習了區域性特徵，這才導致了不能識別黑天鵝的情況.
參考**：
過擬合以及解決辦法
過擬合 為了得到一致假設而使假設變得過度複雜稱為過擬合。乙個過配的模型試圖連誤差 噪音 都去解釋 而實際上噪音又是不需要解釋的 導致泛化能力比較差，顯然就過猶不及了。這句話很好的詮釋了過擬合產生的原因，但我認為這只是一部分原因，另乙個原因是模型本身並不能很好地解釋 匹配 資料，也就是說觀測到的資料並...
過擬合 欠擬合及其解決辦法
1.什麼是過擬合？過擬合 overfitting 是指在模型引數擬合過程中的問題，由於訓練資料報含抽樣誤差，訓練時，複雜的模型將抽樣誤差也考慮在內，將抽樣誤差也進行了很好的擬合。具體表現就是最終模型在訓練集上效果好 在測試集上效果差。模型泛化能力弱。2 產生過擬合根本原因 1 觀察值與真實值存在偏差...
過擬合和欠擬合以及相對應的解決辦法
欠擬合 是指模型的學習能力比較低，以至於，只學到了很少的一部分資訊，當進行 的時候，會發生方差最低，和偏差較大的情況 過擬合 是指模型的學習能力比較強，以至於，直接把題給背下來了，如果考到原題，就會實現相應的 100 如果 的不再訓練集中，那麼結果就是0.過擬合是偏差較小，但是方差較大 上面的較小與...