因為最近有需要，得跟別人講一些機器學習的基本概念，在此記錄下，一起學習。
泛化能力是什麼呢？有的資料給出的定義如下：
泛化能力（generalization ability）是指機器學習演算法對新鮮樣本的適應能力，簡而言之是在原有的資料集上新增新的資料集，通過訓練輸出乙個合理的結果。學習的目的是學到隱含在資料背後的規律，對具有同一規律的學習集以外的資料，經過訓練的網路也能給出合適的輸出，該能力稱為泛化能力。用比較直白的話來講，就是通過資料訓練學習的模型，拿到真實場景去試，這個模型到底行不行，如果達到了一定的要求和標準，它就是行，說明泛化能力好，如果表現很差，說明泛化能力就差。為了更好的理解泛化能力，這裡引入三種現象，欠擬合、過擬合以及不收斂。
欠擬合（under-fitting），是指模型擬合程度不高，資料距離擬合曲線較遠，或指模型沒有很好地捕捉到資料特徵，不能夠很好地擬合資料。即，在訓練資料集上表現差，在測試集資料也表現差。過擬合（over-fitting），是指模型在訓練集上表現很好，在測試集上效果差。
不收斂（non-convergence）,指誤差函式一直在振盪，不能趨近乙個定值，沒有找到區域性或者全域性最小值。
1.做了不少題，但沒有找到解題規律，不管碰到老題和新題都不會做，這種就是欠擬合。為了更直觀展示，引用了幾張圖來說明，如下圖所示，真實曲線是正弦曲線，藍色的點是訓練資料，紅色的線為擬合曲線。2.做了很多題，自認為做過的每一類題型的解題規律都掌握了，而且在之前「題海戰術」的題目中，確實表現的很好，但是一碰到新的題目，完全就不會，或者做錯，這種學生就是那種喜歡死記硬背的，這種就是過擬合。
3.平常也不做題，然後每次一做題就瞎矇，導致偶爾對，偶爾錯，這種就是不收斂。
泛化能力，過擬合，欠擬合，不收斂，奧卡姆剃刀理解
泛化能力 generalization ability 是指乙個機器學習演算法對於沒有見過的樣本的識別能力。我們也叫做舉一反三的能力，或者叫做學以致用的能力。過擬合 over fitting 其實就是所建的機器學習模型或者是深度學習模型在訓練樣本中表現得過於優越，導致在驗證資料集以及測試資料集中表現...
泛化 過擬合與欠擬合
在監督學習中，我們想要在訓練資料上構建模型，然後能夠對沒見過的新資料 這些新資料與訓練集具有相同的特性 做出準確 如果乙個模型能夠對沒見過的資料做出準確 我們就說它能夠從訓練集泛化 generalize 到測試集。我們想要構建乙個泛化精度盡可能高的模型。通常來說，我們構建模型，使其在訓練集上能夠做出...
過擬合 欠擬合 正則化
產生原因 緩解方法 合適的資料分布 合理的模型複雜性 合理的組合應該是 複雜的資料分布 簡單的模型 或者 簡單的資料分布 複雜的模型 神經網路中的過擬合 原理 或者說思考 從貝葉斯的角度來說，代價函式可以表示為p y w,x 的形式，而正則項則是對引數w做了乙個先驗分布的假設，使得代價函式變成p y...