錯誤率 = a(分類錯誤的樣本個數）/ m(樣本個數）
精度 = 1 - 錯誤率
誤差：實際**輸出與樣本的真實輸出之間的差異
訓練誤差（經驗誤差）：學習器在訓練集上的誤差
泛化誤差：學習器在新樣本上的誤差
注：我們希望得到泛化誤差小的學習器
過擬合：學習器的學習能力過於強大，把樣本中所包含的不太一般的特性學到了，導致的結果是訓練誤差很小但泛化誤差較大。
欠擬合：學習器的學習能力低下，沒有很好的學習樣本的特性（即包含的資料點太少）。
注：1.在選擇引數時，越簡單越好。
2.過擬合無法徹底避免
前提：通常我們需要通過實驗測試來對學習器的泛化誤差進行評估並進而做出選擇，為此我們需要乙個測試集來測試學習器對樣本的辨別能力，同時以測試誤差來近似表示泛化誤差
1.留出法：直接將資料集分成互斥的兩個集合，乙個作為訓練集乙個作為測試集。
注意：為了避免因資料劃分過程引入的額外偏差而對最終結果產生影響，我們需要保證資料分布的一致性。
一般採用若干次隨機劃分、重複進行試驗評估後取平均值作為留出法的評估結果。
存在問題：如果訓練集s包含大多數樣本，則訓練出的模型更接近用d訓練出的模型，而相應的評估結果就有可能降低準確性。因此我們常用將大約2/3~4/5的樣本用於訓練，剩餘的用於測試。
2.交叉驗證法：先將資料集劃分為k個大小相似的互斥子集，並盡可能保證資料分布的一致性。然後每次使用k-1個子集用於訓練，剩餘乙個用於測試，重複進行k次，最終返回k次的均值，也常將此方法成為「k折交叉驗證」。（k常取10）
弊端：受樣本劃分不同引入的誤差影響較大
解決：隨即使用不同的劃分重複p次，最終的評測結果是這p次k這交叉驗證的均值
特例：留一法----當k作為樣本個數時，稱為留一法，此法的評估結果大多數情況下是比較準確的，
但當資料集比較大時，計算開銷就無法接受了。
3.自助法：以自主取樣法為基礎，從m 個樣本的資料集d中隨機抽取m次，並重組成新的資料集d』，始終不被採集到的概率為0.368，也即我們有1/3的資料沒有出現的訓練集上，也成為外包估計。
利弊：在資料集較小、難以有效劃分訓練集/測試集的時候很有用；但自助法產生的資料集改變了初始資料集的分布，引入了偏差。
4.調參與最終模型
首先選擇合適的演算法，然後對演算法的引數按照一定規則進行調整。為了加以區分，我們將模型評估與選擇中用於評估測試的資料集常稱作：驗證集
對於回歸任務最常用的是均方誤差：
對於資料分布d和概率密度函式p（.） ，均方誤差可以描述為：
2.3.1 錯誤率和精度
錯誤率：分類錯誤的樣本數佔樣本總數的比例。
西瓜書筆記 模型評估與選擇
錯誤率 分類錯誤的樣本數佔樣本總數的比例 精度 1 錯誤率 訓練誤差 經驗誤差 學習器在訓練集上的誤差 泛化誤差 學習器訓練之後，在新樣本上的誤差 過擬合 學習器把訓練樣本學習的 過好 導致泛化能力下降。欠擬合 學習器尚未學好訓練樣本的一般性質。以下四種方法可以有效地從乙個資料集中分出訓練集 s 和...
機器學習（西瓜書）第二章
該筆記是在學習周志華老師 機器學習 這本書的過程中所做的筆記 part1經驗誤差與過擬合 精確度 1 錯誤率 泛化誤差 在新樣本上的誤差 過擬合 學習器把訓練樣本學得太好了，很可能已經把訓練樣本自身的一些特點當作了所有潛在樣本都具有的一般性質，這樣會導致泛化能力下降 產生過擬合的原因 學習能力太強了...
周志華西瓜書筆記 第二章
2.1 經驗誤差與過擬合 錯誤率 分類錯誤的樣本佔樣本總數的比例 精度 1 錯誤率 誤差 學習器的實際 輸出與樣本的真實輸出之間的差異 訓練誤差 學習器在訓練集上的誤差 泛化誤差 在新樣本上的誤差 過擬合 過度學習樣本非主要特徵導致學習器泛化能力下降 欠擬合 未完全學習樣本的特徵 過擬合難以避免，欠...