1.過擬合：學習器學習能力很強，除了學習到訓練樣本具備的一般規律，還學習到訓練樣本自身的一些特性，並把這些特性當成是所有潛在樣本都具備的一般性質。即學習出來的規律太過於擬合到訓練集本身，導致其在新樣本上的泛化效能下降。
2.評估學習器的泛化能力，可以用測試集的測試誤差來近似估計，誤差越小，泛化能力越強。
把資料集d劃分成訓練集s和測試集t，其中測試集中樣本盡量不要在訓練集**現或者使用。
方法一：留出法
做法：直接將資料集d劃分為兩個互斥的集合
注意的點：
（1）為了避免引入額外偏差，在資料劃分的時候盡量不要改變原始資料d的分布特性。
比如在乙個分類任務中，至少要保留訓練集和測資料集類別比例的一致性。若d包含500個正例和500個反例，我們在這1000個樣本中按照7：3的比例來劃分為兩個集合，集合的樣本數分別為700和300。那劃分出來的s應包含350個正例，350個反例，對應的，t中應包含150個正例和150個反例。在這個例子中，原始資料d，測試集t和訓練集s中正例反例的比例都是1：1。
（2）給定訓練集和測試集的劃分比例之後，對d的分割方式多種多樣，導致模型評估結果的多樣化。
一般要採用若干次隨機劃分，重複進行實驗評估後取平均值作為留出法的評估結果，以此作為學習器泛化能力的診斷的依據。
(3)劃分比例的選擇對評估結果有很大的影響。一般選擇將2/3~4/5的樣本用於訓練，剩餘樣本作測試。
方法二：交叉驗證法
做法：（1）將資料集d分成k個大小相似的互斥子集（每個子集盡可能保持資料的原始分布）；
（2）每次將k-1個子集作為測試集，還有乙個集合作為測試集；
（3）從而可以進行k次訓練和測試，最終返回這k次測試結果的平均值（k折交叉驗證法）。
注意的點：
（1）由於子集劃分的方式多樣，所以通常需要重複上述做法p次（每次使用不同的劃分方式將d分為k個子集），最終的評估結果是這p次k折交叉驗證結果的均值
（2）若樣本中有m個樣本，當k=m時為留一法。
方法三：自助法
自助法可以使訓練集大小和原資料集的大小一致。
給定包含m個樣本的資料集d，我們從中取樣訓練集d1，
做法：（1）每次隨機且「有放回」地從d中挑選出乙個樣本，拷貝到d1中（該樣本下次可能還被採集到）；
（2）重複m次，得到包含m個樣本的測試集；
（3）根據概率極限推算出d中約有36.8%的樣本未出現在d1中，可以用來做測試集。
【用沒在測試集**現的樣本做測試，得到的結果也稱「包外估計」】
使用場景：資料集較小，難以劃分訓練集和測試集時。
注意：自助法改變了原始資料的分布，會引入估計偏差，所以在資料量足夠時，更常用留出法和交叉驗證法。
筆記 1 模型評估與選擇
將資料集 d 劃分為 k 個大小相似的互斥子集，即 d d1 u d2 u d k,di n dj j 每個子集 di 都盡可 能保持資料分布的一致性，即從 d 中 通過分層取樣得到.然後，每次用k 1 個子集的並集作為訓練集?餘 f 的那個子集作為測試集 這樣就可獲得 k組訓練 測試集，從而可進行...
模型評估與模型選擇
模型選擇的目的是使學到的模型對已知資料和未知資料都有較好的 能力，同時又要避免過擬合。所考察的指標主要是模型的訓練誤差及測試誤差，模型的複雜度越高，訓練誤差越小，但測試誤差先減小後增大。訓練誤差和測試誤差隨模型複雜度變化趨勢 過擬合是指模型的複雜度比真模型更高，模型選擇就是選擇測試誤差最小的適當複雜...
模型評估與選擇
錯誤率 分類錯誤的樣本書佔樣本總數的比例 誤差 學習器的實際 輸出與樣本的真實輸出之間的差異 訓練誤差 經驗誤差 學習器在訓練集上的誤差 泛華誤差 在新樣本上的誤差 過擬合 學習器把訓練樣本學的 太好 了，很可能已經把訓練樣本本身的一些特點當作了所有潛在樣本都會具有的一般性質，導致泛華效能下降。欠擬...