我們希望找到在新樣本中表現好的學習器，為此，應該從訓練集中盡可能的學到適用與所有潛在樣本的「普遍規律」
過擬合是機器學習所面臨的關鍵障礙
對於機器模型的「模型選擇」，理想上是通過對候選模型的泛化誤差進行評估，然後選擇泛化誤差最小的模型 。
但由於我們無法直接獲得泛化誤差，可以通過測試集來測試學習器對新樣本判別能力，將測試集上的測試誤差（testing error）作為泛化誤差的近似。
我們只有乙個包含 m個樣例的資料集
既要訓練又要測試，通過對d進行適當的處理，產生訓練集s，測試集t 。處理方法：
直接將資料集d劃分為兩個互斥的集合訓練集s，測試集t 即
注意：單次使用留出法得到的估計結果不夠可靠，一般採用若干次隨機劃分，重複進行實驗評估後去平均值作為留出法的評估結果。 （2/3~4/5的樣本用於訓練，剩下的用於測試）
將資料集d劃分為k個大小相似的互斥子集，即
每乙個子集都盡可能的保證資料分布的一致性（從d中通過分層取樣得到）
然後每次使用k-1個子集的並集作為訓練集，餘下的乙個子集作為測試集，可獲得k組訓練集/測試集，
從而可進行k次訓練和測試 ，
最終返回k個測試結果的均值（k通常取10， 5， 20）
特例：留一法
d中包含m個樣本，令k=m，訓練集與初始資料集只相差乙個樣本，測試集只有乙個樣本
所以在絕大多數情況下，留一法中被實際評估的模型與期望評估用d訓練出來的模型很相似，所以留一法往往被認為比較準確的
缺陷：但資料集較大時，計算開銷十分龐大
問題提出：我們希望評估的是用d訓練出來的模型，但在留出法和交叉檢驗法中保留了一部分樣本用於測試，必然會引入一些因訓練樣本規模不同所導致的估計偏差，而留一法雖然受到樣本規模變化的影響不大，但其計算複雜度太高
為了減少訓練樣本規模不同所造成的影響，同時比較高效地實驗實驗估計
自助法：給定包含d個樣本的資料集d，對其進行資料取樣產生資料集d』：每次隨機從d中選出乙個樣本，將其拷貝到d』中此過程重複m次；樣本在m次取樣中不被抽中的概率是
取極限：
初始資料集d中約有1/3的樣本未出現在取樣資料集d』中，於是可將d』作為訓練集，d-d』作為測試集
注意：自助法在資料集較小、難以有效劃分訓練集和測試集時很有用；在初始資料量足夠時，留出法和交叉驗證法更常用一些
人工智慧學習之路
1人工智慧基礎 高等數學必須會 資料分析 概率倫 gai lv lun 線性代數及矩陣 凸優化 tu you hua 微積分 wei ji feng 古典模型 逼近輪 牛頓法 梯度下降 python 高階應用 容器 容器淺拷貝和深拷貝 高階函式 lambda表示式 約瑟夫環問題 模組和高階包 時間庫...
西瓜書 第二章模型評估與選擇
錯誤率 a 分類錯誤的樣本個數 m 樣本個數 精度 1 錯誤率 誤差 實際 輸出與樣本的真實輸出之間的差異 訓練誤差 經驗誤差 學習器在訓練集上的誤差 泛化誤差 學習器在新樣本上的誤差 注 我們希望得到泛化誤差小的學習器 過擬合 學習器的學習能力過於強大，把樣本中所包含的不太一般的特性學到了，導致的...
《機器學習》第二章 模型評估與選擇 筆記1
經驗誤差 empirical error 即訓練誤差 training error 訓練集樣本產生的誤差。泛化誤差 generalization error 測試集樣本產生的誤差。過擬合 overfitting 當學習器把訓練樣本學得 太好 的時候，很可能已經把訓練樣本本身的一些特點當作了所有潛在樣...