機器學習筆記 2 模型評估與選擇之評估方法

理想：通過評估學習器的泛化誤差，選出泛化誤差最小的模型。

實際：泛化誤差只能通過測試求得的測試誤差來近似。

從總樣本集 d 中產生訓練集 s 和測試集 t，往往有以下三種常見方法：留出法、交叉驗證法、自助法。

1. 留出法

【留出法】直接將資料集 d 劃分為兩個互斥的集合，即 d =s

比如上圖，紅色部分為訓練集，綠色部分為測試集，兩部分互斥。

注意

1. 訓練 / 測試集的劃分要盡可能保持資料分布的一致性。比如分層取樣，保持樣本類別的比例相似。

2. 單次使用留出法得到的估計結果往往不夠穩定可靠。一般要採用若干次隨機劃分、重複進行實驗評估後取平均值作為留出法的評估結果。

例如測試集分別取此圖中三組同心圓中綠色的部分，得出的結果再取平均值，就是留出法的評估結果。

2. 交叉驗證法

【交叉驗證法】先將資料集 d 劃分為 k 個大小相似的互斥子集，即 d=

然後，每次用 k-1個子集的並集作為訓練集，餘下的那個子集作為測試集。從而進行 k 次訓練與測試，最終返回的是這 k 個測試結果的均值。

與留出法相似，將資料集劃分為 k 個子集同樣存在多種劃分方式。交叉驗證法也需要進行多次試驗，用不同的劃分方法重複p次（但每次還是劃分為k組），再取均值。最終的評估結果是這 p 次 k 折交叉驗證結果的均值。

總結：交叉驗證法得到的結果是均值的均值，即p個「k個結果的均值」的均值，因此交叉驗證法又可以叫做p次k折交叉驗證。

交叉驗證法的特點：1.每個子集都會做測試集、2、每個子集分層取樣、3.單次k折，切換測試集試驗取均值、4.k折劃分p次，重複試驗再取均值

優點：準確；缺點：開銷大

3. 自助法

對有 m 個樣本的資料集 d，按如下方式取樣產生資料集 d'：每次隨機從 d 中挑選乙個樣本，將其拷貝放入 d'，然後再將該樣本放回初始資料集 d 中，這個過程重複執行 m 次後，得到了包含m個樣本的資料集d'。

由此可知 d 中約有 36.8%的樣本未出現在 d' 中。因此可將 d'作為訓練集，d \ d'作為測試集。

（疑惑：實際評估的模型與期望評估的模型都是用了m個訓練集，但是這m個訓練集不是有重複嗎，重複訓練有意思？）

優點：訓練集與資料集規模一致；資料集小、難以有效劃分訓練集和測試集時效果顯著；能產生多個不同的訓練集；

缺點：改變了訓練集的樣本分佈，引入估計偏差。