ISLR note Chapter5 重抽樣方法

將資料分為訓練集和驗證集。

①將乙個單獨的觀測(x1,y1)作為驗證集，剩下的觀測組成訓練集。然後在n-1個訓練觀測上擬合統計學習方法，再對餘下的觀測根據它的值x1來做yih。mse1 = (y1 - y1h)^2提供了對於測試誤差的乙個漸進無偏估計。

②重複這個步驟n次，把(xi, yi)選做驗證資料，計算msei = (yi - yih)^2 。

對測試均方誤差的loocv估計是這n個測試誤差估計的均值：

cv(n) = 1/n sigmamsei

有時也可用最小二乘法來擬合線性或者多項式回歸模型，公式為：

cv(n) = 1/n sigma[(yi - yi h)/(1 - hi)]^2

其中hi為槓桿值

留一交叉驗證法是一種十分常用的方法，可以在任何一種**模型的建模過程中使用。

將觀測集隨機地分為k個大小基本一致的組，或者折。第一折作為驗證集，然後在剩下的n-1折上擬合模型。均方誤差mse1由保留折的觀測計算得出。重複這個步驟k次，每一次把不同的觀測組作為驗證集，整個過程會得到k個測試誤差的估計，mse1,mse2,…,msek。k折cv估計由這些均值平均計算得到。

注意：

①一般令k=5或k=10。

②k折交叉驗證法的測試誤差的波動比loocv的波動要小得多。