機器學習複習2 模型評估與選擇Part1

mask

學習器在新樣本上的誤差稱為「泛化誤差」。

直接將資料集d劃分為兩個互斥的集合，乙個作為訓練集s，另乙個作為測試集t。

分層取樣：

保留類別比例的取樣方式通常稱為「分層取樣」。

單次使用留出法得到的估計結果往往不夠穩定可靠，在使用留出法時，一般採用若干次隨機劃分、重複進行實驗評估後取平均值作為留出法的評估結果。

我們希望評估的是用d訓練出的模型的效能，但留出法需劃分訓練/測試集，這會導致：若訓練集s包含絕大部分樣本，那麼訓練的模型更接近於用d訓練的模型，但是測試集t會比較小，評估結果可能不夠穩定準確；如果t多些樣本，又會導致s與d差別更大，訓練的模型可能與用d訓練的模型存在差別，降低了評估結果的保真性。但這個問題沒有完美的解決方案，常見做法是大約2/3~4/5的樣本用於訓練，其餘用於測試。

與留出法相似，將資料集d劃分為k個子集同樣存在多種劃分方式。為減小因樣本劃分不同而引入的差別，k折交叉驗證通常用隨機使用不同的劃分重複p次，最終的評估結果是這p次k折交叉驗證結果的均值，常見的是「10次10折交叉驗證」。

將交叉驗證中的k，設為樣本的數量，這樣劃分子集的方式就唯一且固定了。

這使得，大部分情況下，留一法中被實際評估的模型與期望評估的用d訓練出的模型很相似，評估結果往往被認為比較準確。但是資料量大時，訓練非常多模型的計算量是難以忍受的，其次nfl原理對於實驗評估方法留一法也是適用的，未必永遠比其他評估方法準確。

自助取樣=可重複取樣=有放回取樣。

自助法在資料集較小、難以有效劃分訓練/測試集時很有用；此外，自助法能從初始資料集中產生多個不同的訓練集，這對整合學習等方法有很大的好處。可以參考我之前寫的文章-整合學習。

但是自助法改變了初始資料集的分布，會引入估計偏差，所以初始資料量足夠時，留出法和交叉驗證法更為常用。

機器學習複習2 模型評估與選擇Part1

機器學習模型評估與選擇

機器學習模型評估與選擇

機器學習模型評估與選擇

機器學習複習2 模型評估與選擇Part1

機器學習 模型評估與選擇

機器學習 模型評估與選擇

機器學習 模型評估與選擇

相關推薦

機器學習模型評估與選擇

機器學習模型評估與選擇

機器學習模型評估與選擇