對於上述的留出法和交叉驗證法，我們留取精華，去其糟粕。
如現在有一群水果，現在選我們的訓練集，隨機從水果中去抽取我們的品種。
抽取乙個後，就把它的複製體放到d內，再將該樣品放回水果內。
這樣反覆抽取m次後，我們就獲取了資料體d，d包含m次的資料集，訓練集經概率運算後
可得到不被提取到的概率為0.368（用概率論處理再取極限可得），那採到的訓練集d概率為0.632.
取樣得到訓練集概率滿足於2/3~4/5之間。
這種方法適用於資料集較小和難於有限劃分訓練、測試集時很有用，用結果來驗證我們的過程。
但是想做到精確，需要一些時間多嘗試幾遍。
在初始資料量足夠時，留出法和交叉驗證法更常用一些。
對於模型的選擇是重要的，模型中分類的標準是重要的，
乙個好的分類依據具體執行時一定要注意具體引數的選擇，和多多嘗試
可用二份法來驗證上下限。
機器學習方法 機器學習模型評估方法
通常我們採用實驗測試的方法對模型的泛化誤差做出評估。為此我們就需要乙個測試集用來測試訓練好的模型。通常情況下，在我們拿到資料之後，在正式開始訓練模型前，就會將資料劃分為訓練集合測試集。需要注意的是 訓練集與測試集應盡可能互斥，也就是盡量不要重複。測試集要符合真實樣本的分布，也就是說在劃分時要隨機抽樣...
機器學習模型評估方法
分類模型評價度量 概率輸出型 這個有邏輯回歸 隨機森林 梯度提公升 adaboost等演算法，都是以概率作為輸出的。要想把概率型輸出變為分型別輸出，只要為其設立乙個閾值即可。positive predictive value 陽性 值 or precision 精度 陽性 值被 正確的比例。nega...
2 如何選擇模型？ 機器學習
由模型可以得到 值，而 值和真實值之間是存在差異的。接下來，我們需要回答以下問題 當可用的模型有多個時，應該選哪乙個？這稱之為模型選擇 model selection 問題。答案是，當然選擇 最優秀的那個模型。那問題來了，模型的優秀程度具體指什麼？優秀程度指的是模型對資料集的 準確程度，亦稱為 泛化...