一、留出法：將全量資料集劃分成互不相交的兩部分，其中資料量較大的一部分（一般佔總資料量的2/3到4/5）作為訓練集，另一部分作為測試集。在劃分資料時，應保持資料分布在訓練集合測試集中的一致性（可使用分層抽樣等方法）；同時，考慮到劃分隨機性的影響，應該多次重複劃分。
二、交叉驗證法（k折為例）：將全量資料集劃分為互不相交且資料量相等的k份，進行k次模型評估。第i次（i=1,2,...,k）取第i份資料作為測試集，其餘資料作為訓練集。將k次模型評估的結果取平均，作為最終的模型評估結果。k與資料量相等時的k折交叉驗證稱為留一法。
三、bootstrap自助法：對原始的全量資料集（樣本量為m）用有放回重複抽樣的方法抽採樣本量為m的新樣本。當m很大時，原始資料集中某個樣本在m次抽取中均不被抽中的概率（也即某資料不進入新樣本的概率）約為0.368，因此原始資料集中大約有36.8%的資料不在新樣本中。以新樣本為訓練集，以那剩餘約36.8%的資料為測試集。
三者比較：
1、在原始資料量較小時自助法更有優勢，但由於自助法改變了資料的分布，可能導致估計偏差。因此當資料量較大時一般更傾向於使用留出法和交叉驗證法。
2、隨著留出法中重複劃分的次數增多/分層抽樣複雜性、交叉驗證法中k的增大/甚至留一法，模型評估的工作量可能會非常大，高精度是以計算量為代價的。
3、實際中應根據資料量、裝置、預算等綜合考慮，選擇合適的模型評估方法。
機器學習中常見的評估方法
通常，我們可通過實驗測試來對學習器的泛化誤差進行評估並進而做出選擇。因此，需使用 測試集 來測試學習器對新樣本的判別能力，然後以測試集上的 測試誤差 作為泛化誤差的近似。將樣本集變成訓練集和測試集，而訓練集和測試集如何分配，使效果達到最優。具體有三種做法 留出法 較差驗證法和自主法。直接將資料集d劃...
機器學習評估方法
訓練 測試集的劃分要盡可能保持資料分布的一致性，避免因資料劃分過程引入額外的偏差而對最終結果產生影響，例如 在分類任務中，至少要保持樣本的類別比例類似。如果從取樣的角度來看待資料集的劃分過程，則保留類別比例的取樣方式稱為 分層取樣 單詞使用留出法得到的估計結果往往不夠穩定可靠，在使用留出法，一般要採...
機器學習模型評估方法
分類模型評價度量 概率輸出型 這個有邏輯回歸 隨機森林 梯度提公升 adaboost等演算法，都是以概率作為輸出的。要想把概率型輸出變為分型別輸出，只要為其設立乙個閾值即可。positive predictive value 陽性 值 or precision 精度 陽性 值被 正確的比例。nega...