錯誤率：分類錯誤的樣本書佔樣本總數的比例
誤差：學習器的實際**輸出與樣本的真實輸出之間的差異
訓練誤差（經驗誤差）學習器在訓練集上的誤差
泛華誤差：在新樣本上的誤差
過擬合：學習器把訓練樣本學的「太好」了，很可能已經把訓練樣本本身的一些特點當作了所有潛在樣本都會具有的一般性質，導致泛華效能下降。
欠擬合：訓練樣本的一般性質尚未學好
測試集：測試學習器對新樣本的判別能力
測試集應該盡可能與訓練集互斥，即測試樣本盡量不在訓練集中出現，未在訓練過程中使用過
1、留出法
「留出法」直接將資料集d劃分為兩個互斥的集合，其中乙個集合作為訓練集s，另乙個作為測試集t，在s上訓練出模型後，用t來評估其測試誤差，作為對泛化誤差的估計。常見做法是將大約2/3~4/5的樣本用於訓練，剩餘樣用於測試。
單次使用留出法得到的估計結果往往不夠穩定可靠，一般要採用若干次隨機劃分、重複進行實驗評估後取平均值作為留出法的評估結果。
2、交叉驗證法
「交叉驗證法」將資料集劃分為k個大小相似的互斥子集，每個子集都盡可能保持數分布的一致性，每次用k-1個子集的並集作為訓練集，餘下的那個子集作為測試集；這樣就可獲得k組訓練/測試集，從而進行k次訓練和測試，最終返回的是這k個測試結果的均值。
假定資料集包含m個樣本，若k=m，則得到了交叉驗證法的乙個特例：留一法。每個子集包含乙個樣本，因此，留一法的評估結果往往被認為比較準確，缺陷是當資料集比較大時，訓練m個模型的計算開銷可能是難以忍受的。
3、自助法
我們希望評估的是資料集d訓練出來的模型，但是在留出法和交叉驗證中，由於保留了一部分樣本用於測試，因此實際評估的模型所使用的訓練集比d小，必然會引入因訓練樣本規模不同而導致的估計偏差。
自助法是：給定包含m個樣本的資料集d，對它取樣產生資料集d1，每次隨機從d中挑選乙個樣本，將其拷貝放入d1，然後再將該樣本放回初始資料集d中，使得該樣本在下次取樣時仍有可能被採到；這個過程重複執行m次後，就得到了包含m個樣本的資料集d1，這就是自助取樣的結果，顯然，d中有一部分樣本會在d1中多次出現，而另一部分樣本不出現，樣本在m次取樣中始終不被採到的概率是0.368，可將d1用作訓練集d\d1用作測試集。自助法產生的資料集改變了初始資料集的分布，會引入估計偏差
錯誤率：分類錯誤的樣本數佔樣本總數的比例
精度是分類正確的樣本數佔樣本總數的比例
tp（真正例） fn（假反例） fp（假正例） tn（真反例）
查準率：選出的正確正例有多少。p=tp/(tp+fp)
查全率 ：所有判斷正確的樣本中正例有多少。ｒ＝ｔｐ／（ｔｐ＋ｆｎ）
模型評估與模型選擇
模型選擇的目的是使學到的模型對已知資料和未知資料都有較好的 能力，同時又要避免過擬合。所考察的指標主要是模型的訓練誤差及測試誤差，模型的複雜度越高，訓練誤差越小，但測試誤差先減小後增大。訓練誤差和測試誤差隨模型複雜度變化趨勢 過擬合是指模型的複雜度比真模型更高，模型選擇就是選擇測試誤差最小的適當複雜...
模型評估與選擇
1.概念 錯誤率 錯誤分類的樣本數佔樣本總數的比例 精度 1 錯誤率，即正確分類的樣本數佔樣本總數的比例 經驗 訓練 誤差 學習器在訓練集上的誤差 泛化誤差 學習器在新樣本上的誤差 過擬合 學習器在訓練集上效果太好，而在新樣本上的效果較差的現象。模型選擇 不同學習演算法或者相同的學習演算法，當使用不...
模型評估與選擇
當我們有一堆模型，哪個是最好的呢？一 定義 錯誤率精度 是不是就是正確率？誤差訓練誤差 經驗誤差 泛化誤差 二 過擬合與欠擬合 過擬合 學到了過多東西，那些特徵並不是正確的。欠擬合 有些特徵沒有學到 過擬合 比較難解決 欠擬合 比較好解決，比如決策樹中擴充套件分支 神經網路中增加訓練輪數 怎樣評價乙...