錯誤率：分類錯誤的樣本數佔樣本總數的比例；精度=1-錯誤率
訓練誤差（經驗誤差）：學習器在訓練集上的誤差；泛化誤差：學習器訓練之後，在新樣本上的誤差
過擬合：學習器把訓練樣本學習的「過好」，導致泛化能力下降。欠擬合：學習器尚未學好訓練樣本的一般性質。
以下四種方法可以有效地從乙個資料集中分出訓練集（s）和測試集（t）。注意：①訓練集應該盡可能與測試集互斥②訓練集和測試集的劃分應盡可能保持原資料分布的一致性。
1.留出法：一般採用若干次隨機劃分、重複進行實驗評估後取平均值作為評估結果。
2.交叉驗證法：將資料集劃分為k個大小相似的互斥子集，每個子集都盡可能保持資料分布一致性，即從原資料集上分層取樣得到。每次用k-1個子集的並集作為訓練集，餘下的子集作為測試集。從而進行k次訓練和測試，最終返回k個測試結果均值。
3.自助法：給定m個樣本的資料集d，從中可重複性取樣生成新的資料集d『，d』作為訓練集，d\d'作為測試集（優點：在資料集較小，難以劃分訓練集/測試集時有用；缺點：改變原始資料分布，會引入偏差）
1.錯誤率：分類錯誤樣本數佔樣本總數的比例；精度：分類正確樣本數佔樣本總數比例。
2.查準率p：「檢索的資訊中有多少比例是使用者感興趣的」；查全率r：「使用者感興趣的資訊有多少被檢索出來」
這兩個量一般是一對矛盾的度量。f1度量：f1=2*p*r/(p+r)
3.roc和auc
如何計算請見
4.代價敏感錯誤率：主要是為權衡不同型別錯誤所造成的不同損失
1.假設檢驗
假設檢驗是用來判斷樣本與樣本，樣本與總體的差異是由抽樣誤差引起還是本質差別造成的統計推斷方法。其基本原理是先對總體的特徵作出某種假設，然後通過抽樣研究的統計推理，對此假設應該被拒絕還是接受作出推斷。
2.交叉驗證t檢驗
3.mcnemar檢驗
4.friedman檢驗和nemenyi後續檢驗
偏差度量了學習演算法的期望**與真實結果的偏離程度，即刻畫學習演算法本身擬合能力。
方差度量了同樣大小的訓練集變動所導致的學習效能變化，即刻畫資料擾動造成的影響。
雜訊表達在當前任務上任何學習演算法能達到期望泛化誤差的下界，即刻畫學習問題本身難度。
泛化誤差可分解為偏差、方差和雜訊之和。
西瓜書讀書筆記之模型評估與選擇（三）
希望比較的是泛化技能，實驗評估方法得到的是測試集上的效能 測試集上的效能與測試集本身的選擇有很大關係。大小 包含測試樣例的不同，都會影響測試結果。很多學習演算法有一定隨機性 給測試效能賦值 假定我們用dl d2 d3 和d4 四個資料集對演算法a b c 進行比較.首先，使用留出法或交叉驗證法得到每...
西瓜書 第二章模型評估與選擇
錯誤率 a 分類錯誤的樣本個數 m 樣本個數 精度 1 錯誤率 誤差 實際 輸出與樣本的真實輸出之間的差異 訓練誤差 經驗誤差 學習器在訓練集上的誤差 泛化誤差 學習器在新樣本上的誤差 注 我們希望得到泛化誤差小的學習器 過擬合 學習器的學習能力過於強大，把樣本中所包含的不太一般的特性學到了，導致的...
啃西瓜 二 模型評估和選擇
邏輯如下 泛化誤差能夠衡量乙個模型的效能好壞 泛化能力。但是，泛化誤差不能直接獲得。模型的評估方法 怎麼辦？採用測試集。使用測試誤差近似泛化誤差。要求測試集盡可能於訓練集互斥。接下來就是，如何將資料集劃分為訓練集和測試集。測試集 用於近似評估模型的泛化能力。驗證集 模型選擇和調參。既然有測試集去近似...