誤差：學習器的實際**輸出與樣本的真實輸出之間的差異
經驗誤差：學習器在訓練集上的誤差
泛化誤差：在新樣本上的誤差
過擬合：指學習時選擇的模型所包含的引數過多，以至於出現這一模型對已知資料**得很好，但對未知資料**得很差的現象
欠擬合：指對訓練樣本的一般性質尚未學好
定義：將資料集 d 劃分為兩個互斥的集合，其中乙個集合作為訓練集 s，另乙個作為測試集 t，即
不同的劃分將導致不同的訓練/測試集，相應的，模型的評估結果也會有差別。因此，單次使用留出法得到的估計結果往往不夠穩定可靠，在使用留出法時，一般要採用若干次隨機劃分、重複進行試驗評估後取平均值作為留出法的評估結果。
先將資料集 d 劃分成 k 個大小相似的互斥子集，即k 折交叉驗證， k 的取值影響著交叉驗證評估結果的穩定性和保真性。將資料集 d 劃分為 k 個子集存在多種劃分方式，為減少因樣本劃分不同而引入的差別，k 折交叉驗證通常要隨機使用不同的劃分重複 p 次，最終的評估結果為這p 次 k 折交叉驗證結果的均值。
定義：給定包含 m 個樣本的資料集 d，我們對它進行取樣產生資料集
定義：錯誤率是分類錯誤的樣本數佔樣本總數的比例，精度是分類正確的樣本數佔樣本總數的比例
對於二分類問題，可將樣例根據其真實類別與學習器**類別的組合劃分為真正例、假正例、真反例、假反例四種情形，令tp、fp、tn、fn分別表示其對應的樣例數，則顯然有 tp + fp + tn + fn = 樣例總數。分類結果的混淆矩陣如表所示：
查準率 p 、查全率 r 與 f1 分別定義為：
roc 全稱是「受試者工作特徵」曲線，roc 曲線的縱軸是「真正例率」(tpr)，橫軸是「假正例率」(fpr)。tpr 和 fpr 公式如下:
進行學習器的比較時，若乙個學習器的 roc 曲線被另乙個學習器的曲線完全「包住」，則可斷言後者效能優於前者；若兩個學習器的 roc 曲線發生交叉，則難以一般性地斷言兩者孰優孰劣。此時如果一定要進行比較，則較為合理的判據是比較 roc 曲線下的面積，即 auc。
對測試樣本 x，令
使用樣本數相同的不同訓練集產生的方差為：
雜訊為：
期望輸出與真實標記的差別為偏差，即：
期望泛化誤差
也就是說，泛化誤差可分解為偏差、方差與雜訊之和
偏差度量了學習演算法的期望**與真實結果的偏離程度，即刻畫了學習演算法本身的擬合能力；方差度量了同樣大小的訓練集的變動所導致的學習效能的變化，即刻畫了資料擾動所造成的影響；雜訊表達了在當前任務上任何學習演算法所能達到的期望泛化誤差的下界，即刻畫了學習問題本身的難度
一般來說，偏差與方差是有衝突的，這稱為偏差-方差窘境。
模型評估與模型選擇
模型選擇的目的是使學到的模型對已知資料和未知資料都有較好的 能力，同時又要避免過擬合。所考察的指標主要是模型的訓練誤差及測試誤差，模型的複雜度越高，訓練誤差越小，但測試誤差先減小後增大。訓練誤差和測試誤差隨模型複雜度變化趨勢 過擬合是指模型的複雜度比真模型更高，模型選擇就是選擇測試誤差最小的適當複雜...
模型評估與選擇
錯誤率 分類錯誤的樣本書佔樣本總數的比例 誤差 學習器的實際 輸出與樣本的真實輸出之間的差異 訓練誤差 經驗誤差 學習器在訓練集上的誤差 泛華誤差 在新樣本上的誤差 過擬合 學習器把訓練樣本學的 太好 了，很可能已經把訓練樣本本身的一些特點當作了所有潛在樣本都會具有的一般性質，導致泛華效能下降。欠擬...
模型評估與選擇
1.概念 錯誤率 錯誤分類的樣本數佔樣本總數的比例 精度 1 錯誤率，即正確分類的樣本數佔樣本總數的比例 經驗 訓練 誤差 學習器在訓練集上的誤差 泛化誤差 學習器在新樣本上的誤差 過擬合 學習器在訓練集上效果太好，而在新樣本上的效果較差的現象。模型選擇 不同學習演算法或者相同的學習演算法，當使用不...