1.概念
錯誤率：錯誤分類的樣本數佔樣本總數的比例
精度：1-錯誤率，即正確分類的樣本數佔樣本總數的比例
經驗（訓練）誤差：學習器在訓練集上的誤差
泛化誤差：學習器在新樣本上的誤差
過擬合：學習器在訓練集上效果太好，而在新樣本上的效果較差的現象。
模型選擇：不同學習演算法或者相同的學習演算法，當使用不同的引數配置時，會導致不同的模型。模型選擇是針對引數配置的選擇。一般選擇泛化誤差最小的模型。
2.評估模型泛化誤差的方法
留出法：將資料集分為兩個相斥集合，乙個作為訓練集，乙個作為測試集，用測試集來評估其測試誤差，作為對模型泛化誤差的估計。需要注意的是：資料集劃分時注意保持資料分布的一致性。
（k折）交叉驗證法：將資料集分為k個大小相似的資料集合，每個資料集盡可能的保持資料分布的一致性。取k-1個集合資料作為訓練集，剩下的作為測試集。分別進行k組訓練和測試，返回k個測試結果的均值。
3.評價標準
錯誤率與精度、查準率（precision）、查全率（recall），f1度量，roc與auc曲線
以西瓜判別為例：其真實的類別與學習器**的類別組合可分為以下四種
真實情況
**結果
正例反例
正例tp（真正例）
fn(假反例)
反例tn(假正例)
tn(真反例)
查準率指p定義為
f1度量是根據查準率和查全率的調和平均值定義的：
roc與p-r圖相似，不同是roc的縱軸是「真正例率」（tpr），橫軸是「假正例率」（fpr），兩者定義為：
4.偏差與方差
泛化誤差=偏差+方差+雜訊之和
模型評估與模型選擇
模型選擇的目的是使學到的模型對已知資料和未知資料都有較好的 能力，同時又要避免過擬合。所考察的指標主要是模型的訓練誤差及測試誤差，模型的複雜度越高，訓練誤差越小，但測試誤差先減小後增大。訓練誤差和測試誤差隨模型複雜度變化趨勢 過擬合是指模型的複雜度比真模型更高，模型選擇就是選擇測試誤差最小的適當複雜...
模型評估與選擇
錯誤率 分類錯誤的樣本書佔樣本總數的比例 誤差 學習器的實際 輸出與樣本的真實輸出之間的差異 訓練誤差 經驗誤差 學習器在訓練集上的誤差 泛華誤差 在新樣本上的誤差 過擬合 學習器把訓練樣本學的 太好 了，很可能已經把訓練樣本本身的一些特點當作了所有潛在樣本都會具有的一般性質，導致泛華效能下降。欠擬...
模型評估與選擇
當我們有一堆模型，哪個是最好的呢？一 定義 錯誤率精度 是不是就是正確率？誤差訓練誤差 經驗誤差 泛化誤差 二 過擬合與欠擬合 過擬合 學到了過多東西，那些特徵並不是正確的。欠擬合 有些特徵沒有學到 過擬合 比較難解決 欠擬合 比較好解決，比如決策樹中擴充套件分支 神經網路中增加訓練輪數 怎樣評價乙...