k折交叉驗證：將資料分成k部分，每部分叫做折。在訓練時，乙個折作為測試集，其餘折作為訓練集。
優點
缺點
劃分資料，使得每個折中類別之間的比例與整個資料集中的比例相同
分層k折交叉驗證比k折交叉驗證有更好的泛化效能
每個折只包含單個樣本的k折交叉驗證，單個資料點作為測試集
訓練集取train_size個點，測試集取test_size個點，重複n_iter次。
適用於資料中的分組高度相關
嘗試引數的所有可能組合
對引數使用for迴圈，儲存得分最高的引數組合
任何根據測試集精度所做的選擇都會將測試集的資訊「洩露」到模型中。因此保留乙個單獨的測試集是很重要的，它僅用於最終評估。
**巢狀交叉驗證 **不是只將原始資料一次劃分為測試集和訓練集，而是使用交叉驗證進行多次劃分
外層迴圈遍歷將資料劃分為訓練集和測試集的所有劃分。對於每種劃分都執行一次網格搜尋。然後，對於每種外層劃分，利用最佳引數設定計算得到測試集分數。
主要用於評估模型在特定資料集上的效果
樸素的指標：
正類和反類，其中正類是要尋找的類
假正例和假反例（統計學中的第一類錯誤和第二類錯誤）
不平衡資料集精度不再是乙個很好地度量
混淆矩陣
ll改變模型中用於做出分類決策的閾值，是一種調節給定分類器的準確率和召回率之間折中的方法
多分類的精度：正確分類的樣本所佔的比例
通常，多分類結果比二分類結果更加難以理解
對於不平衡資料集，常用多分類版本的f-分數
每個樣本同等看待適用於微平均，每個類別同等看待適用於巨集平均
r2是評估模型的直觀指標
模型評估與模型選擇
模型選擇的目的是使學到的模型對已知資料和未知資料都有較好的 能力，同時又要避免過擬合。所考察的指標主要是模型的訓練誤差及測試誤差，模型的複雜度越高，訓練誤差越小，但測試誤差先減小後增大。訓練誤差和測試誤差隨模型複雜度變化趨勢 過擬合是指模型的複雜度比真模型更高，模型選擇就是選擇測試誤差最小的適當複雜...
模型評估與選擇
錯誤率 分類錯誤的樣本書佔樣本總數的比例 誤差 學習器的實際 輸出與樣本的真實輸出之間的差異 訓練誤差 經驗誤差 學習器在訓練集上的誤差 泛華誤差 在新樣本上的誤差 過擬合 學習器把訓練樣本學的 太好 了，很可能已經把訓練樣本本身的一些特點當作了所有潛在樣本都會具有的一般性質，導致泛華效能下降。欠擬...
模型評估與選擇
1.概念 錯誤率 錯誤分類的樣本數佔樣本總數的比例 精度 1 錯誤率，即正確分類的樣本數佔樣本總數的比例 經驗 訓練 誤差 學習器在訓練集上的誤差 泛化誤差 學習器在新樣本上的誤差 過擬合 學習器在訓練集上效果太好，而在新樣本上的效果較差的現象。模型選擇 不同學習演算法或者相同的學習演算法，當使用不...