將資料集 d 劃分為 k 個大小相似的互斥子集，即 d = d1 u d2υ… u d k, di n dj = ø (í =/j ) . 每個子集 di 都盡可 能保持資料分布的一致性，即從 d 中 通過分層取樣得到. 然後，每次用k-1 個子集的並集作為訓練集?餘 f 的那個子集作為測試集;這樣就可獲得 k組訓練/測試集，從而可進行 k 次訓練和測試? 最終返回的是這 k 個測試結果的均值 。
一般來說，k取10,也叫作10折交叉驗證
與 留出法相似，將資料集 d 劃分 為 k 個子集同樣存在多種劃分方式.為減小 因樣本劃分不同而引入的差別 ， k 折交叉驗證通常要隨機使用不同的劃分重複 p 次，最終的評估結果是這 p 次 k 折交叉驗證結果的均值，例如常見的有"10 次 10 折交叉驗證【總計訓練了100次】
模型評估與選擇筆記（一）
1.過擬合 學習器學習能力很強，除了學習到訓練樣本具備的一般規律，還學習到訓練樣本自身的一些特性，並把這些特性當成是所有潛在樣本都具備的一般性質。即學習出來的規律太過於擬合到訓練集本身，導致其在新樣本上的泛化效能下降。2.評估學習器的泛化能力，可以用測試集的測試誤差來近似估計，誤差越小，泛化能力越強...
模型評估與模型選擇
模型選擇的目的是使學到的模型對已知資料和未知資料都有較好的 能力，同時又要避免過擬合。所考察的指標主要是模型的訓練誤差及測試誤差，模型的複雜度越高，訓練誤差越小，但測試誤差先減小後增大。訓練誤差和測試誤差隨模型複雜度變化趨勢 過擬合是指模型的複雜度比真模型更高，模型選擇就是選擇測試誤差最小的適當複雜...
模型評估與選擇
錯誤率 分類錯誤的樣本書佔樣本總數的比例 誤差 學習器的實際 輸出與樣本的真實輸出之間的差異 訓練誤差 經驗誤差 學習器在訓練集上的誤差 泛華誤差 在新樣本上的誤差 過擬合 學習器把訓練樣本學的 太好 了，很可能已經把訓練樣本本身的一些特點當作了所有潛在樣本都會具有的一般性質，導致泛華效能下降。欠擬...