最近，重新再學習一下機器學習的理論內容，學習書籍為周志華《機器學習》，為了幫助自己記憶和理解，把一些東西歸納總結。
通常，我們可通過實驗測試來對學習器的泛化能力進行評估並進而做出選擇。為此，需使用乙個「測試集」（testing set）來測試學習器對新樣本的判別能力，然後以測試集上的「測試誤差」（testing error）作為泛化誤差的近似。
當存在乙個包含m個樣例的資料集
直接將資料集
單次使用留出法得到的估計結果往往不夠穩定可靠，在使用留出法時，一般要採用若干次隨機劃分、重複進行實驗評估後取平均值作為留出法的評估結果。
該方法先將資料集
與留出法相似，將資料集
該方法在資料集較小、難以有效劃分訓練/測試集時很有用；此外，自助法能從初始資料集中產生多個不同的訓練集，這對整合學習等方法很有好處。
缺點：自助法產生的資料集改變了初始資料集的分布，這會引入估計偏差。
訓練集 驗證集和測試集
訓練集 驗證集和測試集這三個名詞在機器學習領域極其常見，但很多人並不是特別清楚，尤其是後兩個經常被人混用。在有監督 supervise 的機器學習中，資料集常被分成2 3個，即 訓練集 train set 驗證集 validation set 測試集 test set ripley,b.d 1996...
訓練集 驗證集和測試集
驗證集既不能通過直接將泛化誤差作為了解模型泛化能力的訊號，因為在部署環境和訓練模型之間往復，代價很高，也不能使用模型對訓練資料集的擬合程度來作為了解模型泛化能力的訊號，因為我們獲得的資料往往不乾淨。更好的方式就是將資料分割成兩部分 訓練集和測試集。我們可以使用訓練集的資料來訓練模型，然後用測試集上的...
訓練集和測試集的區別
一般來說，訓練集用來估計模型中的引數，使模型能夠反映現實，進而 未來或其他未知的資訊，而測試集用來評估模型的 效能。例如 已知1000個小朋友的體重和身高資料，想建立體重與身高的線性回歸模型。我們可以用900個小朋友的身高和體重資料 訓練集 來擬合模型中的引數，進而 另外100個小朋友的體重 已知身...