模型評估方法

有些自己熱愛卻因為被迫無奈而放棄的東西，慢慢記錄吧。以後想起，我還會知道自己學過這些。

《機器學習》周志華著的這本書是乙個很好的學習資料，其實我更喜歡這本書的樣子，漂亮而且有種童話故事的感覺。

一：經驗誤差與過擬合

1.無論什麼時候，我們都希望得到乙個泛化誤差（在新樣本上的誤差）小的學習器。但有時候會出現將訓練資料訓練的太好，很可能已經把訓練樣本本身的一些特點當作了所有潛在樣本都會具有的一般性質。這就成為過擬合，與其相對的還有欠擬合。

2.導致過擬合最常見的情況是由於學習能力過強大。欠擬合則通常是由於學習能力低下而造成的。過擬合是無法徹底避免的。

3.欠擬合比較容易克服，在決策樹學習中擴充套件分支、在神經網路學習中增加訓練輪數。

二：評估方法

1.留出法:直接將資料d劃分為兩個互斥的集合，其中乙個作為訓練集s，另乙個作為測試集t，在s上訓練出模型後，用t來評估其測試誤差，作為對泛化誤差的估計。

（1）需要注意的是:訓練/測試集的劃分要盡可能保持資料分布的一致性，避免因資料劃分過程引入額外的偏差而對最終結果產生影響。如果從取樣的角度來看待資料集的劃分過程，則保留類別比例的取樣方式通常稱為「分層取樣」。

（2）另乙個需要注意的是，即便在給定訓練/測試集的樣本比例後，仍存在多種劃分方式對初始資料集d進行分割。單次使用留出法得到的估計結果往往不夠穩定可靠，在使用留出法的時，一般要採用若干次隨機劃分、重複進行實驗評估後取平均值作為留出法的評估結果。

（3）我們希望評估的是用d訓練出的模型的效能，但留出法需劃分訓練/測試集，就會導致乙個問題，如果訓練集包含絕大多數樣本，這樣訓練出來可能很接近d，但t比較少，這樣評估結果就可能不夠穩定準確；若t多一些，這樣s與d差別更大，這樣訓練出來的模型可能有更大差別，從而降低了評估結果的保真性。

（4）結局上一問題沒有完美的方案，常見做法是將大約2/3 - 3/4的樣本用來訓練，剩餘樣本用來測試。

2.交叉驗證法：先將資料集d劃分為k個大小相似的互斥之集，每個之集di都盡可能保持資料分布的一致性，即從d中通過分層取樣得到，然後每次用k-1個之集的並集作為訓練集，雨下的那個之集作為測試集，這樣會得到k組資料。

（1）交叉驗證法評估結果的穩定性和保真性在很大程度上取決於k的取值，通常稱為k折價差驗證，k常取10.

（2）若資料集d中有m個樣本，若k = m，則得到乙個特例：留一法。留一法不受隨機樣本劃分方式的影響。留一法的評估結果往往被認為比較準確，然而，也有缺陷：在資料集比較大時，訓練m個模型的計算開銷可能難以忍受。

3.自助法：它直接以自助取樣發法為基礎。給定m個樣本的資料集d，我們對它進行取樣產生資料集d`：每次隨機從d中挑選乙個樣本，拷貝放入d`，然後在將樣本放回初始資料集d中，使該樣本下次還可以被採集到，這個過程重複m次，我們就得到包含m個樣本的資料集d`，這就是自助取樣的結果。

（1）自助採集法在資料集較小、難以有效劃分訓練/測試集時很有用，但是，自助法產生的資料集改變了初始資料集的分布，這會引入估計偏差。