注意事項
1.訓練、驗證、測試集必須分布相同，比如收集如下幾個區域的使用者資料，在分割訓練、驗證、測試集的時候不能將us
、uk用於訓練，india
驗證，china
測試，這樣的話由於各個地區分布不同，產生的結果也不好。更明智的做法是每個地區的資料單獨分割訓練、驗證、測試集，保證資料同一分布。
2.驗證集和測試集的大小：在資料量較少的時候，採用7:3
或者是6:2:2
的資料集分割方法。但是在大資料條件下，比如100
萬個資料，那麼將其中1%
設定為驗證集或者測試集，也就是10000
個資料，資料量就已經足夠。
3.什麼時候改變驗證集、測試集和效能度量指標？
1)實際應用的資料分布與驗證/測試集分布不同
假設初始驗證/
中，發現使用者上傳更多的是小貓的影象。因此，驗證/
測試集分布並不能代表實際應用的資料分布。在這種情況下，需要驗證/
測試集以使其更具有代表性。2
)驗證集過擬合
因為在訓練過程中需要在驗證集上重複評估，如果發現驗證集效能遠遠優於測試集效能，則表明已經過擬合到驗證集了，這時就需要獲得乙個新的驗證集合。所以不要用測試集做關於演算法的任何決定，包括是否回滾到前一周的系統。如果這樣做，將會過擬合到測試集，測試集也就不能用來對系統效能進行完全無偏的估計。3
)度量標準衡量的東西不是專案需要優化的
假設在貓應用程式中，度量標準是分類準確率。根據該度量標準，分類器a
效能優於分類器b
。但是測試兩種演算法的過程中，發現分類器a
偶爾會將小黃圖誤分為貓影象。即使分類器a
更準確，偶爾錯分小黃圖會留下比較糟的印象，這意味著分類器a
的效能是不可接受的。這時需要改變評估標準。例如，可以對誤分色情加重懲罰。
訓練、驗證、測試集分割**實現
訓練、測試集的劃分：
from sklearn.model_selection import stratifiedshufflesplitimport numpy as npx = np.array([[1, 2], [3, 4], [1, 2], [3, 4], [1, 2],[3, 4], [1, 2], [3, 4]]) #訓練資料集8*2y = np.array([0, 0, 1, 1,0,0,1,1]) #類別資料集8*1ss=stratifiedshufflesplit(n_splits=5,test_size=0.3,train_size=0.7,random_state=0) #分成5組，測試比例為0.3，訓練比例是0.7for train_index, test_index in ss.split(x, y): print("train:", train_index, "test:", test_index) #獲得索引值 x_train, x_test = x[train_index], x[test_index] y_train, y_test = y[train_index], y[test_index]深度學習課程 --吳恩達
訓練集 驗證集 測試集
訓練集loss 驗證集loss 測試集loss 乙個好的網路，二者的差距應該是很低的。但一般情況下因為網路不可避免地存在一定程度上的過擬合，所以肯定是train loss低於test lost，但如果低太多，就得考慮是過擬合的問題還是因為樣本的特徵空間不統一的問題。驗證集基本是在每個epoch完成後...
訓練集，驗證集，測試集
普通引數就是可以被梯度下降所更新的，也就是訓練集所更新的引數。超引數是指訓練開始之前設定的引數，不在梯度下降的更新範圍內，比如網路層數 網路節點數 迭代次數 學習率等等 1.訓練集 確定模型後，用於訓練普通引數 2.驗證集 交叉驗證集cv 驗證集在每個epoch訓練完成後，用來測試一下當前模型的準確...
訓練集 測試集 驗證集
訓練集 用來訓練和擬合模型。驗證集 當通過訓練集訓練出多個模型後，使用驗證集資料糾偏或比較 測試集 模型泛化能力的考量。泛化 對未知資料的 能力 from sklearn.model selection import train test split import numpy as np from ...