1.訓練集 用來除錯神經網路；
2.驗證集 用來檢視訓練效果；
檢視模型訓練的效果，是否朝著壞的方向進行，及時停止訓練
用在訓練的過程中，幾個epoch結束後就要跑一次驗證集看看效果，及時發現模型或者引數的問題。如果模型設計不合理，訓練的時候不容易發現，但是在驗證集中可能會發散、map不增長或者增長很慢啦等等情況，這時可以及時終止訓練，重新調參或者調整模型，而不需要等到訓練結束，大大節省時間。另外乙個好處是驗證模型的泛化能力，如果在驗證集上的效果比訓練集上差很多，就該考慮模型是否過擬合了。同時，還可以通過驗證集對比不同的模型。
3.測試集 用來測試網路的實際學習能力；
而我們在做人臉拉框或者其他的標註的時候，這些產生的資料，都會被用來做資料集來用，蜻蜓人臉識別系統，就是以此來進行除錯，訓練，以及驗證的，使其在對你人臉識別的時候，知道你就是你，而不是別人。
當然標註只是其中一塊，視屏標註的話，其實都差不多，都是靠一幀一幀的進行標註、
像語音標註的原理都差不多，不過涉及的方面也就更廣一點，回頭專門開個帖子來聊下。
以上由可思資料標註平台整理。
在SeaShips資料集上訓練並測試Yolov3
本文主要記錄我在seaships資料集上訓練yolov3網路進行船隻檢測的簡單過程 對資料集的預處理 修改cfg檔案 修改data資料夾 seaships資料集共有四個資料夾，其中annotations資料夾內是每張的標籤，每個對應乙個xml檔案來儲存標籤，所以要將xml檔案中的內容轉為txt檔案，...
在colab上使用自己的資料集
1 colab 可以非常方便地將ipynb儲存到github上！有趣。2 colab 從github上載入資料集，666，簡直不能更方便啊。使用 git clone 即可將github上的檔案轉殖到colab的當前目錄下，然後就可以愉快地使用自己的資料集了。ls r檢視當前目錄下的檔案及所有的子目錄...
關於在深度學習中訓練資料集的batch的經驗總結
由於深度學習的網格很大，用來訓練的資料集也很大。因此不可能一下子將所有資料集都輸入到網路中，便引入了batch size的概念，下面總結自己兩種常用的呼叫batch的方法 1 使用tensorflow，tf.train.batch 2 offset offset batch size len ima...