準備:
整理資料集
將各個標籤的資料放於不同的資料夾中,並統計各個標籤的數目
如:第一列是路徑,最後一列是數目。
ps:可能會存在某些標籤樣本很少/多,記下來模型效果不好就怨它。
樣本均衡,樣本不會絕對均衡,差不多就行了
如:控制最大類/最小類
切分樣本集
如:90%用於訓練,10%留著測試,比例自己定。訓練集合,對於弱勢類要重取樣,最後的列表要shuffle;測試集合就不用重取樣了。
訓練中要保證樣本均衡,學習到弱勢類的特徵,測試過程要反應真實的資料集分布。
第一列是路徑,後面幾列是標籤(多工)。
按需要的格式生成tfrecord
按照train.list和validation.list生成需要的格式。生成和解析tfrecord的**要根據具體情況編寫。
深度學習baseline模型 深度學習模型訓練流程
工作中訓練了很多的深度學習模型,目前到了上公升到方 的角度來看了。日常工作中有的人可能已經在遵循方 做事,可能自己沒有注意,有的人可能沒有遵循方 在做事,雖然可能最後的結果差不多,但花費的時間和精力應該會差別很大,當然這是我自己的感受。我們不必完全按照方 來做,但基本流程跟方 應該一致。下面的具體步...
深度學習 如何找到優化模型的方向
高偏差 bias 的優化 高方差 variance 的優化 當訓練的模型的 準確率 accuracy 不高,如何尋找模型的下一步調優方向?通過對比訓練集與開發 測試 集的準確率,可以確定模型的偏差 bias 與方差 variance 問題,給下一步模型的優化提供方向指導。模型訓練前通常將資料集劃分為...
深度學習模型
深度學習常用方法 深度置信網路 dbn 概率生成模型,生成資料 卷積神經網路 cnn 判別模型,處理二維圖 卷積深度置信網路 cdbn 兩者的結合 迴圈神經網路 rnn 與時間序列有關的 對抗神經網路 gan 兩個網路的零和遊戲,乙個網路用來判別,乙個網路用來生成 自動編碼器 vae 生成模型 深度...