Linux 深度學習訓練log debug工作流

2021-08-28 21:15:45 字數 1050 閱讀 5206

這裡我使用的指令碼是./translate_enzh_train.sh，根據具體情況修改這個。一般會結合nohup或者disown使用。

./translate_enzh_train.sh 1>>suc.txt 2>>err.txt
一般情況下log資訊都會儲存在err.txt裡面，又由於一般debug的時候會重複使用這個命令，所以我個人習慣在檔名上加個時間戳，具體實現如下：

./translate_enzh_train.sh 2>>err_`


date


'+%s'


`.txt
這裡date '+%s'是在shell下得到時間戳

watch -n 10 tail -n 15 err.txt
每10秒就在螢幕上列印輸出log的最後15行

watch -n 5 nvidia-smi
每5秒更新一次nvidia-smi的輸出結果

disown這個命令在tcsh裡面是沒有的，所以你想用它的時候系統會反饋給你

disown: command not found.
所以目前在tcsh裡面貌似我們只能用nohup了，大概格式是

nohup you-command > output.log &
使用nohup其實也等同於讓該程序執行在background並且切斷了它和本terminal的連線（disown）。

這裡有一段摘自別的**上的關於nohup的描述

what nohup does, on the other hand, is to effectively separate the process from the terminal:

以及另外乙個很好的回答，裡面很清楚地講了disownis not defined by posix。

深度學習 如何訓練網路

目的 快速 有效地擬合。手段 隨機批處理 學習率 批規範化 模型優化演算法 遷移學習。隨機批處理，mini batch，一種在模型每輪 epoch 訓練進行前將訓練資料集隨機打亂 shuffle 的 訓練機制。可以防止被模型猜到 出樣本順序 作用 防過擬合。學習率，learning rate，控制模...

深度學習之訓練trick

1 google研究員ilya sutskever 成功訓練ldnn的13點建議 本文由ilya sutskever google研究員 深度學習泰斗geoffrey hinton的學生 dnnresearch聯合創始人 所寫，講述了有關深度學習的見解及實用建議，包括深度學習為什麼強大，如何強大，以...

深度學習 訓練吃顯示卡 學習深度學習，如何選購顯示卡？

學習深度學習，顯示卡 gpu 可以說是比不可少的投資。本文試圖 哪個gpu才是學習入門價效比最高的？為什麼深度學習需要gpu？我們先來比較一下cpu和gpu的不同，下圖是乙個簡化的處理器內部結構圖dram即動態隨機訪問儲存器，是常見的系統記憶體。cache儲存器 電腦中作高速緩衝儲存器，是位於cpu...