深度學習 踩的各種坑

2021-09-19 14:16:12 字數 334 閱讀 4905

未完待續,遇到問題解釋一些問題

clone_loss指的你在乙個擁有多個gpu的伺服器上訓練模型的時候,就算你指定了gpu,設定了利用率,在目標裝置無法完成需求情況下,tensorflow也會複製到多個gpu上執行。clone_loss的意思就是sum_loss。如果你只有一塊gpu,那麼就是clone_loss_1,就是所說的loss。

開始跑程式時候,一定要設定,否則會被罵哈哈

batch_size應該是個偶數。不明白,只知道他的大小影響loss

很多大的框架裡面都有例子,和相關的說明文件,好好看看。

加個衝量或者換個優化器吧

優化器其實沒啥用,就是調學習率。

深度學習踩坑

雖然我覺得調參很蛋疼,但是最好還是記錄一下,以後可以節省很多時間。附乙個大神的經驗總結訓練神經網路的秘訣 batch size更大時,學習率可以更大,因而訓練更快。訓練網路時,如果batch size很小,比如1或2,這時候採用較大的學習率訓練會出現loss波動大,且很有可能幾個batch之後los...

Golang學習踩坑

學習一門新語言,難免少不了踩坑,很多坑都是因為上個語言遺留下來的習慣,在這裡記錄一下 jetbrains goland 編寫go語言的時候,不能直接寫import,一般寫main 的時候會自動匯入 go語言申明的變數必須使用,不然會編譯報錯 go語言一行一句,不支援分行,不需要 如果你想把多行語句並...

Android開發踩過的各種坑(動態更新)

android 心得 一 事件 中不能進行多執行緒操作!注意 this 是誰 二 更新介面注意在 更新 裡?子執行緒裡?能開啟乙個執行緒嗎?子執行緒裡能隨便更新ui嗎?訪問網路在 訪問?四 使用socket進行通訊,連線不上伺服器可能是埠被占用。輸入被阻塞可能是 使用了readline方法而輸入流中...