記錄學習過程中遇到的一些問題以及解決方案。
在繼承了nn.module的情況下,並且函式內數**算均為torch內建函式(運算過程不能夠破壞pytorch計算圖,否則梯度無法正確反向傳播),依舊無法呼叫:
初始化有問題可以嘗試在類建構函式末尾加入return;
呼叫方式錯誤在呼叫構造類物件時,不能直接進行呼叫,要先構造類物件,然後使用類物件來進行損失的計算;
2.將影象進行resize尺寸變小
原始資料集資料不好原始資料集標註對應關係有問題,網路將無法學習對應關係;
網路模型過於簡單對於複雜關係的學習,模型過於簡單引數過少,無法匹配對應關係,需要換乙個更複雜的模型;
學習率設定不合理過大或者過小都會影響網路的學習效果,因此需要調整學習率;
資料量很大若資料集資料量很大,則需要等待一定的時間損失才會下降;
batch size設定不合理batch size設定過小,計算損失的資料量不夠充分;
資料集量過小資料過少,容易出現過擬合。
資料從卷積網路中輸出未歸一化需要在網路後加入batch normalization
1.正則化過度…to do
pytorch 深度學習
pytorch深度學習實踐 訓練集 開發集 模型評估 測試集。f x wx b f x wx b f x w x bloss 乙個樣本 cost mean square error training set 區域性最優,不一定全域性最優。鞍點 梯度為0,但無法繼續迭代。w w c ost ww w ...
pytorch 學習遇到的 問題
relu 和 leaky relu 中 inplace 設定 nn.relu inplace true default inplace false nn.leakyrelu inplace true default inplace false 將計算得到的值直接覆蓋之前的值 有時能夠節省運算記憶體,...
深度學習 安裝pytorch
1 官網 2 cmd中執行 注意 直接複製run this command 裡面的安裝 注意 把pip3的3刪除 第一步 pip install i 第二步 pip install torchvision 注意 第一步和第二步可以合併為pip install i torchvision 3 安裝技巧...