pytorch預設使用單精度float32訓練模型，
使用float16訓練模型，模型效果會有損失，而使用double(float64)會有2倍的記憶體壓力，且不會帶來太多的精度提公升。
本人，最近遇到需要使用double資料型別訓練模型的情況，具體實現需要把模型的權重引數資料型別和輸入資料型別全部設定為torch.float64即可。
可使用torch的乙個函式，輕鬆地把模型引數轉化為float64
torch.set_default_dtype(torch.float64)
輸入型別可使用
tensor.type(onglmxyehhtorch.float64)
補充：float32和float64的本質區別
bits:名為位數bytes:為位元組簡單的數就是mb和g的關係！
那麼8bits=1bytes，下面是各個單位的onglmxyehh相互轉化！
數字的區別乙個在記憶體中佔分別32和64個bits，也就是4bytes或8bytes數字越高浮點數的精度越高它會影響深度學習計算效率?
float64占用的記憶體是float32的兩倍，是float16的4倍；
比如對於cifar10資料集，如果採用float64來表示，需要60000*32*32*3*8/1024**3=1.4g，光把資料集調入記憶體就需要1.4g；
如果採用float32，只需要0.7g，如果採用float16，只需要0.35g左右；
占用記憶體的多少，會對系統執行效率有嚴重影響；（因此資料集檔案都是採用uint8來存在資料，保持檔案最小）
本文標題: pytorch 如何使用float64訓練
本文位址: /jiaoben/python/395539.html
如何在PYTORCH中使用TENSORBOARD
tensorboard是用於機器學習實驗的視覺化工具包。tensorboard允許跟蹤和視覺化指標，例如損失和準確性，視覺化模型圖，檢視直方圖，顯示影象等等。在本教程中，我們將介紹tensorboard的安裝，pytorch的基本用法以及如何視覺化在tensorboard ui中登入的資料。安裝 c...
如何安裝pytorch
離線安裝 用conda安裝會比較方便，下面直接用conda安裝 conda config add channels conda config add channels conda config add channels 或者，直接改.condarc檔案 注意 沒有自己電腦gpu，就不要安裝cuda了...
如何安裝 PyTorch
現在使用 pytorch 框架進行深度學習的人越來越多了，但是 torch 的安裝 gpu 版本 和普通第三方包的安裝過程不太一樣，因為涉及到電腦的顯示卡驅動版本，下面來看看安裝 pytorch 的正確姿勢。開啟 nvidia 控制面板，點選工具欄幫助 系統資訊，在彈出的對話方塊中有如下資訊 可以看...