pytorch在gpu並行方面還算很方便。在定義好model之後只需要使用一行：
model = torch.nn.dataparallel(model)
即可實現在所有gpu上並行運算。
但是有時候直接占用所的gpu是沒有必要的，如果要指定gpu，可以在dataparallel中增加乙個引數：
model = torch.nn.dataparallel(model, device_ids=[0,1])
比如下面就實現了只使用0，1編號的兩塊gpu。
這時候如果想使用2，3兩塊gpu，使用相同的**：
model = torch.nn.dataparallel(model, device_ids=[2,3])
在執行時會報出如下錯誤：
runtimeerror: all tensors must be on devices[0]
該錯誤的解決方式有很多，這裡推薦使用一種最簡單的，在執行**的時候，調整程式可見的gpu即可，具體而言就是將原先的執行指令：
python train.py 改為
cuda_visible_devices=2,3 python train.py
而程式中還是寫為：
model = torch.nn.dataparallel(model, device_ids=[0,1])
pytorch1 5 win10 GPU 入坑記錄
pytorch1.5 win10 gpu 入坑記錄 環境 win10，pytorch1.5 cuda版本10.2，anaconda 5.3.1 python 3.7 入坑注意 我按照網上教程先建立虛擬環境pytorch，隨後在虛擬環境下安裝官網方法安裝pytorch成功。在該虛擬環境下import ...
Win10 GPU 深度學習環境搭建
win10 matlab2016a vs2015 cpu gpu matconvnet cuda9.1配置問題解決方法 win10 matlab2016b vs2015 cpu gpu matconvnet cuda9.0配置問題解決方法 win7 matlab2016a vs2015 cpu gp...
win10 mx150深度學習GPU加速
win10 mx150深度學習gpu加速 使用keras呼叫gpu加速十分簡便，keras自動呼叫，不用命令 建議安裝conda，比pip好用很多 直接conda install tensorflow gpu conda 會自動安裝適配的cuda 可以看到加速效果十分明顯，原先乙個epoch 260...