粗淺理解就是，只有變數才有梯度，因為梯度是求導得來的嘛
"""
created on tue jan 12 16:41:46 2021
認識pytorch中的梯度
@author: user
"""import torch
from torch.autograd import variable
x11=torch.tensor([1])
x12=torch.tensor([2])
w11=torch.tensor([0.1])
w12=torch.tensor([0.2])
x11 = variable(x11,requires_grad=true)
x12 = variable(x12,requires_grad=true)
# w11 = variable(w11,requires_grad=true)
# w12 = variable(w12,requires_grad=true)
x21=x11*w11+x12*w12
x21.backward()
print(x11.grad)
print(x12.grad)
print(w11.grad)
print(w12.grad)
再加一層
Pytorch中的梯度下降及優化
在pytorch中使用mini batch這種方法進行訓練 對整個訓練集進行梯度下降法的時候，我們必須處理整個訓練資料集，然後才能進行一步梯度下降，即每一步梯度下降法需要對整個訓練集進行一次處理，如果訓練資料集很大的時候處理速度會很慢，而且也不可能一次的載入到記憶體或者視訊記憶體中 所以我們會把大資...
pytorch中state dict的理解
在pytorch中，state dict是乙個python字典物件 在這個有序字典中，key是各層引數名，value是各層引數 包含模型的可學習引數 即權重和偏差，以及bn層的的引數 優化器物件 torch.optim 也具有state dict，其中包含有關優化器狀態以及所用超引數的資訊。其實看了...
Pytorch自動求解梯度
要理解pytorch求解梯度，首先需要理解pytorch當中的計算圖的概念，在計算圖當中每乙個variable都代表的乙個節點，每乙個節點就可以代表乙個神經元，我們只有將變數放入節點當中才可以對節點當中的變數求解梯度，假設我們有乙個矩陣 1.2.3.4.5.6.我們將這個矩陣 二維張量 首先在pyt...