梯度：
梯度是乙個向量求導的導數：f的梯度是包含所有偏導數的向量。向量的導數還是乙個向量，所以梯度既是導數又是向量。
梯度的方向：與這個函式在該點增長最快的方向一致。梯度的大小：|梯度|=max(方向導數)
梯度下降法作用：求損失函式（loss function） 最小值
吳恩達筆記：沿著下坡走，找到區域性最小值,下坡方向就是梯度反方向，最小值就是loss function的
深度學習花書筆記：
一維時y=f(x)
f(x+ε)≈ f(x)+εf』(x)
因為f(x-εsign(f』(x)))是比f(x)小的，往導數反方向走
多維時則是往所有向量的偏導數方向走。
深度學習簡單理解
深度學習的一些概念理解 共享權重，最大池化，啟用函式，殘差網路 深度學習中有乙個概念，叫共享權重，就是乙個層中是共享權重的，這樣做的好處有兩個 a 能夠減少引數的數量，加速訓練 b 由於共享權重，使得整幅圖對應的這個權重下求的的特徵具有平移不變性 個人對於共享權重的理解 其實所謂的共享權重，比如對於...
深度學習訓練的常用名詞
本文節選自cver 深度學習速查詞典 中的一部分內容，並補充一些常見名詞。batch size 一次前向或反向傳播時樣本的數目，該引數受限於記憶體的大小。iteration 樣本傳播的次數，每次傳播的樣本數為batch大小，注 一次樣本的傳播包括前向和反向傳播。epoch 所有訓練樣本的傳播次數。例...
機器學習 多元函式梯度的理解
一元函式的導數 導數的幾何意義是很明確的，乙個函式上某點的導數可以表示為該點在函式曲線上的切線斜率。或者從極限的角度來看，導數表示該點在函式上的變化率 f x0 lim x 0f x0 x f x0 xf x mathop limits frac delta x f x f x0 x 0lim xf...