一元函式的變化快慢可以用導數來判斷，其定義為：
limδx→
0f(x
+δx)
−f(x
)δx=
f′(x
)⇒f(
x+δx
)=f(
x)+f
′(x)
δx+ο
(x)
可以看出來，∣∣
f′(x
)∣∣ 越大，則函式變化越快。
對於多元函式其實也是類似的
limδx→
0δy→
0f(x
+δx,
y+δy
)−f(
x,y)
(δx)
2+(δ
y)2−
−−−−
−−−−
−−−√
=limδx
→0δy
→0f(
x+δx
,y+δ
y)−f
(x,y
+δy)
+f(x
,y+δ
y)−f
(x,y
)(δx
)2+(
δy)2
−−−−
−−−−
−−−−
√=limδx→
0δy→
0f′(
x)δx
(δx)
2+(δ
y)2−
−−−−
−−−−
−−−√
+f′(
y)δy
(δx)
2+(δ
y)2−
−−−−
−−−−
−−−√
=f′(
x)co
sα+f
′(y)
cosβ
其中gr
adf→
=(f′
(x),
f′(y
))，而f′
(x)c
osα+
f′(y
)cos
β 即為方向導數。同一元函式一樣，要想f(x,y)變化最大，就要使方向導數取到最大值。
方向導數=梯度與乙個單位向量的點積a⃗
⋅b⃗ =
|a|×
|b|×
cos(
a⃗ ,b
⃗ )，可知當co
s(a⃗
,b⃗ )
=1時，方向導數取最大值。此時，ab兩個向量同向，即梯度方向和單位向量方向一致，故在梯度方向取最大值。
知道方向導數在梯度方向取最大值，則在梯度方向f(x,y)變化最快。這裡又分為，沿著梯度方向函式值上公升的最快，沿著負梯度方向函式值下降的最快。這兩個分別對應著方向導數的最大值的正負。在上面第二條裡還存在另外乙個解，即a,b兩個向量反向，即梯度方向和單位向量方向相反，故在負梯度方向取最小值（也是負數）。所以在沿著負梯度方向函式值下降的最快。
為什麼梯度方向與等高線垂直
有些結論用起來習以為常,卻不知道背後的原理,比如為什麼梯度方向與等高線垂直,弄明白後心裡才舒暢 要解決這個問題首先得有等高線的數學表示式 以三維空間為例,設某曲面的表示式為z f x,y z f x,y z f x,y 對於任意高度且平行於xoy的平面z c z cz c來說,等高線為z f x,y...
深度學習 關於負梯度方向，函式值下降最大的思考
負梯度方向是函式值下降最快的方向 我想每乙個接觸接觸機器學習或者深度學習的人都對這句話倒背如流，但是隨著時間的推移，很多概念及其背後的數學原理變得模糊。也是因為面試過程中被問及 為什麼負梯度方向是函式值下降最快的方向？所以才突然發現是時候需要鞏固一下這些塵封在腦海深處的知識點了。什麼是梯度？首先回顧...
函式的梯度方向和切線方向 偏導數 方向導數與梯度
兩個變數的函式 值域為 圖 graph 是所有點 集合，使得 多變數函式的定義與兩個變數的函式類似。函式相對於它的某個自變數的偏導數，是假定其他自變數不變時，對該自變數的導數。對於兩個變數的函式 它的偏導數 和 定義為 和其他表示方法有 單變數函式中，函式的圖是乙個二維平面上的曲線，導數對應了一條直...