之前用過幾次梯度下降演算法來求解一些優化問題，但對梯度的具體意義並不是很理解。前一段時間翻了一遍高教的《簡明微積分》，對梯度概念總算有了些理解，在這記錄一下。
推薦下《簡明微積分》這本書，我向來對帶有「簡明」二字的書抱有極大的好感。偶然的機會在豆瓣上看到有人推薦這本書，作者是龔公升先生。龔公升先生是中國科技大學教授，師從華羅庚。我個人覺得這本書是我讀過的最好的國內的數學教材，結構條理，不拖沓但重點突出，適合快速的回顧微積分課程。
在微積分課程中，我們知道函式在某一點的導數（微商）代表了函式在該點的變化率。微分和積分，它們的定義都是建立在極限的基礎上。對於單變數函式f(x)，它在x0處導數是：當x趨近於x0時，函式的改變量與自變數的改變量的比值的極限，即微商（導數）等於差商的極限 f
′(x0
)=limδx→
0f(x
0+δx
)−f(
x0)δ
x對於單變數函式，自變數只有乙個，當x趨近於x0時只能在直線上變動，移動的方向只有左右兩方。
然而，對於多變數函式，自變數有多個，表示自變數的點在乙個區域內變動，不僅可以移動距離，而且可以按任意的方向來移動同一段距離。因此，函式的變化不僅與移動的距離有關，而且與移動的方向有關。因此，函式的變化率是與方向有關的。這也才有了方向導數的定義，即某一點在某一趨近方向上的導數值。假設給定函式u=u(m)，取一點m0=(x0,y0,z0)，l是由m0出發的任一半直線，則u在m0點l的方向導數定義為 (
∂u∂l
)m0=
limm→m
0m∈l
u(m)
−u(m
0)|m
m0|上面有了方向導數的定義，我們進一步來推導方向導數的表示，命l的方向余弦為
(cosα,
cosβ
,cosγ)
，則l上的m可表示為 x
=x0+
tcosα,
y=y0
+tcosβ,z
=z0+
tcosγt
=|mm
0|。於是u對l的方向導數為 (
∂u∂l
)m0=
limt→0
δut=
limt→0
∂u∂x
δx+∂
u∂yδ
y+∂u
∂zδz
+o(t
)t=limt→
0t(∂
u∂xcosα+
∂u∂y
cosβ+∂
u∂zcosγ)
+o(t
)t=∂
u∂xcosα+
∂u∂y
cosβ+∂
u∂zcos
γ注意，在上面的推導中用到了全微分公式。
令向量∂u∂l
)m0=
n∗l=
|n|cos
θ這表達了l上的方向向量其實是n在l方向上的投影。當l的方向變化，投影量隨之改變，也就代表了不同的方向導數。
當l與n同向時，(∂
u∂l)
m0便取得最大值|n|，我們稱n為u在該點的梯度。
可以看到梯度即是某一點最大的方向導數，沿梯度方向函式有最大的變化率（正向增加，逆向減少）。
另外還可以證明，在某一點的梯度方向，就是過該點的等值面的切平面的法線方向。但需要注意的是，這並不是定理，只是等值函式的法向量的表示式與函式的梯度的表示式一致而已，並非兩者之間必然的存在關係。因此，在某一點沿著梯度看去，等值面分布最密，即達到臨近等值面的距離最小。
對於單變數函式，若在某點取得極值，則該點的導數為0。同樣對於多變數函式，在某點為極大值或極小值只有當在該點的每個偏導數等於0才有可能，也就是說梯度等於0。因此，在多變數函式中，駐點，也就是導數為0的點，指的是每個偏導數等於0，也就是梯度等於0的點。進而，在求極值時，我們可以先找到梯度為0的駐點，在通過定理（查書唄）判斷它是否是極值點，極大值還是極小值。
方向導數和梯度
我覺得我有必要把工數再看一遍 都忘記了 在微積分課程中，我們知道函式在某一點的導數 微商 代表了函式在該點的變化率。微分和積分，它們的定義都是建立在極限的基礎上。對於單變數函式f x 它在x0處導數是 當x趨近於x0時，函式的改變量與自變數的改變量的比值的極限，即微商 導數 等於差商的極限 f x0...
方向導數和梯度
之前用過幾次梯度下降演算法來求解一些優化問題，但對梯度的具體意義並不是很理解。前一段時間翻了一遍高教的 簡明微積分 對梯度概念總算有了些理解，在這記錄一下。推薦下 簡明微積分 這本書，我向來對帶有 簡明 二字的書抱有極大的好感。偶然的機會在豆瓣上看到有人推薦這本書，作者是龔公升先生。龔公升先生是中國...
方向導數與梯度
分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！方向導數 是乙個數 反映的是f x,y 在p0點沿方向v的變化率。偏導數 是多個數 每元有乙個 是指多元函式沿座標軸方向的方向導數，因此二元函式就有兩個偏導數。偏導函式 是乙個函式 是乙個關於點的偏導數的函式。梯度 是乙個向量 每個元素為函式對一元...