一 梯度
函式 z = f(x, y) 梯度表示為
，其梯度方向始終指向函式較大值處。函式 z = f(x, y) 幾何圖形需要三維空間表示，為了更方便觀察函式，可以使用二維平面上等高線表示函式。例如：函式
等高線可表示為xy平面上的同心圓。同理，函式 f(x, y, z) 梯度表示為
，可以使用三為空間等值面表示函式。
函式梯度與等高線（或等值面）關係：任意點函式梯度向量垂直於該點所在等高線（或等值面）。
針對二維函式，其推導如下：
1）函式 z = f(x, y) 在xy平面上取任意一條等高線 f(x, y) = c ，將該條等高線上點表示為變數 t 的函式：x = x(t), y = y(t)，等高線可表示為 f(x(t), y(t)) = c；
2）在等高線上取任意一點，沿等高線移動一小段距離，函式值保持不變，則有：，，
表示沿登高線切線方向，則可證明梯度垂直於等高線。
針對三維函式，思路與二維函式基本一致。首先選擇等值面 f(x, y, z) = c ， 在等值面上任意選取一條曲線：x = x(t), y = y(t), z = z(t)，等值面上任意一條曲線可表示為f(x(t), y(t), z(t)) = c 。然後沿該曲線移動一小段距離，函式值保持不變，則有
，為等值面上任意一條曲線切線方向，表明梯度與等值面切線方向垂直，可證明梯度垂直於等值面。
二 方向梯度
針對多元函式，使用偏導可以得到座標軸方向上函式變化情況。使用方向梯度，可以得到任意方向上函式變化情況。定義任意方向單位向量
，沿單位向量移動單位距離，座標軸變化情況為：
。通過建立x,y 與 s 的復合關係，函式 f(x, y) 可改寫為 f(x(s), y(s))， 則有
。因此，沿u方向上的方向梯度等於函式沿座標軸上梯度向量與單位方向向量的點積。進一步觀察可得：
，其中為函式梯度向量與方向向量夾角。當梯度向量與方向向量平行時，函式在該點取得最大方向導數（反向為負值）；當梯度方向與方向導數反向時，函式在該點方向導數為零。
在影象處理中，一般使用梯度方向作為邊緣方向，而影象並非嚴格函式，通常會得到一些偏差較大邊緣方向，是否可以通過考察等高線上梯度值來獲得更好的邊緣方向？
三 拉格朗日乘數法
求解函式 f(x, y, z) 在限定條件 g(x, y, z) = c 時取得極值。
方法一：通過 g(x, y, z) = c 消除乙個變數，可以將函式 f(x, y, z) 改寫成二元函式，使用一階偏導尋找到極值點。
方法二：使用拉格朗日乘數法，當函式 f(x, y, z) 取得極值時，滿足
，g(x, y, z) = c，結合以上條件即可求解極值點，推導如下：
1）在 g(x, y, z) = c 等值面上任意取一點，該點如果為函式 f(x, y, z) 上的極值點，則沿該點任意方向上，其方向梯度滿足：
，則在 f 上梯度方向垂直於g所在切平面；
2）g 上梯度方向垂直於g所在切平面；
3）。例：求解f(x,y)極值，
，根據拉格朗日乘數法，建立如下關係：
，可求解函式 f 在限定 g 下的極值。
拉格朗日乘數法無法區分極大值或極小值，一般通過比較得到最大值或最小值。
參考：多變數微積分 prof. denis auroux
拉格朗日乘數法
在求取有約束條件的優化問題時，拉格朗日乘子法 lagrange multiplier 和kkt條件是非常重要的兩個求取方法，對於等式約束的優化問題，可以應用拉格朗日乘子法去求取最優值 如果含有不等式約束，可以應用kkt條件去求取。當然，這兩個方法求得的結果只是必要條件，只有當是凸函式的情況下，才能保...
拉格朗日乘數法
在求取有約束條件的優化問題時，拉格朗日乘子法 lagrange multiplier 和kkt條件是非常重要的兩個求取方法，對於等式約束的優化問題，可以應用拉格朗日乘子法去求取最優值 如果含有不等式約束，可以應用kkt條件去求取。當然，這兩個方法求得的結果只是必要條件，只有當是凸函式的情況下，才能保...
拉格朗日乘數法
在求取有約束條件的優化問題時，拉格朗日乘子法 lagrange multiplier 和kkt條件是非常重要的兩個求取方法，對於等式約束的優化問題，可以應用拉格朗日乘子法去求取最優值 如果含有不等式約束，可以應用kkt條件去求取。當然，這兩個方法求得的結果只是必要條件，只有當是凸函式的情況下，才能保...