拉格朗日乘子法

等式約束優化

當目標函式加上約束條件之後，問題就變成如下形式：

目標函式和約束

約束條件會將解的範圍限定在乙個可行域，此時不一定能找到使得∇xf(x)'>xf(x)為 0 的點，只需找到在可行域內使得f(x)'>f(x)最小的值即可，常用的方法即為拉格朗日乘子法，該方法首先引入 lagrange multiplierα∈rm'>α∈rm，構建 lagrangian 如下：

∇xf(x)'>f(x)'>α∈rm'>

求解方法如下：首先對 lagrangian 關於α'>α與x'>x求：

令導數為 0 ，求得x'>x、α'>α 的值後，將x'>x帶入f(x)'>f(x)即為在約束條件hi(x)'>hi(x)下的可行解。這樣做的意義是什麼呢?

接下來看乙個直觀的示例，對於二維情況下的目標函式是f(x,y)'>f(x,y)，在平面中畫出f(x,y)'>f(x,y)的等高線，如下圖的虛線所示，並只給出乙個約束等式h(x,y)=0'>h(x,y)=0，

如下圖的綠線所示，目標函式f(x,y)'>f(x,y)與約束g(x,y)'>g(x,y)只有三種情況，相交、相切或者沒有交集，沒交集肯定不是解,只有相交或者相切可能是解，

但相交得到的一定不是最優值，因為相交意味著肯定還存在其它的等高線在該條等高線的內部或者外部，使得新的等高線與目標函式的交點的值更大或者更小，

這就意味著只有等高線與目標函式的曲線相切的時候，才可能得到可行解。

x'>α'>x'>f(x)'>hi(x)'>f(x,y)'>f(x,y)'>h(x,y)=0'>f(x,y)'>g(x,y)'>

因此給出結論：拉格朗日乘子法取得極值的必要條件是目標函式與約束函式相切，這時兩者的法向量是平行的，即

h(x) = x + y 的等值線

g（x）= x y 的等值線

藍線表示g（x）= 3的等值線，此時x與y的對應關係一一對應

h（x）=x + y 的等值線有內到外逐漸增加，當增加的等值線與約束線g（x）= 3線切時，h（x）最小

因為根據下圖可已看出，h（x）等值線再往外擴與g（x）有交點，但h（x）的值變大。

原文位址：