拉格朗日對偶問題的解釋

0. 內容介紹

1.原始問題

約束條件可以分成不等式約束條件和等式約束條件，只有等式約束條件的問題解決方法是直接將等式約束加入原問題構造出拉格朗日函式，然後求導即可。現在考慮帶不等式約束和等式約束的極值問題如何構造拉格朗日函式求解。

假設f(x), ci(x), hj(x)是定義在rn上的連續可微函式，約束最優化問題如下：

稱此約束最優化問題為原始問題。

首先，引入拉格朗日函式：

這裡\alpha和\beta是拉格朗日乘子。此時我們定義（引入）乙個函式，這個函式的目的是建立拉格朗日函式和原始問題中的f(x)的關係。

分析這個定義的函式：此時給定某個x,如果x違反原始問題的約束條件，即如果存在某個i使得c_i(w)>0或者存在某個j使得h_j(w)≠0,那麼就有:

(因為如果某個i使得約束ci(x)>0, 則可以令αi取正無窮, 如果某個j使得hj(x)≠0, 則可以令βj取正無窮，而將其他的剩餘的拉格朗日乘子取0.)。而相反，如果x滿足原問題的約束條件，可得θp(x) =f(x)，因此得到：

(這樣就將原來的約束問題變成了現在的無約束問題)

所以當我們現在考慮以下的極小化問題時就與原始的最優化問題(4)(5)(6)是等價的.有相同的解。

2.對偶問題

再引入乙個公式，將其定義為α, β的函式：

這樣將拉格朗日函式轉化為了兩個引數的函式，並考慮在此基礎上的極大化：

我們把這個問題稱為原始問題的對偶問題。和原始問題對比只是交換了最大化和最小化的次序，但是解卻不一定是相同的，在滿足一定的條件下，原始問題和對偶問題的解相同。