0. 內容介紹
在學習最大熵模型中我們看到，需要求解滿足所有已知條件並且使得熵最大的模型，也就是求解問題帶約束的極值問題，其解決方法一般採用拉格朗日對偶原理。下面簡單介紹拉格朗日對偶原理。
1.原始問題
約束條件可以分成不等式約束條件和等式約束條件，只有等式約束條件的問題解決方法是直接將等式約束加入原問題構造出拉格朗日函式，然後求導即可。現在考慮帶不等式約束和等式約束的極值問題如何構造拉格朗日函式求解。
假設f(x), ci(x),
hj(x)
是定義在
rn上的連續可微函式，約束最優化問題如下：
稱此約束最優化問題為原始問題。
首先，引入拉格朗日函式：
這裡\alpha和\beta是拉格朗日乘子。此時我們定義（引入）乙個函式，這個函式的目的是建立拉格朗日函式和原始問題中的f(x)的關係。
分析這個定義的函式：
此時給定某個
x,如果
x違反原始問題的約束條件，即如果存在某個i使得
c_i(w)>0
或者存在某個j使得
h_j(w)≠0,
那麼就有:
(因為如果某個i使得約束ci(x)>0, 則可以令αi取正無窮, 如果某個j使得hj(x)≠0, 則可以令βj取正無窮， 而將其他的剩餘的拉格朗日乘子取0.)。
而相反，如果
x滿足原問題的約束條件，可得
θp(x) =f(x)
，因此得到：
這樣就將原來的約束問題變成了現在的無約束問題
)所以當我們現在考慮以下的極小化問題時就與原始的最優化問題
(4)(5)(6)
是等價的
.有相同的解。
2.對偶問題
再引入乙個公式，將其定義為
α, β
的函式：
這樣將拉格朗日函式轉化為了兩個引數的函式，並考慮在此基礎上的極大化：
我們把這個問題稱為原始問題的對偶問題。和原始問題對比只是交換了最大化和最小化的次序，但是解卻不一定是相同的，在滿足一定的條件下，原始問題和對偶問題的解相同。
統計學習方法 附錄C 拉格朗日對偶性
原始優化問題 為不等式約束hj x h j x 為等式約束 廣義拉格朗日函式 其中 j,j j j 稱為拉格朗日乘子，i 0 i 0考慮以下關於x的函式 有 則 p x p x 的極小化問題就等價於原優化問題 min x p x minx p x 則稱為廣義拉格朗日函式的極小極大問題 原始問題的對偶...
拉格朗日對偶性
在支援向量機中，需要用拉格朗日對偶性將原始問題轉換成對偶問題，解得對偶問題的解從而得到原始問題的解。在此簡單介紹拉格朗日對偶性的基本原理和方法。假設f x ci x hj x 是定義在rn 上的連續可微函式。考慮約束最優化問題 minx r nf x s.t ci x hj x 0,i 1,2,k ...
拉格朗日對偶性
拉格朗日對偶性常常被用來解決有約束條件的最優化問題，在最大熵模型或者支援向量機的優化中最為常見，其主要思路就是將帶約束條件的原始為題轉換為沒有約束條件的對偶問題。首先呈現以下原始問題，我們在做優化的時候，會遇到需要優化乙個函式 f x 這個函式還帶著兩個約束條件，這裡分別用 ci x 和 hj x ...