原始優化問題
)為不等式約束hj
(x)h
j(x
)為等式約束
廣義拉格朗日函式
其中αj,β
jαj
,βj
稱為拉格朗日乘子，αi≥
0αi
≥0考慮以下關於x的函式：
有:則θp
(x)θ
p(x
)的極小化問題就等價於原優化問題:
minxθ
p(x)
minxθ
p(x
)則稱為廣義拉格朗日函式的極小極大問題
原始問題的對偶問題為廣義拉格朗日函式的極大極小問題，即：
定理1
原優化問題與對偶問題最優值的關係：d∗
≤p∗d
∗≤p∗
定理2
當原優化問題為凸優化問題，且滿足slater條件時則存在x∗,
α∗,β
∗x∗,
α∗,β
∗使得：p∗
=d∗=
l(x∗
,α∗,
β∗)p
∗=d∗
=l(x
∗,α∗
,β∗)
即對原優化問題的求解可以轉化為對對偶問題的求解。
凸優化問題滿足兩個條件：定理3x∗可行域為凸集；（可行域中任意兩點之間的連線人在該可行域中）
函式為凸函式
slater條件是指，凸集的交集有內點。（凸集的交集仍為凸集，但不一定有內點）
,α∗,
β∗x∗
,α∗,
β∗滿足kkt條件，則x∗,
α∗,β
∗x∗,
α∗,β
∗為原問題和對偶問題的解。（前提是滿足定理2成立的條件）
拉格朗日對偶問題（李航《統計學習方法》）
具體的公式就不黏貼了，只把大體思路記錄下來，方便本人及有需要的人查閱。具體講解可以去看李航的 統計學習方法 首先給出乙個原始問題，原始問題一般都是帶約束條件的，第一步就是利用拉格朗日乘子將原始問題轉化為無約束最優化問題。將x視作常量，視作變數，先求出 使得l x,取得最大值，然後將之再視作x的函式。...
拉格朗日對偶性問題 《統計學習方法》學習筆記
0.內容介紹 在學習最大熵模型中我們看到，需要求解滿足所有已知條件並且使得熵最大的模型，也就是求解問題帶約束的極值問題，其解決方法一般採用拉格朗日對偶原理。下面簡單介紹拉格朗日對偶原理。1.原始問題 約束條件可以分成不等式約束條件和等式約束條件，只有等式約束條件的問題解決方法是直接將等式約束加入原問...
統計學習方法（二） 感知機學習方法的對偶形式
我們知道，在感知機的原始形式中，w 和 b 通過以下形式更新 w leftarrow w eta y x b leftarrow b eta y i 假設點 x i,y i 在學習過程中被使用了 n i 次 也即被分類錯誤了 i 次 那麼最後學習到的 w,b 可以表示為 w sum n i eta ...