具體的公式就不黏貼了，只把大體思路記錄下來，方便本人及有需要的人查閱。具體講解可以去看李航的《統計學習方法》。
首先給出乙個原始問題，原始問題一般都是帶約束條件的，第一步就是利用拉格朗日乘子將原始問題轉化為無約束最優化問題。
將x視作常量，α，β視作變數，先求出α，β使得l（x, α，β）取得最大值，然後將之再視作x的函式。再求其極小值，這樣就把原始問題轉換為廣義拉格朗日函式的極小極大問題，這兩者是同解的。
對偶問題就是將極小極大問題轉換為了極大極小問題，說的再通俗一點，就是將l前面的min和max對調了一下。
假設原始問題的最優解為p*，對偶問題的最優解為d*，如果這兩者都存在，那麼d*≤p*，那麼什麼時候d*=p*，就是看kkt條件了。
拉格朗日對偶函式 拉格朗日對偶問題
前段時間學了拉格朗日乘子法，學會了構造拉格朗日函式，也就是學會了把帶約束 等式或不等式 的優化問題轉化為無約束優化問題，私以為這部分就學完了到此為止了，沒想到今天推導svm的數學模型，要推原問題的對偶問題，愣是艱難地卡了大半天，一直沒明白對偶問題的含義，原來拉格朗日函式得到以後還要進一步往下推出拉格...
拉格朗日對偶問題的解釋
0.內容介紹 1.原始問題 約束條件可以分成不等式約束條件和等式約束條件，只有等式約束條件的問題解決方法是直接將等式約束加入原問題構造出拉格朗日函式，然後求導即可。現在考慮帶不等式約束和等式約束的極值問題如何構造拉格朗日函式求解。假設f x ci x hj x 是定義在rn上的連續可微函式，約束最優...
統計學習方法 附錄C 拉格朗日對偶性
原始優化問題 為不等式約束hj x h j x 為等式約束 廣義拉格朗日函式 其中 j,j j j 稱為拉格朗日乘子，i 0 i 0考慮以下關於x的函式 有 則 p x p x 的極小化問題就等價於原優化問題 min x p x minx p x 則稱為廣義拉格朗日函式的極小極大問題 原始問題的對偶...