機器學習通常轉化為數學規劃問題，拉格朗日對偶是求解帶有約束的凸規劃的乙個重要的技巧。這篇文章從先從理論的角度，介紹拉格朗日對偶的基本思想，在從支援向量機的推導上，應用上面提及的定理。
對於上面的問題，原問題是一般的數學規劃，此時並不要求目標函式和約束中為凸函式。對於任意的數學規劃，如問題p，都會存在乙個和其息息相關的數學規劃d,d的構造試圖引入u,v，將約束加入到目標函式中，從而使得約束條件減少到只有的x屬於x。其中d 問題成為原問題的拉格朗日對偶問題。注意在d問題中，有兩個層面的優化，裡面的優化是針對於x,外面的針對對偶變數u,v。
為什麼要建立這麼形式的d問題呢？
這篇部落格說明這個問題。
下面的強對偶定理，說明了只有在特殊的f,g為凸函式，h為仿射函式，x為凸集時，上面定義的原問題和對偶問題最優解之間的關係。定理說明了，滿足上面條件的凸規劃，其拉格朗日對偶函式，兩者的最優解相等。定理告訴我們使用拉格朗日技巧的乙個界限，界限是指當不滿足上面的約束時，使用拉格朗日對偶並不能求解原問題，而從對偶求出的解僅僅作為原問題的上界存在（弱對偶定理）。
上面的條件是乙個比較寬泛的條件，例如像svm的二次優化問題，通過建立拉格朗日對偶函式，對其而不是原問題進行求解，可以將原來的帶有n個約束的最優化問題，轉變為簡單的約束的二次規劃問題。從而進行求解。關於這一點會在svm推導中詳細說明這一點。（svm將原先ill-posed的二次規劃轉變為簡單的二次規劃，並使用的快速的演算法smo求解。）
kkt condition是帶有約束最優化的乙個重要的條件。利用kkt condition可以在求解出的拉格朗日對偶函式最優解後，來求出原題的最優解。下面的定理說明在f,g為凸函式，h為仿射函式，x為凸集時，kkt condition和拉格朗日函式的最優解之間存在一一對應的關係。
拉格朗日對偶
參考 說下自己的理解。使用對偶是為了更容易求解，使min max f w,a,b 設為p 轉化為 max min f w,a,b 設為d d p 當等號成立時，最優解相同。若等號成立，則f w,a,b 必為馬鞍面，既凸又凹。滿足kkt條件等號可成立。當約束g 0時，a 0，這樣的點才是支援向量。先將...
拉格朗日對偶
優化理論中，目標函式f x 有多種形式 目標函式和約束條件都是x的線性函式，稱最優化問題為線性規劃 目標函式為二次函式，約束條件為線性函式，稱最優化問題為二次規劃 目標函式或約束條件為非線性函式，稱最優化問題為非線性規劃。每個線性規劃問題都有對應的對偶問題，對偶問題性質 對偶問題的對偶是原問題 原始...
拉格朗日對偶函式 拉格朗日對偶問題
前段時間學了拉格朗日乘子法，學會了構造拉格朗日函式，也就是學會了把帶約束 等式或不等式 的優化問題轉化為無約束優化問題，私以為這部分就學完了到此為止了，沒想到今天推導svm的數學模型，要推原問題的對偶問題，愣是艱難地卡了大半天，一直沒明白對偶問題的含義，原來拉格朗日函式得到以後還要進一步往下推出拉格...