我們什麼時候用拉格朗日乘子法？在求二次優化【或者寬泛點說，凸優化】的時候，一般寫法是，我們要求乙個函式的min，然後這個函式一般是凸函式，然後，這個函式的自變數還有好幾個約束（等式約束and不等式約束）
我們的拉格朗日式子寫出來，寫出來的是用原函式減去alpha*等式約束，減去beta*不等式約束 因此，我們其實的max l（α）是等於原函式的！！即max l（α）= f（w)
然後，我們的目標是要求f（w）的min 即，我們要求min max l（α）
方法：對偶方法，我們轉求max minl（α） 先求裡層min，方法很簡單，求偏導得零。代入回原始l（α）之後，得到的乙個只帶α的式子，再求它的max
求max方法：smo方法
那麼接下來簡單介紹一下，為什麼我們會在支援向量機（svm）中用到二次規劃？用到拉格朗日乘子法？原因如下：
約束條件是我們自己定的：在分隔邊緣的位置，調整w和b讓其值為1或-1 其餘的地方應該都是大於1的。在最中間的那條分隔線上，得零。
原目標函式：所有備選的w和b，創造了所有的直線，在這些直線中，距離最短的位置，的幾何間隔，中，最大的那個，被稱為「最大間隔分類」 我們要找的就是，把兩邊分得盡量「開」的分類器
因此，由原目標函式，和約束條件得知，原目標函式裡面的那個min最小當然就是取1了。當然，從原目標函式就變為了新目標函式，最大化1/||w|| 等同於最小化||w||^2。
當然，目標函式就由此確定了。下一步就是二次規劃了，因此用拉格朗日乘子法。
直觀理解拉格朗日乘子法
拉格朗日乘數法 lagrange multiplier 是一種尋找多元函式在一組約束下的極值的方法。通過引入拉格朗日乘子，可將d個變數和k個約束條件的最優化為題轉化成d k個變數的無約束優化問題求解。舉個2維的例子來說明 假設有自變數x和y，給定約束條件g x,y c，要求f x,y 在約束g下的極...
拉格朗日乘子法的通俗理解
這裡舉個簡單的例子吧 在家裡做蛋糕，假如只計算雞蛋和牛奶的 其中雞蛋的 為4.5 斤，牛奶為12 公升，而預算剛好是20 那麼就有 經過分析，蛋糕的總量跟兩種原材料 x1，x2 具有如下關係 那麼最少能做多少蛋糕 在 線性最小二乘法的通俗理解 中提到極值點可以通過求偏導來實現 函式 f ff x1，...
深入理解拉格朗日乘子法
乙個最短路徑問題 假設你在m點，需要先到河邊再回到c點，如何規劃路線最短？假設 河流曲線滿足方程 g x,y 0 例如 如果它是乙個圓 g x,y x 2 y 2 r 2 0 用p表示河邊上的任意 p x,y 點，用 d m,p 表示m,p之間距離，那麼問題可以描述為 max f p 約束於 g p...