引入： 優化問題通常是指對於給定的某一函式，求其在指定作用域上的全域性最小值(因為最小值與最大值可以很容易轉化，即最大值問題可以轉化成最小值問題)
這是最簡單的情況，解決方法通常是函式對變數求導，令求導函式等於0的點可能是極值點。將結果帶回原函式進行驗證即可。
這種方法可以將乙個有n個變數與k個約束條件的最優化問題轉換為乙個解有n + k個變數的方程組的解的問題。這種方法中引入了乙個或一組新的未知數，即拉格朗日乘數，又稱拉格朗日乘子，或拉氏乘子，它們是在轉換後的方程，即約束方程中作為梯度（gradient）的線性組合中各個向量的係數。
注：上面的拉格朗日乘子的-或+沒有關係；並且拉格朗日乘數法所得的極點會包含原問題的所有極值點，但並不保證每個極值點都是原問題的極值點。
注：綠線標出的是約束g(x,y) = c的點的軌跡。藍線是f的等高線。箭頭表示梯度，和等高線的法線平行。
從上面的圖出發：
注：其實就是約束和方程在某一點相切，此時兩者的梯度方向是平行的，相向或者是反向，求出引數，然後帶到原方程即可，這裡為什麼此時的梯度就是原函式的梯度！！
見下面的證明：
注：這裡主要利用了全微分的概念，全微分理解見：
推薦維基百科，講的很清楚！！
拉格朗日乘子法和KKT條件求解最優化方法
在求取有約束條件的優化問題時，拉格朗日乘子法 和kkt條件是非常重要的兩個求取方法，對於等式約束的優化問題，可以應用拉格朗日乘子法去求取最優值 如果含有不等式約束，可以應用kkt條件去求取。當然，這兩個方法求得的結果只是必要條件，只有當是凸函式的情況下，才能保證是充分必要條件。kkt條件是拉格朗日乘...
最優化理論
最優化 optimization 應用數學的重要研究領域.它是研究在給定約束之下如何尋求某些因素 的量 以使某一 或某些 指標達到最優的一些學科的總稱.由於運籌學中出現的問題大多即是最優化所研究的問題，因此運籌學的許多分支，如數學規劃 組合最優化 排隊論，以及決策論等也是最優化的組成部分.此外，最優...
最優化理論
2017 10 24 最優化是應用數學的乙個分支，只不過對於計算機系的同學而言其實還是非常重要的。像現在很火的方向，如機器學習 計算機視覺 計算機圖形學 機械人等方向中都有非常基礎的應用，還有機械 物理 生物等，更不用說金融方向的quant。相信很多同學都學過最優化，對於軟體方向的同學應該是四年級的...