karush-kuhn-tucker conditions，kkt條件，kt條件
乙個非線性規劃（nonlinear programming）問題能有最優化解法的條件。
引入了乘子
目標函式、約束條件都是凸函式
向量間的線性加平移變換
也稱拉格朗日乘子法
約束問題只有等式約束條件，則可通過乘子將約束問題轉化為無約束問題
乘子的求解
拉格朗日乘數法在kkt條件被推廣，我認為拉格朗日乘子法只用於等式約束問題，kkt條件將其推廣到了不等式約束問題。
penalty method
約束條件轉化為罰函式與懲罰因子，從而約束問題轉化為無約束問題
即約束問題
轉化為無約束問題
g稱為外部懲罰函式，σk稱為懲罰因子，在每一次迭代中都增大σk，然後求解該無約束問題。
所有迭代結果組成乙個序列，該序列的極限為原約束問題的解。
只適用於不等式約束
minφ = f(x) + rk*b(x)，r1>r2>r3>...>rk >...>0
障礙函式b(x)在邊界上時趨於+∞，在可行域內時趨於0
r為障礙因子
對數障礙函式
在外點懲罰函式法的基礎上又加了拉格朗日乘子項，也可以說是拉格朗日乘子法又加了懲罰函式項。
優化之外罰函式法
罰函式法的基本思想是借助罰函式把約束問題轉化為無約束問題，然後用無約束最優方法來求解。目標函式 約束條件 clc syms x1 x2 e e為罰因子 m 1 1 c 10 a 1 0 b 1 0 c為遞增係數 賦初值 f x1 2 x2 2 e 1 x1 2 構造罰函式 f0 1 0 求偏導 海森...
拉格朗日乘子法
最近在學習 svm 的過程中，遇到關於優化理論中拉格朗日乘子法的知識，本文是根據幾篇文章總結得來的筆記。由於是剛剛接觸，難免存在錯誤，還望指出?另外，本文不會聊到深層次的數學推導，僅僅是介紹拉格朗日乘子法的內容，應用，以及個人對它的感性理解。按照維基百科的定義，拉格朗日乘數法是一種尋找多元函式在其變...
拉格朗日乘子法
最優化基本知識這裡就不贅述了，詳情可以參考個種最優化書籍，這篇部落格主要是幫助回憶優化應用中較常用的方法。一般情況下，最優化問題會碰到一下三種情況 1.無約束，2.等式約束 3.不等式約束。對於無約束情況，只要將優化目標對於變數求導，並令其等於0即可，我們主要討論第二種情況。設目標函式為f x 約束...