kkt條件是不等式約束的最優化問題的最優性條件。
所謂的最優性條件就是最優解的性質。
我們通過最優性條件的研究，能夠對於優化的步驟，以及迭代求解時的結束條件有很大幫助。
最優化問題常見的有無約束優化，等式約束優化，不等式約束優化。
下降方向：
我們知道，在最優化求解的過程中，我們常常使用某種逼近的方法，如梯度下降法等等。那麼使得目標函式f(x)變小的方向，也就是下降方向。
根據微積分的知識，我們知道，取梯度的反方向，可得下降方向。也就是，p*
可行方向：
一般來說，對於目標函式，有一定的約束條件，也就是我們的可行域，我們要在可行域允許的範圍內求解。我們求解的方向在可行方位內，則稱為可行方向。
同樣的，根據微積分的知識，我們也可以推導得到p*
可行下降方向：
現在我們要得到即可行，又下降的方向來求解問題，也就是要求得可行下降方向。
綜上，可行下降方向p滿足條件為：
其中f(x)表法向量，ci(x)表大於零的約束條件法向量。
最優解性質：
那麼，如果x已經是極值點了呢？
我們把下降方向集合寫作s，可行方向集合寫作g，如下：
那麼，如果當前點是最優點，應該是無處可去的，也就是沒有可行下降方向，也就是
於是，我們得到最優點的性質：
我們接下來推導如何解上面的集合問題。我們從兩個引理出發，能夠得到兩個解，也就是對應的fritz-john條件與kt條件。我們先來看fritz-john條件的推導。
我們看下面這個引理：
gordan引理：
設a1,…ar是n維向量，則不存在向量
成立的充要條件是，存在不全為零的非負實陣列
這條引理證明略，從幾何意義上理解，如下：
如果不存在使得向量ai*d全小於0的向量d,那麼ai中不能夠全都在某個超平面的一側。否則，取超平面另一側的任意乙個向量作為d，都能夠滿足ai*d全小於0.
當x是最優解時，不存在可行的下降方向p,使得
也就是不存在：
把上式中
這也稱為fritz-john一階必要條件
完整的定理如下：
fritz-john一階必要條件：
x為區域性最優解，f(x),c(x)在點x可微，則存在非零向量
上述fritz-john條件中，如果lamda0=0，那麼所得的點與目標函式無關，這樣造成無論什麼目標函式，只要約束條件一樣，得到的可能極值點也就相同。也就是，這個條件過於寬鬆了。
於是我們再加乙個約束條件，如「有效約束函式的梯度線性無關」，那麼lamda0就不會為0了。於是得到了我們如下的kt條件：
還是看乙個定理：
farkas定理：
已知a1,….,ar和b為n為向量。所有滿足：
的向量上式的證明需要用到凸分析的知識，這裡我們從幾何意義來看。
簡單來說就是，所有滿足與凸錐b中所有向量點乘大於零的向量，都在凸錐a中；
那麼，如果乙個向量d，滿足
如上圖中d1滿足條件，d2不滿足條件。
還是兩個集合交為空的條件：
當x為最優解，不存在p，使得：
反過來，也就是存在p,使得
根據farkas定理，約束條件ci(x)組成乙個凸錐，f(x)處於這個凸錐之中，也就是：
這也是kt條件。通過下圖，我們能夠直觀地理解：
完整地kt條件如下：
kuhn-tucker一階必要條件：
上面的kt條件與fritz-john條件，只在f(x)的係數上不同。kt條件是fritz-john條件的特殊情況。
條件1即拉格朗日乘子求導為0的條件；
條件2表明拉格朗日乘子中，lambda係數與c(x)必有乙個為0。也就是最優解的拉格朗日乘子裡，只有c(x)==0的約束項。也就是，其實這時的拉格朗日乘子項等價於等式約束的形式。
條件3則表明係數要的取值範圍為非負。
這裡略去，上述fritz-john條件與kt條件得出的是可能的極致點，還要通過二階的驗證才能分辨是否為鞍點。
由於凸規劃的良好性質，滿足fritz-john條件或kt條件的點就是其極值點。
ps:據說blog的公式數量與受歡迎程度成反比，不過我今天一口氣發了三篇公式的blog。。。
等式約束與不等式約束 KKT
等式約束本質是將約束問題轉為無約束問題，求解無約束函式的極值點引數 由原問題引數和拉格朗日乘子引數組成 抽取原問題的極值點 極大或極小 以下為等式約束 這其實就是求l的極值點的方程組，滿足上述條件的點一定是原問題的極值點，證明 設當前已有的一組拉格朗日乘子，在當前這組乘子下的極值點 引數值 為 x0...
AutoLayout 約束就是等式或不等式
ps 本文面向的讀者是已經接觸過autolayout的，如果你還未接觸過，那本文內容可能不大容易消化，關掉本頁或點返回可能會更好，在資訊氾濫的當下避免攝入過量的資訊也是一種智慧型。一般情況下我們知道autolayout會自動計算檢視 view 的大小 size 和位置 position 但是前提得設...
不等號屬於不等式嗎 實數（等式和不等式）
在高中數學的第二章，a版教材稱其為一元二次函式 方程和不等式，而b版教材僅稱其為等式和不等式，這不是說a版教材的內容豐富，反而是說b版教材更突出數學的一般性。不論你學哪一版本，都應該把這一章的內容在本質上看作是實數，等式 不等式的性質，乃至一元二次方程和不等式，都是實數性質的體現。在現代數學，我們有...