在svm中，我們的超平面引數最終只與間隔邊界上的向量（樣本）有關，故稱為支援向量機。
求解最優超平面，即求最大化間隔，或最小化間隔的倒數：||w||2/2，約束條件為yi(wtxi+b)>=1
因為此函式為凸函式（拉格朗日乘子法的前提條件），可用拉格朗日乘子法轉化為對偶問題，當滿足kkt條件時，對偶問題=原始問題。
關於約束：
1. 目標函式極值點在約束範圍內：此時不等式約束失效，問題即退化為無約束優化問題。
這個很好理解，函式只有乙個極值點，如果在約束範圍內，直接對函式求極值點即可。
2. 目標函式極值點在約束範圍外：最優解一定在可行域邊界； 且滿足在該點處的兩個函式的梯度方向相反。
關於這點，很多人從梯度方向去解釋，其實有個更簡單的解釋：反證法，目標函式的極值點在約束範圍外，假設最優解不在邊界，而在約束範圍內，那麼這個最優解將是另乙個極值點，這與凸的目標函式只有乙個極值點矛盾，故最優解必在約束邊界。
而所謂kkt條件的形式，即以上2點說明的內涵。
SVM的kkt條件和對偶問題。
kkt條件。用於解決不等式優化問題提出的條件。目標優化函式 minf x 約束條件為g x 0 根據kkt條件，原問題轉化為 根據拉格朗日乘數法解得 kkt條件列表如下 拉格朗日對偶性以及svm的對偶問題 首先 將l x,u 轉化為廣義拉格朗日的極大值極小值問題 其中 當max u 0,u l x,...
kkt條件例題求最優解 對KKT條件的理解
在大學的時候我們都學過等式約束的的拉格朗日優化方法，但是我們很少去理解拉格朗日優化的內在邏輯，而是直接去使用它，這裡我給出自己看了一些資料後的理解。首先，我們給出拉格朗日的數學描述 arg s.t 我們的計算方法是構造乙個拉格朗日函式,然後通過求拉格朗日函式的最優解從而得到等式條件約束下的最優解，即...
判斷kkt條件的例題 KKT條件原理
問題引入 max f x,y s.t.g x,y 0 幾何解釋 a.g x y 0為上圖中z 0平面中的圓，圓的邊表示g x,y 0，圓的內部表示g x,y 0。b.z f x,y 為上圖中的曲面。上述極值問題就是要求當點 x,y 落在圓內時 包括圓的邊 f x,y 的最大值。1 如果極值點在圓內，...