參考：
說下自己的理解。
使用對偶是為了更容易求解，使min max f(w,a,b)(設為p*)轉化為 max min f(w,a,b)(設為d*)
d*<=p*。當等號成立時，最優解相同。
若等號成立，則f(w,a,b)必為馬鞍面，既凸又凹。
滿足kkt條件等號可成立。當約束g=0時，a>0，這樣的點才是支援向量。
先將a固定，分別對w,b求導，得到關於a的式子，帶入原目標函式（含a）。剩下的由smo演算法求解。
wtx+b 以前新來的樣本首先根據w和b做一次線性運算，然後看求的結果是大於0還是小於0，來判斷是正例還是負例。現在利用a，只需要
將原來的樣本和訓練資料中的所有樣本做內積即可。由於只有支援向量的a才不等於0，所以只需求新來的樣本和支援向量的內積，然後運算。
拉格朗日對偶
優化理論中，目標函式f x 有多種形式 目標函式和約束條件都是x的線性函式，稱最優化問題為線性規劃 目標函式為二次函式，約束條件為線性函式，稱最優化問題為二次規劃 目標函式或約束條件為非線性函式，稱最優化問題為非線性規劃。每個線性規劃問題都有對應的對偶問題，對偶問題性質 對偶問題的對偶是原問題 原始...
拉格朗日對偶函式 拉格朗日對偶問題
前段時間學了拉格朗日乘子法，學會了構造拉格朗日函式，也就是學會了把帶約束 等式或不等式 的優化問題轉化為無約束優化問題，私以為這部分就學完了到此為止了，沒想到今天推導svm的數學模型，要推原問題的對偶問題，愣是艱難地卡了大半天，一直沒明白對偶問題的含義，原來拉格朗日函式得到以後還要進一步往下推出拉格...
拉格朗日對偶，KKT，SVM
機器學習通常轉化為數學規劃問題，拉格朗日對偶是求解帶有約束的凸規劃的乙個重要的技巧。這篇文章從先從理論的角度，介紹拉格朗日對偶的基本思想，在從支援向量機的推導上，應用上面提及的定理。對於上面的問題，原問題是一般的數學規劃，此時並不要求目標函式和約束中為凸函式。對於任意的數學規劃，如問題p，都會存在乙...