s
vm的水真是太深了，只能一點一點的解決了，今天這篇部落格簡單講解svm的目標函式從原始問題到對偶問題的轉換。
1、轉化對偶問題
上篇部落格中我們得到的目標函式：
我們在優化時喜歡求最小值，將上式轉化正等價的求最小值如下：
對於（2）式，這是乙個凸二次規劃問題，我們可以使用拉格朗日乘數法進行優化。
（3）式中的
為什麼能這樣假設呢？如果約束條件都滿足，（4）式的最優值就是
因此我們可以直接求（4）
式的最小值，等價於求原目標函式。因此目標函式變成如下：
將求最大值和最小值交換位置後
交換以後的新問題是原始問題的對偶問題，這個新問題的最優值用來表示。而且有d*≤p*，在滿足某些條件的情況下，這兩者相等，這個時候就可以通過求解對偶問題來間接地求解原始問題。為什麼要這樣轉換呢？此處借他人之言，之所以從minmax的原始問題，轉化為maxmin的對偶問題，一者因為是的近似解，二者，轉化為對偶問題後，更容易求解。下面可以先求l 對w、b的極小，再求l 對的極大。
2、求解對偶問題
回顧一下上面的目標函式l
這是乙個拉格朗日乘法優化方法得到的，由於要求
先求最大值，後求最小值，求最小值時，將a看成常量，那麼l就是w,b的函式了。極值在導數為0的點處取到，因此分
別求l對w,b的導數，並令其為0，得如下結果。
將（9）式帶入（7）（為什麼呢？）得到：
為什麼能將（9）式帶入（7）式呢？因為極值在導數為零的點處取到，因此（9）式符合（7）式取極值時w,b的取值。（10）式就是（7）式的最小值了，求完最小值，然後求最大值。求對的極大，即是關於對偶問題的最優化問題。經過上面第乙個步驟的求w和b，得到的拉格朗日函式式子已經沒有了變數w，b，只有。從上面的式子得到：
（11）式是關於a的式子，如果能求出a，則可以根據(7)式求出w。求出w後可以根據前面函式距離等於1的假設求出b
怎樣求a呢？這需要後面的核函式和鬆弛量的知識，利用smo演算法求解，下篇部落格繼續介紹核函式。
最後給大家附一張我的推到圖，是上面內容的簡化版本。
SVM的kkt條件和對偶問題。
kkt條件。用於解決不等式優化問題提出的條件。目標優化函式 minf x 約束條件為g x 0 根據kkt條件，原問題轉化為 根據拉格朗日乘數法解得 kkt條件列表如下 拉格朗日對偶性以及svm的對偶問題 首先 將l x,u 轉化為廣義拉格朗日的極大值極小值問題 其中 當max u 0,u l x,...
從八皇后問題到2n皇后問題
八皇后問題 在8 8格的西洋棋上擺放八個皇后，使其不能互相攻擊，即任意兩個皇后都不能處於同一行 同一列或同一斜線上，問有多少種擺法 方法 遞迴 回溯 include using namespace std int queen 9 表示每一行皇后的位置，如 queen 2 4，表示第2列第4行有乙個皇...
從技術到管理的問題
案例1 技術到管理如何起步 小范從開發人員轉pm，有理論沒有實踐。入職新公司的職位是pm，但每件事無從下手，不知道該幹什麼，心裡害怕，但一想不去做會就會越來越害怕，想請教上司，上級也忙著開會。想有好的開端但又不知該如何去做。首先要了解技術與管理的區別，技術是對事，一件事做好就行，但是管理是對人和專案...