那麼我們才能將我們的這個式子優化呢？我們知道這種帶條件的優化很煩人，我們怎麼才能讓我們的優化問題沒有這麼複雜的約束條件呢？其是這跟廢話一樣，構造拉格朗日函式嘛，如下，我們的目標變成了：
其中我們的
α>=0,(搞什麼，還是有約束，但約束簡單多了,一會我們說為什麼這裡要讓α>=0)，進一不講，如果我們令
我們會發現，當我們的目標條件約束不滿足時候，也就是yi(wx + b)-1<0時候，
θ(w)的最大值為正無窮(因為我們的α>=0),而如果我們的約束條件滿足是yi(wx + b)-1>=0時，我們的最大值只能為
這裡的p*是我們的原始問題的最優解，也可以看出，我們一開始規定的α>=0也就是為了得到這個式子，這樣，我們成功的將帶有複雜條件約束的問題轉變為了沒條件約束的問題。有了這個形式，我們終於可以談到我們的主角，拉格朗日對偶了。
首先我們來說明一下，我們在做一件事情時候，首先得明確我們的目的是什麼，我們做這件事情的原因是什麼。我們目的是優化
將我們的w帶回去l(w,b,
α)中可以消去我們的w,得到：
再求我們的
其中的約束條件是我們的kkt條件得到的，(我們先不討論，至於它的由來，請參考這裡，很給力的).又有的人問了，我怎麼看這一點也沒簡化呢，別著急，慢慢的你就能感覺到它的威力了。還是老規矩，我們給大家乙個簡單的小例子來對這個對偶式子有個深刻的認識，否則總感覺我們一直在說大話，空話，認識**於實踐，實踐豐富我們的認識。
不會吧，搞了半天，還不如上次那種簡單呢，哎呀，我這裡只是為了給大家舉個例子嘛，看看其優化是怎樣通過對偶實現的，有的人說了，難道我們的svm就這麼簡單，這也沒什麼。當然我這裡都是從最最簡單的例子出發的，至於其最終的優化演算法，當然不可能是這樣，下一次我們會繼續複雜化我們的svm。(大家可以看出，我的文章一般由演算法之間的聯絡到簡單問題，再一步步的複雜化，中間夾雜著小例子來說明，雖然不像別人的博文那麼專業，不過也許會更好理解一下，有什麼建議大家提一下，如果大家認為我說的對，就捧個場，如果認為我說的純粹的扯淡，那您就當逗個樂，學習的過程，本來就是這樣嗎，望大家共勉之)
機器學習（四） SVM（2）
如果w不滿足約束，也就是gi w 0 或hi w 0 這時由於 l 函式是無約束函式，i i 可以任意取值，因此 k i 1 igi w 或 li 1 i hi w 並沒有極值，也就是說 p w 反之,如果w滿足約束，則 k i 1 igi w 和 li 1 i hi w 都為0，因此 p w f ...
機器學習之SVM（粗略的筆記）
svm是 supportvectormachine的簡 稱，它的中文名 為支援向量機，屬於一種有 監督的機器 學 習演算法，可用於離散因 變數的分類和 連續因變數的 通常情況下，該演算法相 對於其他單 一的分類 演算法 如 logistic回歸 決策樹 樸素貝 葉斯 knn 等 會有更好的 準確率，...
機器學習演算法之SVM的多分類
一 svm可以直接進行多分類嗎 svm本身是對付二分類問題的，所以在處理多分類的時候需要進行必要的改造。同樣是二分類的情況，logistic回歸可以直接拓展為softmax多分類。但是svm如果直接在目標函式上進行修改的話，就是將多個分類面的引數求解合併到乙個最優化問題上，顯然難度太大，目前也沒有任...