為什麼要求解對偶問題?一是對偶問題往往更容易求解,二是可以自然的引入核函式。
原問題是:
寫出它的拉格朗日函式:
然後我們的原問題就等價為:
為什麼可以這樣等價:
即:對於不滿足約束條件的(b,w),min裡面趨於無窮大,因此min就把這些b,w捨去了;對於滿足約束條件的解,min裡面就剛好是原來的目標函式,剛好與原問題等價。
首先我們有如下成立:
然後我們取右邊式子中的「best」阿爾法,仍然會有大於等於號成立,因為best is one of any:
這時右邊的式子就是對偶問題。這裡直接給出乙個定理,當滿足下面條件時(對於svm來說剛好滿足),原始問題和對偶問題的解是相同的:
並且它們的最優解滿足kkt條件:偏導為0,對偶互補,拉格朗日乘子大於0.
我們的對偶問題現在是:
根據kkt條件,我們有:
把第乙個代進來:
再把第二個代進來:
這時候,我們的問題裡面就只剩乙個引數阿爾法了。再把平方項展開,寫的好看一點,就得到了標準的硬間隔svm對偶問題:
還是解qp那一套:
之後再求w和b:
(所有支援向量的加權和)
(任取乙個支援向量算出)
引出對偶問題後,我們重現定義支援向量為阿爾法大於0的向量。他們一定是在邊界上的(統計學習方法p107),但是在邊界上的不一定阿爾法大於0:
前面我們也提到過,w和b的計算只需要支援向量,其他向量都是無用的:
機器學習,詳解SVM軟間隔與對偶問題
那針對這樣的問題我們應該怎麼解決呢?在上文當中我們說了,在實際的場景當中,資料不可能是百分百線性可分的,即使真的能硬生生地找到這樣的乙個分隔平面區分開樣本,那麼也很有可能陷入過擬合當中,也是不值得追求的。因此,我們需要對分類器的標準稍稍放鬆,允許部分樣本出錯。但是這就帶來了乙個問題,在硬間隔的場景當...
對偶學習 機器學習
2016 12 07 近年來,以深度學習為代表的人工智慧技術取得了長足的進步,在很多應用取得了巨大的成功。在影象識別中,深度學習已經超過了人類的水平,最近微軟剛剛宣布在語音識別中也超過了人類的平均水平,在機器翻譯中基於深度學習的模型也超過了以前的統計機器翻譯,另外基於深度學習的阿法狗也打敗了圍棋世界...
機器學習 SVM
svm 支援向量機是個二分類模型。給定給乙個包含正例和反例的樣本集合,svm的目的是尋找乙個超平面來對樣本根據正例和反例進行分割。保證最大間隔,間隔最大可以有效避免在分類面上的樣本的誤判率。網上也是對其推崇備至,認為不管什麼任務,先跑跑svm和rf。對於超平面的求取,是乙個凸二次規劃問題,牽扯到對偶...