這個問題等價於（為了方便求解，我在這裡加上了平方，還有乙個係數，顯然這兩個問題是等價的值）：
min12
∥w∥2
s.t.
,yi(
wtxi
+b)≥
1,i=
1,…,
n很明顯，我們已經將原來的目標函式轉換為了乙個凸函式問題，可以用任何現成的
qp (quadratic programming)
的優化包進行求解。然而求解這種問題還有一種更有效的方法，通過
lagrange duality
變換到對偶變數 (dual variable) 的優化問題。
lagrange duality
變換：
任意乙個帶約束的優化問題都可以寫成下面的形式：
mins.t
.f0(
x)fi
(x)≤
0,i=
1,…,
mhi(
x)=0
,i=1
,…,p
我們希望把約束問題轉化為無約束的優化問題，定義lagrangian 如下：
mins.t
.f0(
x)fi
(x)≤
0,i=
1,…,
mhi(
x)=0
,i=1
,…,p
現在讓它針對
λ和 ν
最大化令：
這裡代表的每乙個元素都是非負的，對於每乙個滿足約束條件的x來說=f0(x),這樣原始的約束問題就變成了求解minz(x)了。即：原來的lagrange問題變成了：
這個問題被稱為primal問題，而對應的dual問題則是：
下面將利用數學嚴格推導兩者之間的關係：
令為primal problem的下界p∗
那麼記，dual problem 的上界為d
∗，那麼有
則而在svm中前提的假設是
這個等式成立的條件則是要滿足slater 條件和 kkt 條件。
這兩個條件在下一章闡述。
機器學習 支援向量機 SVM
svm 方法的基本思想是 定義最優線性超平面，並把尋找最優線性超平面的演算法歸結為求解乙個凸規劃問題。進而基於 mercer 核展開定理，通過非線性對映 把樣本空間對映到乙個高維乃至於無窮維的特徵空間 hilbert 空間 使在特徵空間中可以應用線性學習機的方法解決樣本空間中的高度非線性分類和回歸等...
機器學習 支援向量機SVM
svm是一種監督學習演算法，主要用於分類 回歸 異常值檢測。目前應用於文字分類 手寫文字識別 影象分類 生物序列分析。支援向量機是一種通過某種非線性對映，把低維的非線性可分轉化為高維的線性可分，在高維空間進行線性分析的演算法。支援向量機 svm，support vector machine 是根據統...
機器學習 支援向量機SVM
通俗詳見 要明白什麼是svm，便得從分類說起。分類作為資料探勘領域中一項非常重要的任務，它的目的是學會乙個分類函式或分類模型 或者叫做分類器 而支援向量機本身便是一種監督式學習的方法 至於具體什麼是監督學習與非監督學習，請參見此系列machine l data mining第一篇 它廣泛的應用於統計...