在求 12
||w|
|2s.
t.yi
(wtx
+b)>=1i
=1,.
..,n
的最小值時 ，svm的推導中引入了朗格朗日對偶，來巧妙的將原問題轉化為對偶問題，使得可以使用kkt條件來求解。推到解釋如下圖所示：
因為對偶問題ma
x(mi
n(l(
w,b,
α)))
的任意解都要小於等於原問題 mi
n(ma
x(l(
w,b,
α)))
的任意解，所以在求原問題的最小解時，如果對偶問題中有某個解和原問題中的解相等，並且由於對偶問題的解一定小於等於原問題的任意解，所以對偶問題中的那個和原問題某個解相等的解就是原問題的最小解。所以重點是如何使得對偶問題中有乙個解能和原問題的中解相等，根據數學定理可以發現，在滿足kkt條件下，對偶問題的最大解就等於原問題中的最小解，並且這是唯一一中相等的可能。
拉格朗日對偶
參考 說下自己的理解。使用對偶是為了更容易求解，使min max f w,a,b 設為p 轉化為 max min f w,a,b 設為d d p 當等號成立時，最優解相同。若等號成立，則f w,a,b 必為馬鞍面，既凸又凹。滿足kkt條件等號可成立。當約束g 0時，a 0，這樣的點才是支援向量。先將...
拉格朗日對偶
優化理論中，目標函式f x 有多種形式 目標函式和約束條件都是x的線性函式，稱最優化問題為線性規劃 目標函式為二次函式，約束條件為線性函式，稱最優化問題為二次規劃 目標函式或約束條件為非線性函式，稱最優化問題為非線性規劃。每個線性規劃問題都有對應的對偶問題，對偶問題性質 對偶問題的對偶是原問題 原始...
拉格朗日對偶函式 拉格朗日對偶問題
前段時間學了拉格朗日乘子法，學會了構造拉格朗日函式，也就是學會了把帶約束 等式或不等式 的優化問題轉化為無約束優化問題，私以為這部分就學完了到此為止了，沒想到今天推導svm的數學模型，要推原問題的對偶問題，愣是艱難地卡了大半天，一直沒明白對偶問題的含義，原來拉格朗日函式得到以後還要進一步往下推出拉格...