前段時間學了拉格朗日乘子法，學會了構造拉格朗日函式，也就是學會了把帶約束（等式或不等式）的優化問題轉化為無約束優化問題，私以為這部分就學完了到此為止了，沒想到今天推導svm的數學模型，要推原問題的對偶問題，愣是艱難地卡了大半天，一直沒明白對偶問題的含義，原來拉格朗日函式得到以後還要進一步往下推出拉格朗日對偶函式，對偶函式的極值問題就是原問題的對偶問題，本文專門梳理和總結一下，以作學習記錄。本文是此文的續集，需要補充前面的知識可去逛逛，本文有的地方沒仔細解釋。
考慮最優化模型：
min f
(x)s
.t.h
k(x)
=0,g
j(x)
≤0j=
1,2…
,n;k
=1,2
…,
l\min f(x) \quad s.t.\quad h_k(x)=0\quad,\quad g_j(x)\leq0\quad j=1,2\ldots,n;k=1,2\ldots,l
minf(x
)s.t
.hk
(x)=
0,gj
(x)
≤0j=
1,2…
,n;k
=1,2
…,l引入鬆弛變數 / kkt乘子μj(
μj≥0
)\mu_j(\mu_j\geq0)
μj(μj
≥0)
，把不等式約束條件轉化為等式約束條件。
引入拉格朗日乘子λ
k\lambda_k
λk，把等式約束轉化為無約束優化問題。 l(x
,λ,μ
)=f(
x)+∑
k=1l
λkhk
(x)+
∑j=1
nμjg
j(x)
,μj≥
0\boldsymbol l(x,\boldsymbol \lambda,\boldsymbol\mu)=f(x)+\sum_^l\lambda_kh_k(x)+\sum_^n\mu_jg_j(x),\mu_j\geq0
l(x,λ,
μ)=f
(x)+
k=1∑
lλk
hk
(x)+
j=1∑
nμj
gj
(x),
μj≥0g(
λ,μ)
=infx
(l(x
,λ,μ
))
g(\boldsymbol\lambda,\boldsymbol\mu)=\inf_(\boldsymbol l(x,\boldsymbol\lambda,\boldsymbol\mu))
g(λ,μ)
=xinf(l
(x,λ
,μ))
inf 表示下確界，infimum(sup,上確界，supremum)
它只是λ,μ
\boldsymbol\lambda,\boldsymbol\mu
λ,μ的函式，與x
xx無關。
它一定是凹函式。這裡有證明。
原問題是最小化f(x
)f(x)
f(x)
，顯然，f(x
)≥l(
x,λ,
μ)
f(x)\geq \boldsymbol l(x,\boldsymbol\lambda,\boldsymbol\mu)
f(x)≥l
(x,λ
,μ)假設f
∗f^*
f∗是滿足原問題約束下的最優解，則
f ∗=
minf(
x)
≥minl
(x,λ
,μ)≥
g(λ,
μ)，μ
i≥
0f^*=\min f(x)\geq\min \boldsymbol l(x,\boldsymbol\lambda,\boldsymbol\mu)\geq g(\boldsymbol\lambda,\boldsymbol\mu) ，\mu_i\geq0
f∗=minf(
x)≥minl(
x,λ,
μ)≥g
(λ,μ
)，μi
≥0所以g(λ
,μ
)g(\boldsymbol\lambda,\boldsymbol\mu)
g(λ,μ)
是原問題最優解的下界。
找下界當然是要找最大的下界，所以匯出拉格朗日對偶問題
max g
(λ,μ
),s.
t.μi
≥0
\max g(\boldsymbol\lambda,\boldsymbol\mu), s.t.\quad\mu_i\geq0
maxg(λ
,μ),
s.t.
μi≥
0由於g(λ
,μ
)g(\boldsymbol\lambda,\boldsymbol\mu)
g(λ,μ)
一定是凹函式，所以拉格朗日對偶問題一定是凸優化問題。
原問題的關於x
xx的最小化轉化為了對偶問題關於λ,μ
\boldsymbol\lambda,\boldsymbol\mu
λ,μ的最大化。
設d
∗d^*
d∗是拉格朗日對偶問題的最優解，則不管原問題是不是凸優化問題，都一定有
d ∗=
f∗
d^*= f^*
d∗=f
∗則強對偶成立。這時對偶函式是原問題的緊緻下界。
d ∗≤
f∗
d^*\leq f^*
d∗≤f
∗則弱對偶成立。
能不能取到強對偶條件取決於目標函式和約束條件的性質。如果滿足原問題是凸優化問題，並且至少存在乙個絕對可行點(slater』s condition)（乙個可以讓所有不等式約束都不取等號的可行點），那麼就具有強對偶性。
slater條件：存在x，使得所以不等式約束g(x
)≤
0g(x)\leq0
g(x)≤0
嚴格成立(即嚴格小於)。
slater條件性質： slater條件是原問題p可以等價於對偶問題q的乙個充分條件，該條件確保了鞍點的存在。
拉格朗日對偶
參考 說下自己的理解。使用對偶是為了更容易求解，使min max f w,a,b 設為p 轉化為 max min f w,a,b 設為d d p 當等號成立時，最優解相同。若等號成立，則f w,a,b 必為馬鞍面，既凸又凹。滿足kkt條件等號可成立。當約束g 0時，a 0，這樣的點才是支援向量。先將...
拉格朗日對偶
優化理論中，目標函式f x 有多種形式 目標函式和約束條件都是x的線性函式，稱最優化問題為線性規劃 目標函式為二次函式，約束條件為線性函式，稱最優化問題為二次規劃 目標函式或約束條件為非線性函式，稱最優化問題為非線性規劃。每個線性規劃問題都有對應的對偶問題，對偶問題性質 對偶問題的對偶是原問題 原始...
拉格朗日對偶，KKT，SVM
機器學習通常轉化為數學規劃問題，拉格朗日對偶是求解帶有約束的凸規劃的乙個重要的技巧。這篇文章從先從理論的角度，介紹拉格朗日對偶的基本思想，在從支援向量機的推導上，應用上面提及的定理。對於上面的問題，原問題是一般的數學規劃，此時並不要求目標函式和約束中為凸函式。對於任意的數學規劃，如問題p，都會存在乙...