由於本文包含大量公式，且排版不大好看，所以使用csdn的markdown編輯器重新編輯本文如下：
markdown編輯的版本
l
(x,λ
,ν)=
f0(x
)+∑λ
ifi(
x)+∑
νihi
(x)
這個理解來自於斯坦福的課程——凸優化：
「我們注意到標準形式線性規劃和不等式形式線性規劃以及它們的對偶問題之間的有趣的對稱性：標準形式線性規劃的對偶問題是只含有不等式約束的線性規劃問題，反之亦然。」
為了完整性，下面列出以上提到的兩個線性規劃問題。
標準形式線性規劃：
mins.
t.ct
xax=
bx≥0
不等式形式線性規劃：
maxs.t
.−bt
νatν
+c≥0
該理解說明了對偶問題真的具有對偶性，但是並沒有說明對偶問題具有對偶性的原因。接下來將說明這一點。
這個理解同樣來自於斯坦福的課程——機器學習：
一句話總結：調換對偶問題中對拉格朗日函式取最大化、最小化的順序即可得到與原問題等價的優化問題。即，對偶問題是對拉格朗日函式先取最小化，再取最大化；而原問題則是對拉格朗日函式先取最大化，再取最小化。
為了對比兩優化問題之間的對偶性，我先列出對偶問題的形式： g
d(λ,
ν)=minxl
(x,λ
,ν)d
∗=maxλ≥0
,νgd
(λ,ν
) 其中下標
d 表示對偶問題。考慮對換取最小化和最大化的順序：gp
(x)=
maxλ≥0
,νl(
x,λ,
ν)p∗
=minxg
p(x)
其中下標
p 表示原問題。
定理：上式中p∗
就是原問題的最優解。
證明：當
x 不滿足約束條件時：fi
(x)>0⇒
gp(x
)=∞
只要對應的λi
取無窮大即可。hi
(x)≠
0⇒gp
(x)=
∞
只要對應的νi
取無窮大或無窮小即可。 當
x 滿足約束條件時：hi
(x)=
0 ，所以∑ν
ihi(
x)=0
；fi(
x)≤0
，所以為了使gp
(x) 最大化，則必須有∑λ
ifi(
x)=0
，因此gp
(x)=
f0(x
) 。總結得： g
p(x)
={∞f
0(x)
x不滿足
約束條件
else
因此p∗
為原問題最優解。以上，證畢。
關於拉格朗日對偶問題中對偶性的理解
首先說明本文討論用的符號，拉格朗日函式 l x,f0 x ifi x ihi x 這個理解來自於斯坦福的課程 凸優化 我們注意到標準形式線性規劃和不等式形式線性規劃以及它們的對偶問題之間的有趣的對稱性 標準形式線性規劃的對偶問題是只含有不等式約束的線性規劃問題，反之亦然。為了完整性，下面列出以上提到...
拉格朗日對偶性
在支援向量機中，需要用拉格朗日對偶性將原始問題轉換成對偶問題，解得對偶問題的解從而得到原始問題的解。在此簡單介紹拉格朗日對偶性的基本原理和方法。假設f x ci x hj x 是定義在rn 上的連續可微函式。考慮約束最優化問題 minx r nf x s.t ci x hj x 0,i 1,2,k ...
拉格朗日對偶性
拉格朗日對偶性常常被用來解決有約束條件的最優化問題，在最大熵模型或者支援向量機的優化中最為常見，其主要思路就是將帶約束條件的原始為題轉換為沒有約束條件的對偶問題。首先呈現以下原始問題，我們在做優化的時候，會遇到需要優化乙個函式 f x 這個函式還帶著兩個約束條件，這裡分別用 ci x 和 hj x ...