這幾天一直在看支援向量機，然後就是大量大量的數學公式，一直迷迷糊糊的，然後一直遇到拉格朗日，拉格朗日，原來數學基礎也不好，沒怎麼學過，於是下定決心要把拉格朗日乘子法搞懂，花了幾天，看了一些文章，算是對拉格朗日乘子法有了簡單的了解，下面就和大家簡單的分享分享啦！
我們在求解優化問題的時候，可能小夥伴們遇到的最大的困難就是約束條件了，想想如果沒有約束條件是一件多麼愉快的事情，但是往往事與願違哈哈！一般我們遇到比較簡單一點問題的可能就是等式約束，但是稍微複雜一點的題目都會涉及到不等式約束，所以，這個時候就要根據實際情況選取不同的方法咯。一般情況下，最優化問題會有三類：
（一）、無約束條件
這種情況想都不用想，直接對變數求導等於0，代入原函式驗證即可。
（二）、等式約束條件
我們假定目標函式為f(x)，約束條件為h_k(x)。
mi
nf(x
) min
f(x)
（最大值最小值問題可以相互轉化）
s.
t.hk
(x)=
0，k=
1,2,
3...s.
t.hk
(x)=
0，k=
1,2,
3...
2. 解變數的偏導方程
3. 代入目標函式即可
是不是看上去很簡單，其實的確不麻煩（==，吐槽一下當時看向量機的時候，還一直糾結著看不懂，但其實本身這個方法並沒有想象的那麼難）。關鍵在於構造拉格朗日函式，後面求解實際上就是高數裡面基本的求偏導數的問題了。我們不妨另：
f(
x,λ)
=f(x
)+∑l
k=1λ
khk(x)f
(x,λ
)=f(
x)+∑
k=1l
λkhk
(x
)（公式不好打！！！）
然後分別對每乙個變數求導，得出來的解代入目標函式就ok了！
∂f
λk=0∂f
λk=0
∂f
xi=0∂f
xi=0
…
（三）、不等式約束條件
不等式約束相比於等式約束，要複雜一點，而且通常情況下，不等式約束和等式約束總喜歡一起出現，在這裡，為了更好的解決該問題，除了拉格朗日乘子外，我們引入了kkt條件。什麼是kkt條件呢？kkt條件是怎麼來的呢？我們不妨先看看我們的問題：
mi
nf(x
) min
f(x)
s.
t.hi
(x)=
0，i=
1,2,
3...
p s.t
.hi(
x)=0
，i=1
,2
,3...
p
s.
t.gj
(x)<=0，
j=1,
2,3...
q s.t
.gj(
x)
<=0，
j=1,
2,
3...
q
那麼我們定義的拉格朗日函式又是什麼呢，其實很容易想到：
f(
x,λ,
l)=f
(x)+
∑pi=
1λih
i(x)
+∑qj
=1uj
gj(x
) f(x
,λ,l
)=f(
x)+∑
i=1p
λihi
(x)+
∑j=1
qujg
j(x)
其中，f(x)是目標函式，hi
(x) hi(
x)
是第i個等式約束條件，λi
λ
i是對應的約束係數，gj
(x) gj(
x)
是不等式約束，uj
u
j是對應的約束係數。這裡把目標函式，等式約束，不等式約束融合到了乙個式子裡，這時候kkt約束就出場了：
(1). f(
x,λ,
l)f (x
,λ,l
)** 對
x x
求偏導為 0；
(2).h(
x)=0h(
x)=0
；
(3).a∗
g(x)=0a
∗g(x
)=
0；
拉格朗日乘子法求解優化問題是很有效的方法，對於限制條件比較多的情況下，特別是限制條件較為複雜的情況下，利用該方法可以很容易的求解出來。
第二點：約束條件其實就是限定了問題的解決範圍，學會如何轉化和考量限制條件是解決問題的關鍵。
第三點：基礎知識的重要性，比如說高數如果學不好的話，在kkt條件的推導過程中，會遇到很多痛苦（對於數學基礎不好的我感觸尤深 = =）。
就這樣啦，第一次部落格，問題挺多的，後面再加強！！！
演算法基礎入門 數論（數學知識基礎）
篩選質數 二 約數 未完待續 質數即因子只有1和他本身的數。常用的有分解質因數，下邊根據題目來解釋一下如何分解質因數。輸出質因子在左邊，該質因子出現的次數在右邊，每個正整數的質因子輸出完畢之後，輸出乙個空行 分解質因數 分解質因數時間複雜度為 o sqrt n 題目 acwing 原題通道 給定n個...
數值分析數學知識補充 一
弱對角優勢 上面式子的大於改為大於等於，且至少有乙個 公式 嚴格大於成立.可以利用矩陣的上述性質，得到收斂性。定理1 嚴格對角優勢 唯一解 jacobi和gauss seidel均收斂.定理2 弱對角優勢 不可約 唯一解 jacobi和gauss seidel均收斂.定理3 對稱正定矩陣 唯一解 g...
關於熵的一些數學知識
一些資訊熵的含義 1 資訊熵的定義 假設x是乙個離散隨即變數，即它的取值範圍r 是有限可數的。設pi p，x的熵定義為 若 a 式中，對數的底為2，則熵表示為h2 x 此時以2為基底的熵單位是bits，即位。若某一項pi 0，則定義該項的pilogpi 1為0。2 設r 並定義p p，p 1 p。則...