來扯一些理論基礎。
凸集的定義
定義集合c為凸集當且僅當：任取x,y∈c，θ∈[0,1]，都有 θx+(1-θ)y∈c
從幾何意義上來說，就是凸集c中的任意線段，若他的的頭尾屬於該集合，則其整體屬於該集合
凸函式的定義
函式f為從r^n對映到r的可積函式，且它需要滿足：
1、定義域為凸集
2、f(θx+(1-θ)y) <= θ*f(x)+(1-θ)*f(y)
一階條件
f(x)是凸函式當且僅當
1、f(x)的定義域為凸集。
2、f(y)>=f(x)+▽f(x)(y-x) 其中為點積
//條件2可以理解為單峰
一階條件的證明
必要性二階條件f(θx+(1-θ)y)<θf(x)+(1-θ)f(y)
⇒ (f(θx+(1-θ)y)-f(y))/θ < f(y)-f(x)
⇒ f』(x)*(y-x) <= f(y)-f(x)、
充分性
取兩點x,y,取θ，取z=θx+(1-θ)y
f(x)θ >= f(z)θ + f』(z)(x-z)θ
f(y)(1-θ) >= f(z)(1-θ) + f』(z)(y-z)(1-θ)
兩式相加得到：
f(θx+(1-θ)y)<=θf(x)+(1-θ)f(y)
f(x)是凸函式當且僅當
1、f(x)的定義域為凸集。
2、函式f為從r^n對映到r的可積函式，其二階導存在，如果▽(2) f(x)正定，則f是凸的。
//其中▽(2) f(x)指的是二階偏導矩陣
區域性最優解等價於全域性最優解
區域性最優解 <==> 全域性最優解
證明
假設x是區域性最優解，那麼任取δ>0，當0<|x-x0|<=δ，f(x)>f(x0)
根據凸函式的一階條件：對定義域上任意點y，f(y)>=f(x)+▽f(x)*(y-x)
因為x為區域性最優解，所以▽f(x)=0
所以f(y)>f(x) 對任意x!=y
即x為全域性最優解。
機器學習之凸優化基礎二
20.共軛函式 21.凸優化 優化問題的基本形式 告訴幾個等式約束求最值 區域性最優問題 22.非凸優化問題的變形 23.對偶問題 24.lagrange對偶函式 dual function lagrange 對偶函式 若沒有下確界，定義 根據定義，顯然有 對 0，v，若原優化問題有最優值p 則 進...
人工智慧與機器學習 凸優化基礎
計算幾何是對幾何外形資訊的計算機表示分析，研究的物件是幾何圖形。早期人們對於影象的研究一般都是先建立座標系，把圖形轉換成函式，然後用插值和逼近的數學方法，特別是用樣條函式作為工具來分析圖形，取得了可喜的成功。然而，這些方法過多地依賴於座標系的選取，缺乏幾何不變性，特別是用來解決某些大撓度曲線及曲線的...
機器學習7 認識凸優化
計算幾何研究的物件是幾何圖形。早期人們對於影象的研究一般都是先建立座標系，把圖形轉換成函式，然後用插值和逼近的數學方法，特別是用樣條函式作為工具來分析圖形，取得了可喜的成功。然而，這些方法過多地依賴於座標系的選取，缺乏幾何不變性，特別是用來解決某些大撓度曲線及曲線的奇異點等問題時，有一定的侷限性。我...