筆記是根據《convex optimization》寫的，對應第3章。
3 凸函式
3.1 基本性質及例子
滿足如下條件的從n維對映到1維的函式稱凸函式：
f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)
其中0≤θ≤10≤θ≤1。凸函式的一維導數有如下性質：
f(y)≥f(x)+∇f(x)t(y−x)f(y)≥f(x)+∇f(x)t(y−x)
可以注意到其實等號右邊是ff在xx上的一階泰勒展開式。另外，凸函式的二階導數大於或等於0。凸函式舉例如下：
1) 指數函式eaxeax
2) 冪函式xaxa，其中xx大於或等於0，當aa不屬於0-1範圍內時為凸函式，否則為凹函式
3) 絕對值的冪函式|x|a|x|a，其中a>1a>1
4) 對數函式logxlogx
5) 負熵xlogxxlogx
6) 範數
7) 最大值函式max(x)max(x)
8) 二次-線性分式函式f(x,y)=x2/yf(x,y)=x2/y，yy大於0
9) 指數和的對數f(x)=log(ex1+ex2+,…,+exn)f(x)=log(ex1+ex2+,…,+exn).這其實是乙個soft-max
10) 幾何平均f(x)=(∏ni=1xi)1/nf(x)=(∏i=1nxi)1/n
11) 行列式的對數log|a|log|a|，其中aa矩陣正定
另外還有兩個概念。下水平集：即函式值小於某個閾值對應的定義域。上鏡圖：即，這是一片函式之上的區域。同時，凸函式滿足jensen不等式。
3.2 保凸運算
1)非負加權和，即把多個函式乘上乙個非負的權重加起來。
2)復合仿射
g(x)=f(ax+b)g(x)=f(ax+b)
如果ff是凸的，則gg是凸的。如果ff是凹的，gg也是凹的。即對自變數仿射後保凸。
3)逐點最大，即多個函式中相同自變數取其中最大者，該運算保凸。
4)復合
設f(x)=h(g(x))f(x)=h(g(x))，則有如下情況：
如果hh是凸函式且非減，gg是凸函式，則ff是凸函式。
如果hh是凸函式且非增，gg是凹函式，則ff是凸函式。
如果hh是凹函式且非減，gg是凹函式，則ff是凹函式。
如果hh是凹函式且非增，gg是凸函式，則ff是凹函式。
ff的拓展函式與上相同。
5)下界
g(x)=inf(y∈c)f(x,y)g(x)=inf(y∈c)f(x,y)
如果ff在(x,y)(x,y)中是凸的，則gg也是凸的。
6)透視函式
g(x,t)=tf(x/t)g(x,t)=tf(x/t)
其中tt大於0.如果f是凸的，則gg是凸的，如果ff是凹的，gg也是凹的。
3.3 共軛函式
共軛函式表示式是：
f∗(y)=supx(ytx−f(x))f∗(y)=supx(ytx−f(x))
其中supsup是求上界。其含義是，給定yy時平面ytxytx到f(x)f(x)的最大距離。下圖的虛線即平面ytxytx，ytxytx到f(x)f(x)的最大距離出現在f(x)f(x)斜率為yy的切線上。任何函式的共軛函式都是凸的，因為從表示式中可以看到f∗(y)f∗(y)是yy的仿射。
共軛函式的求法是令xy−f(x)xy−f(x)，帶入f(x)f(x)的表示式中並對xx求導，使求導結果等於0(即求f(x)f(x)與xyxy距離的最值)，把xx的結果回代進f∗(y)=xy−f(x)f∗(y)=xy−f(x)即可。
3.4 擬凸函式
如果乙個函式的下水平集(sublevel sets)是凸集，則該函式是擬凸函式。例如：
1) 對數函式logxlogx
2) 上取整函式ceil(x)=infceil(x)=inf
3) 向量的長度
4) f(x1,x2)=x1x2f(x1,x2)=x1x2，由於該矩陣的hessian矩陣不是正定，也不是負定，但是其下水平集是凸集。
5) 線性分式f(x)=(atx+b)/(ctx+d)f(x)=(atx+b)/(ctx+d)
對於乙個函式來說，如果滿足其非減，或非增，或存在乙個點函式小於該點非增，大於該點非減，則該函式為擬凸的。
3.5 對數凸函式
如果函式的值域大於0，並且logf(x)logf(x)是凸的，則該函式成對數凸函式。對數凹函式同理。例如：
1) 仿射函式
2) 冪函式f(x)=xaf(x)=xa，其中xx大於0且aa小於等於0.若aa大於等於0則為對數凹函式
3) 指數函式
4) 高斯分布的累積分布函式
5) gamma函式
6) 矩陣的行列式
7) 矩陣的行列式除以跡
需要注意，兩個對數凸函式相乘依然是對數凸函式，相加卻未必。兩個對數凸函式的卷積運算是對數凸函式。對數凸函式的積分運算是對數凸函式。
凸優化筆記 三 凸函式
1 若函式f rn r 是凸的，有個很重要的前提，do mf是凸集。2 函式是凸的，當且僅當其在與其定義域相交的任何直線上都是凸的？直線x tv與dom f 相交，且f x tv 是凸的，為什麼能證明f x 是凸的？3 拓展值延伸，起到自動定義定義域的作用，引出示性函式。4 一階條件，f 可微是由梯...
凸優化 最優化 凸集 凸函式
原文 我們知道壓縮感知主要有三個東西 訊號的稀疏性，測量矩陣的設計，重建演算法的設計。那麼，在重建演算法中，如何對問題建立數學模型並求解，這就涉及到了最優化或凸優化的相關知識。在壓縮感知中，大部分情況下都轉換為凸優化問題，並通過最優化方法來求解，因此了解相關知識就顯得尤為重要了。主要內容 問題引出 ...
凸函式與凸優化 轉
影象 定義 設x1 x1 x1和x 2 x2 x2為函式f x 定義域內的任意兩個實數，且x 1 x1 x1 t 2 x2 x2,恒有 x1 x 2 x 1 x 2 則稱f x 是定義域上的凸函式。判定 凸函式的判定 f x 在區間 a,b 上連續，在 a,b 內二階可導，那麼 一階判定條件 設f ...