筆記是根據《convex optimization》寫的,對應第2章。
2 凸集
2.1 凸集(convex sets)
如果在集合cc中的任意兩點滿足:
θx1+(1−θ)x2∈cθx1+(1−θ)x2∈c
其中0≤θ≤10≤θ≤1,則集合cc為凸集
2.2 重要例子
1) 超平面與半空間(hyperplanes and halfspaces)
超平面定義為,半空間被定義為。從直觀上看,超平面在空間中為一塊板子,劃分的兩邊則分別為半空間。
2) 球和橢球
球的形式為
==橢球的形式為
其中pp是對稱的正定矩陣。
3) 範數球和範數錐
範數球為:
範數錐為:
4) 多面體
5) 半正定錐
滿足如下條件的集合sn+s+n是凸集:θ1、θ2≥0θ1、θ2≥0並且a,b∈sn+a,b∈s+n,則θ1a+θ2b∈sn+θ1a+θ2b∈s+n。其中sn+s+n是半正定矩陣。
2.3 保凸運算
1) 交集
如果aa與bb均為凸集,則a與b的交集也為凸集。
2) 仿射函式
仿射函式即線性函式加常數。如果xx為凸集,則f(x)=ax+bf(x)=ax+b為凸集。仿射函式的逆函式也保凸。
3) 線性分式以及透視函式
透視函式即p(z,t)=z/tp(z,t)=z/t,這裡zz是n−1n−1維向量,tt是最後一維分量。例如p(x1,x2,x3)=p(x1,x2,x3)=,pp的定義域是正定對稱矩陣。從幾何上看,透視函式類似小孔成像,是從高維到低維的對映。
線性分式即f(x)=(ax+b)/(ctx+d)f(x)=(ax+b)/(ctx+d)其定義域為。其逆函式也保凸。線性分式可看做在原集合內做拉伸,故而保凸。
2.4 廣義不等式
廣義不等式即定義了擁有多個分量的變數之間的比較:
x≥ky⟺x−y∈kx≥ky⟺x−y∈k
x>ky⟺x−y∈int(k)x>ky⟺x−y∈int(k)
int(k)int(k)即kk的內部的點。注意kk必須為凸的、閉的、有非空內部且不包含直線。
2.5 minimum and minimal
minimum即能和集合內所有點進行比較,且最小。minimal即在集合內能比較的所有點中最小。
左圖為minimum,右圖為minimal。
2.6 分割面與支撐面
分割麵即能將兩個集合分開的超平面,有嚴格不嚴格之分,嚴格即兩個集合沒有交點。兩個凸集一定存在乙個分割面。
支撐麵即集合邊緣有個點使得atx≤atx0atx≤atx0成立。其中x是集合內的點,a≠0a≠0。
凸優化學習筆記 1 凸集
筆記是根據 convex optimization 寫的,序號對應章。2 凸集 2.1 凸集 convex sets 如果在集合 c 中的任意兩點滿足 x 1 1 x 2 c其中 0 1 則集合 c 為凸集 2.2 重要例子 1 超平面與半空間 hyperplanes and halfspaces ...
凸優化(一)仿射集與凸集
從這裡開始,為了複習所學知識,也是為了更加深刻地 優化理論中的相關知識,所以將凸優化中的基礎概念做乙個整理,然後形成乙個凸優化系列隨筆。本系列將涉及部分數學推導,強調理論性,所以按需閱讀 能不能通俗地表達出來我就不知道了 凸優化問題通俗地講,是一種優化問題,而且是一種簡單的優化問題 因為生活中大部分...
凸優化 最優化 凸集 凸函式
原文 我們知道壓縮感知主要有三個東西 訊號的稀疏性,測量矩陣的設計,重建演算法的設計。那麼,在重建演算法中,如何對問題建立數學模型並求解,這就涉及到了最優化或凸優化的相關知識。在壓縮感知中,大部分情況下都轉換為凸優化問題,並通過最優化方法來求解,因此了解相關知識就顯得尤為重要了。主要內容 問題引出 ...