」凸優化「 是指一種比較特殊的優化，是指求取最小值的目標函式為凸函式的一類優化問題。其中，目標函式為凸函式且定義域為凸集的優化問題稱為無約束凸優化問題。而目標函式和不等式約束函式均為凸函式，等式約束函式為仿射函式，並且定義域為凸集的優化問題為約束優化問題
沒有系統學過數學優化，但是機器學習中又常用到這些工具和技巧，機器學習中最常見的優化當屬凸優化了，這些可以參考ng的教學資料：從中我們可以大致了解到一些凸優化的概念，比如凸集，凸函式，凸優化問題，線性規劃，二次規劃，二次約束二次規劃，半正定規劃等，從而對凸優化問題有個初步的認識。以下是幾個重要相關概念的筆記。
凸集的定義為：
其幾何意義表示為：如果集合c中任意2個元素連線上的點也在集合c中，則c為凸集。其示意圖如下所示：
常見的凸集有：
n維實數空間；一些範數約束形式的集合；仿射子空間；凸集的交集；n維半正定矩陣集；這些都可以通過凸集的定義去證明。
凸函式的定義為：
其幾何意義表示為函式任意兩點連線上的值大於對應自變數處的函式值，示意圖如下：
凸函式的一階充要條件為：
其中要求f一階可微。
二階充要條件為：
其中要求f二階可微，表示二階導數需大於0才是凸函式。
常見的凸函式有：指數函式族；非負對數函式；仿射函式；二次函式；常見的範數函式；凸函式非負加權的和等。這些可以採用上面2個充要條件或者定義去證明。
凸優化問題（opt）的定義為：
即要求目標函式是凸函式，變數所屬集合是凸集合的優化問題。或者目標函式是凸函式，變數的約束函式是凸函式（不等式約束時），或者是仿射函式（等式約束時）。
對於凸優化問題來說，區域性最優解就是全域性最優解。
常見的凸優化問題包括：
線性規劃（lp）：該問題是優化下面的式子：
其中那個不常見的奇怪符號表示按元素小於等於，後面出現類似符號可以類似理解。
二次規劃（qp）：該問題是優化下面的式子：
二次約束的二次規劃（qcqp）：該問題是優化下面的式子：
半正定規劃（sdp）：該問題是優化下面的式子：
按照文章說sdp在機器學習領域應用很廣，最近很流行，不過我好像沒太接觸到過。
004凸優化理論
最優化理論中，有三種型別的優化，他們分別是 無約束優化 等式約束優化 不等式約束優化，如下所示 千萬注意到 如果是凸問題，那麼這裡必須是小於等於號，也就是函式值要小於中間值，可結合影象理解，只有在這種情況下，gi x 是凸函式才能構成凸優化區域從而構成凸優化問題！學過本科多元函式極值之後我們懂得了 ...
凸優化 非凸優化
凸 convex vs 非凸的概念，數學定義就不寫了，介紹個直觀判斷乙個集合是否為convex的方法，如下圖 簡單的測試乙個集合是不是凸的，只要任意取集合中的倆個點並連線，如果說連線段完全被包含在此集合中，那麼這個集合就是凸集，例如左圖所示。凸優化有個非常重要的定理，即任何區域性最優解即為全域性最優...
最優化理論與凸優化到底是幹嘛的？
凸優化的定義 1.1 凸優化 1.2 全域性最優化與區域性最優化 least squares and linear programming 最小二乘與線性規劃 2.1 最小二乘 2.2 線性規劃 最優化方法的一般結構 優化理論在機器學習，深度學習中扮演的角色 1.優化的定義 1.1 凸優化 最優化問...