深度學習中，凸優化的重要性不言而喻。為了更好的理解凸優化，這裡對凸學習問題、凸性及相關性質做乙個簡單總結：
這裡我們依次來了解其中各個性質。
1. 凸集
定義：設c是向量空間中的乙個集合，若對c中任意兩點u和v，連線他們的線段仍在c中，那麼集合c是乙個凸集。
也即，對任一實數α∈[0, 1]，都有
引用自我愛機器學習
根據定義，圖1中左圖為凸集，右圖為非凸集。
2. 凸函式
定義：設c是乙個凸集，如果對任意的u，v∈c及α∈[0, 1]，函式f:c→r滿足
f(αu + (1-α)v) ≤ αf(u) + (1-α)f(v)則稱f為c上的凸函式。
性質1: 凸函式的每乙個區域性極小值也是全域性極小值。
性質2: 對於凸可微函式，有：
∀u, f(u) ≥ f(w) +性質一，通過任意小的α構造u和u+α(v-u)資料同一區域性域中，再結合凸函式定義即可證明。
性質二，通過偏導的定義，令α→0，再結合凸函式定義即可證明。
證明過程就不再贅述。
引理：設f:r→r是乙個二階可微的標量函式，則下列命題等價：
3. 利普希茨性
定義：設c∈rd, f:rd→rk,如果對於任意的w1，w2∈c， 有
||f(w1) - f(w2)|| ≤ ρ|| w1-w2 ||那麼， f是ρ-利普希茨的。
直觀的講，利普希茨函式變化不會太快。
對於可微函式，由中值定理可知
f(w1) - f(w2) = f』(u)(w1-w2)其中u位於w1，w2之間，若f的導數絕對值處處以 ρ為界，則函式f是 ρ-利普希茨的。
4. 光滑性
定義：如果可微函式f:rd→r的梯度是ρ-利普希茨的，即對於所有的v，w滿足||▽f(v) - ▽f(w)|| ≤ ρ|| v-w ||，那麼f是ρ-光滑。
如果乙個函式既凸又光滑時，我們可以同時得到函式與其一階近似差值的上下界，這種函式也稱為自有界函式。
定義：如果假設類h是凸集，且對於任意的z∈樣本集z，損失函式l是凸函式，那麼學習問題（h，z，l）是凸的。
1. 凸學習問題的可學習性
不是rd上所有的凸學習問題都是可學習的，還需新增一些額外的約束條件使其可學習，比如可以假設損失函式具有利普希茨性或光滑性。
2. 凸利普希茨有界學習
如果假設類h是乙個凸集，且對於所有的w∈h都成立||w|| ≤ b; 對於所有的z∈z， 損失函式是凸的且是ρ-利普希茨，則稱學習問題（h，z，l）是凸利普希茨有界的。
3.凸光滑有界學習
如果假設類h是乙個凸集，且對於所有的w∈h都成立||w|| ≤ b; 對於所有的z∈z， 損失函式是凸的，非負的且是ρ-光滑，則稱學習問題（h，z，l）是凸光滑有界的。
動手學深度學習之深度學習基礎
資料集的形式主要有三種 訓練集測試集 測試資料集不可以用來調參 驗證集 k折交叉驗證 把原始資料分成k組，每次訓練時，使用k 1個子資料集訓練，使用乙個作為驗證，最後通過k次求取訓練誤差和驗證誤差的平均。過擬合 overfitting 模型的訓練誤差遠小於它在測試資料集上的誤差 欠擬合 underf...
機器學習之凸優化基礎二
20.共軛函式 21.凸優化 優化問題的基本形式 告訴幾個等式約束求最值 區域性最優問題 22.非凸優化問題的變形 23.對偶問題 24.lagrange對偶函式 dual function lagrange 對偶函式 若沒有下確界，定義 根據定義，顯然有 對 0，v，若原優化問題有最優值p 則 進...
Linux學習之基礎篇
將乙個檔案的屬性改為 rwxr xr 1 chmod 754 filename 或 chmod u rwx,g rx,o r filename 更改乙個檔案的擁有者與群組 1 chown,chgrp 刪除資料夾 1 rm rf filenamede 刪除資料夾例項 刪除檔案 1 rm f filen...