？凸優化在數學優化中有著重要且特殊的身份。數學優化是乙個廣泛的話題，理解凸優化之前，請先理解線性優化。在機器學習演算法中，已知的比如logisticregression,svm,都與數學優化有關，在數學中，不存在無約束優化問題。比較常見的構建損失函式方法，從最簡單的兩個向量的二階範數的平方(knn,kmeans)到linearregression、logisticregression的最小二乘模型，再到svm的二次凸優化，都和數學優化理論緊密相關。本篇筆記主要學習數學優化的前奏部分：凸優化的概念部分。
1.1.1數學優化
這是數學優化的最基本形式。其中，x = (x1,x2,……xn)稱為優化變數，函式
在機器學習理論的推導中，一般只考慮特殊的優化問題，線性優化問題。對於上式，如果目標函式和約束函式都是線性函式，即對於任意的
則此問題成為線性規劃。在機器學習演算法中，還需要進一步特化，就是凸優化。凸優化中目標函式和約束函式都屬於凸函式，即對於任意的
對於凸優化問題，我們認為目標函式是成本函式，在優化變數滿足約束的情況下，讓成本或者損失最小。
1.1.2 線性優化問題的求解
在工程實際應用中，我們需要的是得到稀疏性的解，不僅可以減少迭代次數，還可以解決過擬合問題，增強模型的解釋能力。關於sparse問題，有專門的研究課題(比如lasso學術研究，cd演算法，lar演算法)，這裡不討論。對於優化問題的求解，有兩類非常重要且廣泛的求解方法：最小二乘法和線性規劃問題。還有一類特殊的優化方法：凸優化。
1.2 最小二乘問題
用數學公式來解釋，最小二乘問題屬於特殊的數學優化問題，沒有約束(m=0)。目標函式其實是由偏差組成的列向量的二階範數的平方(個人理解),如下形式的優化：
正則化是此類問題的熱點。上個世紀90年代，有學者提出lasso，此後**被引用了14000多次，由此可見lasso的重要性。在機器學習中，提高模型的泛化能力很重要。logisticregression的處理主要有嶺回歸和l1範數，關於這方面，專門寫一篇部落格。
1.2.2 線性規劃
另一模擬較重要的問題是線性規劃。如下形式：
這個公式和前面的最小二乘很相似，不同的是這個公式取偏差的絕對值的最大值作為優化目標。求解這個問題，可以轉換成如下形式的線性規劃問題：
1.3 凸優化
svm就屬於典型的凸優化範疇。求解凸優化問題並不是一件特別難的事兒，難的在於如何判斷問題屬於凸優化問題，如何轉化成凸優化問題。在機器學習的範疇中，更多的是凸優化和非凸優化的判斷。求解凸優化的方法有內點法，但是凸優化的求解並不像最小二乘和線性規劃那樣成熟。凸優化的形式和公式①一樣，目標函式和約束函式都是凸函式。
posted @
2017-03-19 11:03
佟學強 閱讀(
...)
編輯收藏
凸優化學習筆記 1 凸集
筆記是根據 convex optimization 寫的，序號對應章。2 凸集 2.1 凸集 convex sets 如果在集合 c 中的任意兩點滿足 x 1 1 x 2 c其中 0 1 則集合 c 為凸集 2.2 重要例子 1 超平面與半空間 hyperplanes and halfspaces ...
凸優化學習筆記 1 仿射集合和凸集
設x 1 和x2 為rn空間中兩個點，且x1 x2 那麼 y x1 1 x2,r 組成了一條穿過x1 和x2 的直線。如果 0 則y x2，如果 1 y x1。當 0,1 時，y 組成了x1 和x2 之間的線段。如果有集合c rn，且穿過集合 c 中任意兩點的直線仍然在集合 c中，則稱該集合是仿射的...
凸優化學習（一） 介紹
注意，本文內容來自於吳恩達老師cs229課堂筆記的中文翻譯專案 中的凸優化部分的內容進行翻譯學習。1.介紹 在很多時候，我們進行機器學習演算法時希望優化某些函式的值。即，給定乙個函式f r n rf r n rightarrow r f rn r 我們想求出使函式f x f x f x 最小化 或最...