部分解中的最優，區域性最優，不一定是真的最優
1. 貪心法：只和前面的乙個比較，，顯然這樣的效率很高，但得到的最優解質量也很差。
2. 爬山法：不僅和前乙個解比較，也和後乙個解比較，如果比前面和後面的解都優，那麼就認為它是最優解。
3. 模擬退火演算法：在區域性最優解能概率性地跳出並最終趨於全域性最優，概率逐漸變小。模擬退火演算法的關鍵在於控制溫度（概率）降低快慢的引數r，這個引數範圍是04. 遺傳演算法是是進化演算法的一種。可以用精英主義原則來對基本遺傳演算法進行優化。所謂精英主義原則，就是為了防止進化過程中產生的最優解被交叉和變異所破壞，可以將每一代中的最優解原封不動的複製到下一代中。
5.蟻群演算法（antcolonyoptimization,aco），又稱螞蟻演算法，是一種用來在圖中尋找優化路徑的機率型演算法。某一條路徑走過的螞蟻越多，後面的螞蟻選擇該路徑的可能性就越大。
機器學習中常見的最優化演算法
常見的最優化方法有梯度下降法 牛頓法和擬牛頓法 共軛梯度法等等。梯度下降法實現簡單，當目標函式是凸函式時，梯度下降法的解是全域性解。一般情況下，其解不保證是全域性最優解，梯度下降法的速度也未必是最快的。梯度下降法的優化思想是用當前位置負梯度方向作為搜尋方向，因為該方向為當前位置的最快下降方向，所以也...
最優化 牛頓優化演算法
本人總結的常用優化演算法pdf版本，主要講解原理 主要包括梯度下降，共軛梯度法 牛頓法，擬牛頓法 信賴域方法，罰函式法。coding utf 8 author uniquez file 牛頓法,基於dfp的擬牛頓法 date 2017 06 24 remark 原方程為 x1 2 2 x2 2 im...
最優化 數值優化演算法
核心思路 對梯度方向做一些修正，使得每次迭代尋找最優點都在可行域的內部進行。我們從可行域內部的某個點開始搜尋，一開始沿著梯度方向進行迭代搜尋，一旦碰到邊界 說明下一步可能會離開可行域 就要扭轉方向，使得搜尋過程始終在可行域的內部進行。當點落在可行域外部時，該怎樣選擇搜尋方向，衍生出了下列的演算法。1...