最優化文章集合
math concepts / 數學概念
選主元的高斯-約當（gauss-jordan）消元法解線性方程組/求逆矩陣
最速下降法/steepest descent，牛頓法/newton，共軛方向法/conjugate direction，共軛梯度法/conjugate gradient 及其他
line search中的重要定理 - 梯度與方向的點積為零
再談 共軛方向法
**比例搜尋演算法（golden section search）的實現
lm(levenberg-marquard)演算法的實現
ridders求導演算法
最優化解釋
牛頓法擬牛頓法
一維搜尋中的劃界(bracket)演算法
信賴域演算法
最速下降法
共軛方向集方法
最小二乘理論依據
梯度法不精確線搜尋兩個準則
software work
最優化 牛頓優化演算法
本人總結的常用優化演算法pdf版本，主要講解原理 主要包括梯度下降，共軛梯度法 牛頓法，擬牛頓法 信賴域方法，罰函式法。coding utf 8 author uniquez file 牛頓法,基於dfp的擬牛頓法 date 2017 06 24 remark 原方程為 x1 2 2 x2 2 im...
最優化 數值優化演算法
核心思路 對梯度方向做一些修正，使得每次迭代尋找最優點都在可行域的內部進行。我們從可行域內部的某個點開始搜尋，一開始沿著梯度方向進行迭代搜尋，一旦碰到邊界 說明下一步可能會離開可行域 就要扭轉方向，使得搜尋過程始終在可行域的內部進行。當點落在可行域外部時，該怎樣選擇搜尋方向，衍生出了下列的演算法。1...
最優化演算法 三
牛頓方法是現在用的比較廣泛的最優化演算法之一，其特點是收斂速度較快，上一節的梯度下降和隨機梯度下降都是一階收斂，而牛頓方法是二階收斂。回憶高等數學裡面介紹的二階泰勒展開有q x f x0 f x0 x x0 x x0 22 2f x 0 而 q x 取到極值的條件，也就是最優化條件是 q x 0 可...