對於每乙個方法，都大致按照「問題形式」、「演算法步驟」和「收斂分析」來進行展開的。而對於科研中常用方法，則講透本質思想。
《數值與最優化方法》（一） 包括：參考資料一. 無約束最優化計算方法1.1 數學基礎
1.1.1 等值線； 1.1.2 可微與梯度； 1.1.3 方向導數； 1.1.4 hesse矩陣； 1.1.5 多元函式的taylor展開； 1.1.6 開集與閉集； 1.1.7 最優性條件； 1.1.8 凸集； 1.1.9 凸函式； 1.1.10 數值插值方法《數值與最優化方法》（二） 包括：1.2 精確搜尋
1.2.1 **分割法； 1.2.2 斐波那契法； 1.2.3 插值法1.3 非精確搜尋
1.3.1 思想； 1.3.2 理論基礎；1.3.3 最速下降法； 1.3.4 牛頓法《數值與最優化方法》（三）包括：
1.3.5共軛梯度法； 1.3.6 擬牛頓法；1.3.7 信賴域方法《數值與最優化方法》（四）包括：二. 約束最優化方法2.1 解析解法
2.1.1 可行下降方向；2.1.2 一階必要條件；2.1.3 二階必要條件2.2 懲罰函式法
2.2.1 外點懲罰函式法；2.2.2 內點懲罰函式法2.3 乘子法2.4 rosen梯度投影法《數值與最優化方法》（五）包括：三. 直接搜尋方法（免導數方法）3.1 hooke-jeeves步長加速法3.2 powell方向加速法《數值與最優化方法》（六）包括：四. 科研中常用的訓練演算法4.1 sgd《數值與最優化方法》（七） 包括：五. 數值積分5.1 常見方法5.2 馬爾可夫鏈蒙特卡羅法
5.2.1 蒙特卡羅法的思想；
5.2.2 馬爾可夫鏈蒙特卡羅法
5.2.2.1 思想方法； 5.2.2.2 metropolies-hastings演算法； 5.2.2.3 吉布斯抽樣
最優化理論及方法 電子版課件 （張曉偉老師，電子科技大學數學科學學院）
《數值分析》（鐘爾傑 黃廷祝，高等教育出版社，2013）
《統計學習方法》（李航，清華大學出版社，2019）
數值最優化
多元函式 1.設多元函式 f rn r 二次連續可微，則 f 在 x 處的梯度和hessian矩陣為 f x f x x 1,f x x2,f x x n t 2f x f x x21 f x x n x1 f x x1 x n f x x2n 2.多元函式的taylor展開式 一階 f x f y...
最優化理論
最優化 optimization 應用數學的重要研究領域.它是研究在給定約束之下如何尋求某些因素 的量 以使某一 或某些 指標達到最優的一些學科的總稱.由於運籌學中出現的問題大多即是最優化所研究的問題，因此運籌學的許多分支，如數學規劃 組合最優化 排隊論，以及決策論等也是最優化的組成部分.此外，最優...
最優化理論
2017 10 24 最優化是應用數學的乙個分支，只不過對於計算機系的同學而言其實還是非常重要的。像現在很火的方向，如機器學習 計算機視覺 計算機圖形學 機械人等方向中都有非常基礎的應用，還有機械 物理 生物等，更不用說金融方向的quant。相信很多同學都學過最優化，對於軟體方向的同學應該是四年級的...