正在學習牛頓法，找到一篇非常詳細的部落格，特將目錄整理下來，方便今後回想和查詢。
一、牛頓法
主要內容：
1、泰勒展開式。比較基礎。
2、牛頓法。
從其應用的兩個方面來介紹：
2.1 求方程的根——一階泰勒展開。
2.2 解決最優化問題——二階泰勒展開。
此部分又分為兩種情況：二維情況和高維情況。
其中，二維情況比較常見，在很多文章中均能見到。最值得推薦的是其中的高維情況，講得非常詳細。
。涉及到矩陣向量求導法則：
二、擬牛頓法
第一篇：牛頓法。
其中有乙個錯誤：公式1-7中的▽f應該轉置一下的，可以從矩陣的維數推出來，參見前面提到的部落格。
第二篇：擬牛頓法的條件。
第三篇到第五篇是具體的擬牛頓方法。暫時沒有看
牛頓法和擬牛頓法
牛頓法和擬牛頓法是求解無約束最優化問題的常用方法，收斂速度快。牛頓法是迭代演算法，每一步需要求解目標函式的海塞矩陣 hesse matrix 的逆矩陣，計算複雜。擬牛頓法通過正定矩陣近似海塞矩陣的逆矩陣或海塞矩陣，計算速度快。牛頓法 考慮無約束優化問題 min f x 其中x 為目標函式的極小值點 ...
牛頓法與擬牛頓法
看了幾篇關於牛頓法的相關介紹，感覺非常好，尤其是擬牛頓條件的推導以及dfp等演算法的推導過程十分詳細明了。這裡記錄一下，方便之後查閱 牛頓法 擬牛頓條件 dfp演算法 bfgs演算法 f bfgs演算法 1 牛頓法 newton s method 牛頓法是一種在實數域和複數域上近似求解方程的方法。方...
A 03 牛頓法和擬牛頓法
目錄 二 牛頓法流程 三 擬牛頓法簡介 人工智慧從入門到放棄完整教程目錄 牛頓法 newton method 和擬牛頓法 quasi newton method 和梯度下降法一樣也是求解最優化問題的常用方法，但是他們的收斂速度比梯度下降法快。牛頓法是迭代演算法，每一步都需要求目標函式的海森矩陣的逆矩...