關於牛頓法這裡講的很好，下面只是自己對牛頓法的乙個學習記錄。
概述：牛頓法是一種優化演算法，利用迭代點處的一階導數(梯度)和二階導數(hessen矩陣)對目標函式進行二次函式近似，然後把二次模型的極小點作為新的迭代點，並不斷重複這一過程，直至求得滿足精度的近似極小值。牛頓法的速度相當快，而且能高度逼近最優值。牛頓法分為基本的牛頓法和全域性牛頓法
應用：牛頓法至少有兩個應用方向
1、求複雜函式的根，通常為高階函式且沒有求根公式；2、最優化
機器學習中的數學 三 牛頓法
寫在前面 機器學習中的數學 系列主要列舉了在機器學習中用到的較多的數學知識，包括微積分，線性代數，概率統計，資訊理論以及凸優化等等。本系列重在描述基本概念，並不在應用的方面的做深入的 如果想更深的了解某一方面的知識，請自行查詢研究。牛頓法與梯度下降法相似，也是求解無約束最優化問題的常用方法，也有收斂...
機器學習筆記 牛頓法與擬牛頓法
提要 今天講的牛頓法與擬牛頓法是求解無約束問題最優化方法的常用方法。一 牛頓法 假設我們求下面函式的最小值 假設f x 具有連續的二階的連續偏導數，假設第k次迭代值為xk的值，那麼可將f x 在xk附近進行二階泰勒展開得到 我們對上述公式求導可得 假設其中 可逆，我們就可以得到牛頓法的迭代公式為 這...
機器學習筆記 牛頓法
吳恩達在機器學習中講到了牛頓法，再次做乙個通俗的解釋 1 求解方程。並不是所有的方程都有求根公式，或者求根公式很複雜，導致求解困難。利用牛頓法，可以迭代求解。原理是利用泰勒公式，在x0處展開，且展開到一階，即f x f x0 x x0 f x0 求解方程f x 0，即f x0 x x0 f x0 0...