雅可比矩陣是以一階偏導數以一定方式排列成的矩陣，其行列式稱為雅可比行列式。
雅可比矩陣的重要性在於它體現了乙個可微方程與給出點的最優線性逼近。因此，雅可比矩陣類似於多元函式的導數。
海森矩陣是乙個以自變數為向量的實值函式的二階偏導數組成的方塊矩陣。
此函式如下，f（x1,x2,...,xn）如果f的所有二階導數都存在，那麼f的海森矩陣即：
海森矩陣在牛頓法中的應用：
一般來說，牛頓法主要應用在兩個方面：1.求方程的根；2.最優化
1.求方程的根
並不是所有的方程都有求根公式，或者求根公司很複雜，導致求解困難。利用牛頓法，可以迭代求解。
原理是利用泰勒公式，在x0處展開，且展開到一階，即f(x)=f(x0)+(x-x0)f'(x0)
求解方程f(x)=0,即f(x0)+(x-x0)f'(x0)=0,求解x=x1=x0-f(x0)/f'(x0),因為這是利用泰勒公式的一階展開，f(x) = f(x0)+(x-x0)f'(x0)處並不完全相等，而是近似相等，這裡求得的x1並不能讓f(x)=0,只能說f(x1)比f(x0)更接近f(x)=0.於是，迭代求解的想法就很自然了，進而可以推出xn+1=xn-f(xn)/f'(xn).通過迭代，這個式子必然是在f(x*)=0處收斂。
最優化：
在最優化問題中，對於非線性優化問題，牛頓法提供了一種求解的方法。假設任務是把優化乙個目標函式f，求解函式f的極大極小問題。可以轉化為求解函式f的導數f'(x)=0,這樣求可以把優化問題看成方程求解問題(f'=0).剩下的問題就和第一部分提到的牛頓法求解很相似了。
一般認為，牛頓法利用了曲線本身的資訊，比梯度下降更容易收斂（迭代次數更少）。
上面是討論的是2維的情況，高維情況的牛頓迭代公式為：
雅克比矩陣
在向量微積分中，雅可比 矩陣是一階 偏導數以一定方式排列成的矩陣，其行列式稱為雅可比行列式。雅可比矩陣的重要性在於它體現了乙個可微 方程與給出點的最優線性逼近。因此，雅可比矩陣類似於多元函式的導數。在向量微積分中，雅可比矩陣是一階偏導數以一定方式排列成的矩陣，其行列式稱為雅可比行列式。還有，在代數幾...
雅克比矩陣
0 前言 在學習當中，我們應該都或多或少的明白了乙個道理，就是實際問題大部分是非線性的，而我們往往先分析線性問題，再往非線性推廣。這其中有乙個很重要的問題就是在某一點進行線性近似。對於一階函式，我們常用的是泰勒公式展開，而對於多元函式或者是向量，我們常用的是雅克比矩陣。這個雅克比矩陣自己曾多次遇到，...
海森矩陣 Hessian matrix
二階偏導數矩陣也就所謂的赫氏矩陣 hessian matrix 一元函式就是二階導，多元函式就是二階偏導組成的矩陣.求向量函式最小值時用的，矩陣正定是最小值存在的充分條件。經濟學中常常遇到求最優的問題，目標函式是多元非線性函式的極值問題尚無一般的求解方法，但判定區域性極小值的方法是有的，就是用hes...