問題：為什麼通常牛頓法比梯度下降法能更快的收斂？
解答：牛頓法是二階收斂，梯度下降是一階收斂，所以牛頓法就更快。如果更通俗地說的話，比如你想找一條最短的路徑走到乙個盆地的最底部，梯度下降法每次只從你當前所處位置選乙個坡度最大的方向走一步，牛頓法在選擇方向時，不僅會考慮坡度是否夠大，還會考慮你走了一步之後，坡度是否會變得更大。所以，可以說牛頓法比梯度下降法看得更遠一點，能更快地走到最底部。
根據wiki上的解釋，從幾何上說，牛頓法就是用乙個二次曲面去擬合你當前所處位置的區域性曲面，而梯度下降法是用乙個平面去擬合當前的區域性曲面，通常情況下，二次曲面的擬合會比平面更好，所以牛頓法選擇的下降路徑會更符合真實的最優下降路徑。
wiki上給的圖很形象，我就直接轉過來了：
紅色的牛頓法的迭代路徑，綠色的是梯度下降法的迭代路徑。
梯度下降法與牛頓法
梯度下降法，是迭代演算法。在求最值時，常常用到。bp網路中，最小化 誤差cost function，求解對應網路中的weights,即可用梯度下降法來更新weights.梯度下降法基本思想 給定乙個函式 f 假設求 f 最大值 最小值 初始化函式上的乙個點，對該點求導，該點往導數的方向 反方向 移動...
梯度下降法與牛頓法
梯度 f 在 0 處的梯度表示f 在點 0 處函式值變化最快的方向。對於凸函式f 來說，沿著負梯度方向尋找可以找到函式的極小值 k 1 k f k k 表示第 k步迭代，表示修正因子 步長 因為梯度方向變化最快，只在區域性有效 如果對於多維情形，表示為 k 1 k f k 其中 k k1,k2,kn...
機器學習中牛頓法 梯度下降法
機器學習中，很多時候是求最優化問題，優化問題的求解通常有兩種求解方法 牛頓法 梯度下降法。牛頓法 使用迭代的方法，尋找使 theta 0，找到 theta的具體取值。數學表示式如下 簡單理解 先隨機選取一點，求出 在該點的切線即導數 切線等於 的位置，即下一次迭代的值 知道 逼近等於0的點。具體過程...