1、梯度下降法
梯度下降法實現簡單，當目標函式是凸函式時，梯度下降法的解是全域性解。一般情況下，其解不保證是全域性最優解，梯度下降法的速度也未必是最快的。
梯度下降法的優化思想：用當前位置負梯度方向作為搜尋方向，因為該方向為當前位置的最快下降方向，所以也被稱為是」最速下降法「。最速下降法越接近目標值，步長越小，前進越慢。
缺點：
（1）靠近極小值時收斂速度減慢，求解需要很多次的迭代；
（2）直線搜尋時可能會產生一些問題；
（3）可能會「之字形」地下降。
2、牛頓法
牛頓法最大的特點就在於它的收斂速度很快。
優點：二階收斂，收斂速度快；
缺點：
牛頓法是一種迭代演算法，每一步都需要求解目標函式的hessian矩陣的逆矩陣，計算比較複雜。
牛頓法收斂速度為二階，對於正定二次函式一步迭代即達最優解。
牛頓法是區域性收斂的，當初始點選擇不當時，往往導致不收斂；
二階海塞矩陣必須可逆，否則演算法進行困難。
關於牛頓法和梯度下降法的效率對比：
從本質上去看，牛頓法是二階收斂，梯度下降是一階收斂，所以牛頓法就更快。如果更通俗地說的話，比如你想找一條最短的路徑走到乙個盆地的最底部，梯度下降法每次只從你當前所處位置選乙個坡度最大的方向走一步，牛頓法在選擇方向時，不僅會考慮坡度是否夠大，還會考慮你走了一步之後，坡度是否會變得更大。所以，可以說牛頓法比梯度下降法看得更遠一點，能更快地走到最底部。（牛頓法目光更加長遠，所以少走彎路；相對而言，梯度下降法只考慮了區域性的最優，沒有全域性思想。）
根據wiki上的解釋，從幾何上說，牛頓法就是用乙個二次曲面去擬合你當前所處位置的區域性曲面，而梯度下降法是用乙個平面去擬合當前的區域性曲面，通常情況下，二次曲面的擬合會比平面更好，所以牛頓法選擇的下降路徑會更符合真實的最優下降路徑。
3、擬牛頓法
擬牛頓法的本質思想是改善牛頓法每次需要求解複雜的hessian矩陣的逆矩陣的缺陷，它使用正定矩陣來近似hessian矩陣的逆，從而簡化了運算的複雜度。
擬牛頓法和最速下降法一樣只要求每一步迭代時知道目標函式的梯度。通過測量梯度的變化，構造乙個目標函式的模型使之足以產生超線性收斂性。這類方法大大優於最速下降法，尤其對於困難的問題。另外，因為擬牛頓法不需要二階導數的資訊，所以有時比牛頓法更為有效。如今，優化軟體中包含了大量的擬牛頓演算法用來解決無約束，約束，和大規模的優化問題。
4、小結
在機器學習中的無約束優化演算法，除了梯度下降以外，還有前面提到的最小二乘法，此外還有牛頓法和擬牛頓法。
梯度下降法和最小二乘法相比，梯度下降法需要選擇步長，而最小二乘法不需要。梯度下降法是迭代求解，最小二乘法是計算解析解。如果樣本量不算很大，且存在解析解，最小二乘法比起梯度下降法要有優勢，計算速度很快。但是如果樣本量很大，用最小二乘法由於需要求乙個超級大的逆矩陣，這時就很難或者很慢才能求解解析解了，使用迭代的梯度下降法比較有優勢。
梯度下降法和牛頓法/擬牛頓法相比，兩者都是迭代求解，不過梯度下降法是梯度求解，而牛頓法/擬牛頓法是用二階的海森矩陣的逆矩陣或偽逆矩陣求解。相對而言，使用牛頓法/擬牛頓法收斂更快。但是每次迭代的時間比梯度下降法長。
梯度下降，牛頓法 ，高斯牛頓法
出處 線性最小二乘問題，我們可以通過理論推導可以得到其解析解，但是對於非線性最小二乘問題，則需要依賴迭代優化的方法，梯度下降主要是從一階目標函式的一階導推導而來的，形象點說，就是每次朝著當前梯度最大的方向收斂 二牛頓法是二階收斂，每次考慮收斂方向的時候，還會考慮下一次的收斂的方向是否是最大 也就是梯...
牛頓法，擬牛頓法， 共軛梯度法
牛頓法 當函式非凸時，找到的依然是區域性極值 1 求解方程。並不是所有的方程都有求根公式，或者求根公式很複雜，導致求解困難。利用牛頓法，可以迭代求解。原理是利用泰勒公式，在x0處展開，且展開到一階 即f x f x0 x x0 f x0 求解方程f x 0，即f x0 x x0 f x0 0，求解x...
梯度下降 牛頓法
為什麼牛頓法比梯度下降法的迭代次數更少？a 牛頓法是二階收斂，梯度下降是一階收斂，所以牛頓法就更快。通俗來說梯度下降法每次只從你當前所處位置選乙個坡度最大的方向走一步，牛頓法在選擇方向時，不僅會考慮坡度是否夠大，還會考慮你走了一步之後，坡度是否會變得更大。所以，可以說牛頓法比梯度下降法看得更遠一點，...