以下引用了一些網上的資源
1.最小二乘法
最小二乘法的目標：求誤差的最小平方和，對應有兩種：線性和非線性。線性最小二乘的解是closed-form即
迭代法，即在每一步update未知量逐漸逼近解，可以用於各種各樣的問題（包括最小二乘），比如求的不是誤差的最小平方和而是最小立方和。
1.1梯度下降是迭代法的一種，可以用於求解最小二乘問題（線性和非線性都可以）。
1.2高斯-牛頓法是另一種經常用於求解非線性最小二乘的迭代法（一定程度上可視為標準非線性最小二乘求解方法）。
1.3比較
牛頓法是二階收斂，梯度下降是一階收斂，所以牛頓法就更快。如果更通俗地說的話，比如你想找一條最短的路徑走到乙個盆地的最底部，梯度下降法每次只從你當前所處位置選乙個坡度最大的方向走一步，牛頓法在選擇方向時，不僅會考慮坡度是否夠大，還會考慮你走了一步之後，坡度是否會變得更大。所以，可以說牛頓法比梯度下降法看得更遠一點，能更快地走到最底部。
根據wiki上的解釋，從幾何上說，牛頓法就是用乙個二次曲面去擬合你當前所處位置的區域性曲面，而梯度下降法是用乙個平面去擬合當前的區域性曲面，通常情況下，二次曲面的擬合會比平面更好，所以牛頓法選擇的下降路徑會更符合真實的最優下降路徑。
wiki上給的圖很形象，我就直接轉過來了：
在上面討論的是2維情況，高維情況的牛頓迭代公式是：
其中h是hessian矩陣，定義為：
2.最大似然法
最小二乘法 牛頓法和隨機梯度下降法
首先最小二乘法是用來幹什麼的，他的目的是最小化誤差平方之和，從而找到最優訓練模型，這個模型可以用來更好的擬合訓練的樣本資料。一 隨機梯度下降 再放一張隨機梯度下降法的求解過程，以用來最後於牛頓法做一些對比 二 牛頓法 牛頓法的核心思想利用的是 泰勒展開！其實泰勒展開式僅是另一種表達等式方式而已，沒必...
最小二乘法和梯度下降法
通過這段描述可以看出來，最小二乘法也是一種優化方法，求得目標函式的最優值。並且也可以用於曲線擬合，來解決回歸問題。難怪 統計學習方法 中提到，回歸學習最常用的損失函式是平方損失函式，在此情況下，回歸問題可以著名的最小二乘法來解決。看來最小二乘法果然是機器學習領域做有名和有效的演算法之一。二.最小二乘...
最小二乘法以及最小二乘法和梯度下降法的區別
通過這段描述可以看出來，最小二乘法也是一種優化方法，求得目標函式的最優值。並且也可以用於曲線擬合，來解決回歸問題。難怪 統計學習方法 中提到，回歸學習最常用的損失函式是平方損失函式，在此情況下，回歸問題可以著名的最小二乘法來解決。看來最小二乘法果然是機器學習領域做有名和有效的演算法之一。二.最小二乘...