最小二乘和極大似然是目標函式，梯度下降是優化演算法。
機器學習的核心是乙個model，乙個loss fuction，再加上乙個優化的演算法。乙個目標函式可以用不同的優化演算法，不同的目標函式也可以用相同的優化演算法。所以最小二乘和極大似然根本不是演算法，和梯度下降毫無可比性。
ps:最小二乘和極大似然也不是對立的。
最小二乘是從函式形式上來看的，極大似然是從概率意義上來看的。事實上，最小二乘可以由高斯雜訊假設+極大似然估計推導出來。當然極大似然估計還可以推導出其他的loss function,比如logistic回歸中，loss function是交叉熵.
梯度下降和最小二乘不是對立的，你的問題應該是logistic回歸的引數估計時，損失函式為什麼是交叉熵，而不是最小二乘（可能有些人把求解線性最小二乘問題的close form叫最小二乘法，但是這是建立在損失函式是線性最小二乘問題的情況下，所以還是要討論損失函式的問題）
交叉熵和最小二乘都是通過極大似然估計推斷出來的，區別在於logistic回歸predict的結果是在於分類的概率，而線性回歸predict的結果是output, 結果的物理意義不同，所以求似然概率時他們似然概率的形式也就不同，log一下，就會發現他們的損失函式不同。這些其實都是可以推導出來的。
最小二乘法只能解決線性最小二乘問題，而logistic回歸的損失函式不是線性最小二乘問題，這就好比你用十字交叉法解三次方程一樣。
ps：我覺得最小二乘這幾個字課本上處理的不好，正常的，我們指的最小二乘其實是一大類問題，而不是方法，而課本上和ng所講的最小二乘法，是一種求解方法，但只能求解線性最小二乘問題，所以搞得我弄不清題主的意思。
最小二乘法是一種演算法，最小二乘問題是乙個loss function.
邏輯回歸 線性回歸 最小二乘 極大似然 梯度下降
機器學習的基本框架大都是模型 目標和演算法！重要的事情說三遍！對於乙個資料集，首先你要根據資料的特點和目的來選擇合適模型。就你問的而言，選定的模型是logistic regression。現在既然已經選擇了模型，那麼接下來的問題是 怎麼才能讓這個模型盡可能好的擬合或者分類資料呢？那麼就需要有目標，所...
深度學習之最大似然估計 最小二乘 梯度下降（二）
最小二乘和極大似然估計是目標函式，梯度下降是優化演算法。機器學習的核心是乙個模型，乙個損失函式loss fuction，加上乙個優化的演算法。乙個目標函式可以用不同的優化演算法，不同的目標函式也可以用相同的優化演算法。所以最小二乘和極大似然根本不是演算法，和梯度下降毫無可比性。ps 最小二乘和極大似...
最小二乘和最大似然
輸入一組向量xx x1 x2,xd 用線性模型 輸出變數y。y ww txx 1 其中ww 是權重,是線性模型的引數。在這裡，我們已經將輸入向量擴增為增廣向量xx x1 x2,xd,1 最後的1所對應的權重為截距。這種做法方便後續處理。我們有一批樣本 x x1,y 1 xx2,y2 xxn yn n...