關於梯度下降法不做解釋，網上有很多講解。
這裡只討論梯度下降法和梯度之間的關係，先讓我們了解一下導數、偏導數、方向導數、和梯度的概念。
導數：定義就不講了，含義：一元函式在某一點的導數描述了這個函式在這一點附近的變化率。幾何意義：一元函式曲線在這一點的斜率。
偏導數：針對多元函式而言，乙個多元函式的偏導數，就是它關於其中乙個變數的導數而保持其他變數恆定（沿某一座標軸方向的導數）。
方向導數：每乙個變數的偏導數乘以方向余弦（在解析幾何裡，乙個向量的三個方向余弦分別是這向量與三個座標軸之間的角度的余弦。）的和。
梯度：表示某一函式在該點處的方向導數沿著該方向取得最大值，即函式在該點處沿著該方向（此梯度的方向）變化最快，變化率最大（為該梯度的模）。
好的，看完了這些定義，我們發現梯度是定義在方向導數的基礎上的，而梯度下降法只求了偏導。剛開始這還真的有點困擾我。其實問題的關鍵在於梯度下降法是對損失函式求梯度，這些損失函式都是一元函式。而對於一元函式而言，梯度、導數、偏導數、方向導數是統一的。
梯度下降法和隨機梯度下降法
批量梯度下降法 batch gradient descent 在更新引數時使用所有的樣本來進行更新 隨機梯度下降法 stochastic gradient descent 求梯度時沒有用所有的m個樣本的資料，而是僅僅選取乙個樣本j來求梯度。小批量梯度下降法 mini batch gradient d...
梯度下降法和隨機梯度下降法的區別
梯度下降和隨機梯度下降之間的關鍵區別 1 標準梯度下降是在權值更新前對所有樣例彙總誤差，而隨機梯度下降的權值是通過考查某個訓練樣例來更新的。2 在標準梯度下降中，權值更新的每一步對多個樣例求和，需要更多的計算。3 標準梯度下降，由於使用真正的梯度，標準梯度下降對於每一次權值更新經常使用比隨機梯度下降...
梯度下降法和隨機梯度下降法的區別
這幾天在看 統計學習方法 這本書，發現 梯度下降法 在 感知機 等機器學習演算法中有很重要的應用，所以就特別查了些資料。一.介紹 梯度下降法 gradient descent 是求解無約束最優化問題的一種常用方法，有實現簡單的優點。梯度下降法是迭代演算法，每一步需要求解目標函式的梯度向量。二.應用場...