在微積分裡面，對多元函式的引數求∂偏導數，把求得的各個引數的偏導數以向量的形式寫出來，就是梯度。比如函式f(x,y), 分別對x,y求偏導數，求得的梯度向量就是(∂f/∂x, ∂f/∂y)t,簡稱grad f(x,y)或者▽f(x,y)。對於在點(x0,y0)的具體梯度向量就是(∂f/∂x0, ∂f/∂y0)t.或者▽f(x0,y0)，如果是3個引數的向量梯度，就是(∂f/∂x, ∂f/∂y，∂f/∂z)t,以此類推。
那麼這個梯度向量求出來有什麼意義呢？他的意義從幾何意義上講，就是函式變化增加最快的地方。具體來說，對於函式f(x,y),在點(x0,y0)，沿著梯度向量的方向就是(∂f/∂x0, ∂f/∂y0)t的方向是f(x,y)增加最快的地方。或者說，沿著梯度向量的方向，更加容易找到函式的最大值。反過來說，沿著梯度向量相反的方向，也就是 -(∂f/∂x0, ∂f/∂y0)t的方向，梯度減少最快，也就是更加容易找到函式的最小值。
在機器學習演算法中，在最小化損失函式時，可以通過梯度下降法來一步步的迭代求解，得到最小化的損失函式，和模型引數值。反過來，如果我們需要求解損失函式的最大值，這時就需要用梯度上公升法來迭代了。
梯度下降法和梯度上公升法是可以互相轉化的。比如我們需要求解損失函式f(θ)的最小值，這時我們需要用梯度下降法來迭代求解。但是實際上，我們可以反過來求解損失函式 -f(θ)的最大值，這時梯度上公升法就派上用場了。
梯度下降法和隨機梯度下降法
批量梯度下降法 batch gradient descent 在更新引數時使用所有的樣本來進行更新 隨機梯度下降法 stochastic gradient descent 求梯度時沒有用所有的m個樣本的資料，而是僅僅選取乙個樣本j來求梯度。小批量梯度下降法 mini batch gradient d...
梯度下降法
梯度下降法 是乙個一階 最優化演算法 通常也稱為 最速下降法 我之前也沒有關注過這類演算法。最近，聽史丹福大學的機器學習課程時，碰到了用梯度下降演算法求解線性回歸問題，於是看了看這類演算法的思想。今天只寫了一些入門級的知識。我們知道，函式的曲線如下 程式設計實現 c code cpp view pl...
梯度下降法
回歸 regression 梯度下降 gradient descent 發表於332 天前 技術,科研 被圍觀 1152 次 前言 這個系列主要想能夠用數學去描述機器學習，想要學好機器學習，首先得去理解其中的數學意義，不一定要到能夠輕鬆自如的推導中間的公式，不過至少得認識這些 式子吧，不然看一些相關...