梯度下降法不是乙個機器學習演算法
是一種基於搜尋的最優化方法
作用:最小化乙個損失函式
梯度上公升法:最大化乙個效用函式
在直線方程中,導數代表斜率
在曲線方程中,導數代表切線斜率
導數可以代表方向,對應j
jj增大的方向
− ηd
jd
θ-\eta \frac
−ηdθdj
η\eta
η稱為學習率(learning rate)
η
\eta
η的取值影響獲得最優解的速度
η
\eta
η取值不合適,甚至得不到最優解
η
\eta
η是梯度下降的乙個超引數
並不是所有函式都有唯一的極值點
解決方案:
多次執行,所及初始點
梯度下降法的初始點也是乙個超引數
目標: 使∑i=
1m(y
(i)−
y^(i
))
2\sum\limits_^m(y^ - \hat y^)^2
i=1∑m
(y(i
)−y^
(i)
)2盡可能小
線性回歸法的損失函式具有唯一的最優解
梯度下降法和隨機梯度下降法
批量梯度下降法 batch gradient descent 在更新引數時使用所有的樣本來進行更新 隨機梯度下降法 stochastic gradient descent 求梯度時沒有用所有的m個樣本的資料,而是僅僅選取乙個樣本j來求梯度。小批量梯度下降法 mini batch gradient d...
梯度下降法
梯度下降法 是乙個一階 最優化演算法 通常也稱為 最速下降法 我之前也沒有關注過這類演算法。最近,聽史丹福大學的機器學習課程時,碰到了用梯度下降演算法求解線性回歸問題,於是看了看這類演算法的思想。今天只寫了一些入門級的知識。我們知道,函式的曲線如下 程式設計實現 c code cpp view pl...
梯度下降法
回歸 regression 梯度下降 gradient descent 發表於332 天前 技術,科研 被圍觀 1152 次 前言 這個系列主要想能夠用數學去描述機器學習,想要學好機器學習,首先得去理解其中的數學意義,不一定要到能夠輕鬆自如的推導中間的公式,不過至少得認識這些 式子吧,不然看一些相關...