梯度下降法與牛頓法

梯度下降法，是迭代演算法。

在求最值時，常常用到。

bp網路中，最小化 誤差cost function，求解對應網路中的weights,即可用梯度下降法來更新weights.

梯度下降法基本思想：

給定乙個函式 f ，假設求 f 最大值（最小值）。初始化函式上的乙個點，對該點求導，該點往導數的方向（反方向）移動。直到梯度向量的幅值接近0。迭代公式：

其中，一般確定步長的方法是由線性搜尋演算法來確定，即把下乙個點的座標看做是a

k+1的函式，然後求滿足f(a

k+1)的最小值的 即可。

函式凹凸性：

當目標函式f 是凸函式時，梯度下降法能求出全域性最優解

當f 不是凸函式時，可以將f 近似轉化為凸函式

牛頓法，比梯度下降法在求解中需要迭代的次數更少。

牛頓法是二階收斂，而梯度下降法是一階收斂。

待續。。。

梯度下降法與牛頓法

梯度 f 在 0 處的梯度表示f 在點 0 處函式值變化最快的方向。對於凸函式f 來說，沿著負梯度方向尋找可以找到函式的極小值 k 1 k f k k 表示第 k步迭代，表示修正因子 步長 因為梯度方向變化最快，只在區域性有效 如果對於多維情形，表示為 k 1 k f k 其中 k k1,k2,kn...

梯度下降法和牛頓下降法

泰勒公式可以表示為 f boldsymbol boldsymbol f boldsymbol boldsymbol boldsymbol frac boldsymbol boldsymbol boldsymbol o boldsymbol tag 在 2 中 boldsymbol x 1,x n b...

機器學習中牛頓法 梯度下降法

機器學習中，很多時候是求最優化問題，優化問題的求解通常有兩種求解方法 牛頓法 梯度下降法。牛頓法 使用迭代的方法，尋找使 theta 0，找到 theta的具體取值。數學表示式如下 簡單理解 先隨機選取一點，求出 在該點的切線即導數 切線等於 的位置，即下一次迭代的值 知道 逼近等於0的點。具體過程...