優化問題newton's method 牛頓法
least squares method最小二乘法
gradient descent梯度下降法
當 cost對w的梯度最小（斜率最小）時，誤差最小。
我們從圖中可以看出, cost 誤差最小的時候正是這條 cost 曲線最低的地方, 不過在藍點的 w 卻不知道這件事情, 他目前所知道的就是梯度線為自己在這個位置指出的乙個下降方向, 我們就要朝著這個藍色梯度的方向下降一點點. 在做一條切線, 發現我還能下降, 那我就朝著梯度的方向繼續下降, 這時, 再展示出現在的梯度, 因為梯度線已經躺平了, 我們已經指不出哪邊是下降的方向了, 所以這時我們就找到了 w 引數的最理想值.
有一點點不理解？
神經網路的梯度下降法
常用的神經網路如bp神經網路 rbf神經網路等都有三層神經元，即輸入層 隱藏層和輸出層。我們知道通過不斷的修改神經元之間的權值和偏置使網路的輸出能夠擬合所有的訓練輸入，為了量化這個目標，引入乙個代價函式 其中w表示所有網路中權值集合，b是所有的偏置，n是訓練輸入資料的個數，a表示當輸入為x時輸出的向...
神經網路入門之bp演算法，梯度下降
此時就出現了反向傳播這個過程。而配合反向傳播的就是梯度下降法了。現在很多同學可能會很暈，當時我第一次看的時候也很暈。為了容易理解梯度下降法，建議去看ng的斯坦福網課第二節，非常清楚。比我寫的清楚多了。梯度下降法是求 區域性 最好的w。設誤差函式為 j 12 y o 2 12 y f wix i 2 ...
神經網路 梯度下降和反向傳播的關係
神經網路就是乙個 萬能的模型 誤差修正函式 每次根據訓練得到的結果與預想結果進行誤差分析，進而修改權值和閾值，一步一步得到能輸出和預想結果一致的模型。舉乙個例子 比如某廠商生產一種產品，投放到市場之後得到了消費者的反饋，根據消費者的反饋，廠商對產品進一步公升級，優化，從而生產出讓消費者更滿意的產品。...