一 基礎回顧
二 梯度下降的三個小貼士
(1) 最流行也是最簡單的做法就是：在每一輪都通過一些因子來減小learning rate。
(2) learning rate 不能從一而終。
為了達到此目的，有許多種技巧，而adagrad就是一種不錯的選擇。
這樣操作後，每組引數的learning rate 都不同。
舉個例子：
所以用adagrad後，我們的引數變化要寫成這樣：
adagrad越到後面改變會越慢，這是乙個正常現象。
那麼我們從該表示式中有沒有發現奇怪的地方？？或者是否有所衝突？？
直觀解釋
更容易讓人信服的解釋
隨機梯度下降法讓你的training更快一些。
2.3 feature scaling
讓不同的特徵值具有相同的縮放程度。
舉例：常見的 feature scaling
參考：
梯度下降 隨機梯度下降 批梯度下降
下面的h x 是要擬合的函式，j 損失函式，theta是引數，要迭代求解的值，theta求解出來了那最終要擬合的函式h 就出來了。其中m是訓練集的記錄條數，j是引數的個數。梯度下降法流程 1 先對 隨機賦值，可以是乙個全零的向量。2 改變 的值，使j 按梯度下降的方向減少。以上式為例 1 對於我們的...
梯度下降 隨機梯度下降和批量梯度下降
對比梯度下降和隨機梯度下降和批量梯度下降 之前看的知識比較零散，沒有乙個系統的解釋說明，看了一些網上的博主的分析，總結了一下自己的理解。例子這裡我參照其他博主的例子做了一些修改，首先是梯度下降 coding utf 8 import random this is a sample to simula...
stanford 梯度 梯度下降，隨機梯度下降
一 梯度gradient 在標量場f中的一點處存在乙個向量g，該向量方向為f在該點處變化率最大的方向，其模也等於這個最大變化率的數值，則向量g稱為標量場f的梯度。在向量微積分中，標量場的梯度是乙個向量場。標量場中某一點上的梯度指向標量場增長最快的方向，梯度的長度是這個最大的變化率。更嚴格的說，從歐氏...