梯度更新是要同時更新，如下圖所示：θ0和θ1同時更新，而不是更新完乙個後再更新另乙個。
學習率α過小，梯度下降較慢，訓練時間增長。若學習率α過大，梯度下降會越過最低點，難以得到最優的結果，導致難以收斂或發散。
如果引數值已是區域性最優，進行梯度下降計算時導數是0，梯度下降不會作任何操作，引數不改變
在梯度下過程中無需修改學習率，因為在接近區域性最有點時導數項會變小，梯度下降的步幅也會隨之比變小。
梯度下降中batch:指計算一次梯度下降就使用全部的訓練集資料
mini batch :指計算一次梯度下降時使用了一小部分訓練集資料
多元特徵的梯度下降時，進行特徵縮放，可將梯度下降的速度提高，通常將特徵的取值縮放至大約-1到1之間
使用小的學習率，一般0.001，0.003，0.01，0.03，0.1，0.3，1等
梯度下降演算法 梯度下降演算法為何叫梯度下降？
首先，我們知道乙個演算法的名字可以很好地去解釋乙個演算法，那麼梯度下降演算法是什麼呢？很明顯的，就是用梯度這個工具來解決問題的一種演算法。解決什麼問題呢？如何在乙個函式曲面的某一點，找到乙個函式值變化最大的方向。比如 我們站在山上的某一點，我們想要以最快的速度上山，但是我們的步子大小是一定的，那麼最...
梯度下降演算法 梯度下降演算法公式推導
場景假設 梯度下降法的基本思想可以模擬為乙個下山的過程。假設這樣乙個場景 乙個人被困在山上，需要從山上下來 找到山的最低點 但此時山上的濃霧很大，導致可視度很低 因此，下山的路徑就無法確定，必須利用自己周圍的資訊一步一步地找到下山的路。這個時候，便可利用梯度下降演算法來幫助自己下山。怎麼做呢，首先以...
梯度下降演算法
機器學習在這幾年得到快速發展，乙個很重要的原因是 large dataset 大規模資料 這節課就來介紹用機器學習演算法處理大規模資料的問題。關於資料的重要性，有一句話是這麼說的 it s not who has the bestalgorithmthat wins.it s who has the...