梯度下降法的目標是：
此時輸入：目標函式f(x)，梯度函式g(x)，精度e
輸出：f(x)的極小點
（1）.取初始值
（2）.計算
（3）.計算梯度值更新，k=k+1。
注意：一般當目標函式為凸函式時，梯度下降法為全域性最優解，對於複雜函式並不一定。
對於梯度下降有兩種實現方法：
批量梯度下降：每次遍歷所有的樣本取最小化所有訓練樣本的損失函式，使得最終求解的是全域性的最優解，即求解的引數是使得風險函式最小，但是對於大規模樣本問題效率低下。
隨機梯度下降：每次遍歷選取乙個樣本，最小化這個樣本的損失函式，雖然不是每次迭代得到的損失函式都向著全域性最優方向， 但是大的整體的方向是向全域性最優解的，最終的結果往往是在全域性最優解附近，適用於大規模訓練樣本情況。
機器學習一（梯度下降法）
最近偶觸python，感ctrl c和ctrl v無比順暢，故越發膨脹。怒拾起python資料分析一pdf讀之，不到百頁，內心惶恐，嘆 臥槽，這都tm是啥，甚是迷茫。遂感基礎知識薄弱，隨意搜了機器學習教程，小看一翻。此文給出課件中幾個演算法，自己都不知道對不對，感覺還可以吧。本文以線性回歸為例，在給...
最優化 梯度下降法
最優化問題就是求解函式極值的問題，包括極大值和極小值，幾乎所有機器學習演算法歸根到底都是在求解最優化問題。在高等數學 微積分中有求極值統一的思路 找函式導數等於0的點，只要函式可導我們就可以用這種方法。在機器學習中我們一般求函式的極小值，若求極大值我們只需要整體加負號。有些時候我們會對優化變數x有約...
大叔學ML第一 梯度下降
目錄梯度下降是乙個很常見的通過迭代求解函式極值的方法，當函式非常複雜，通過求導尋找極值很困難時可以通過梯度下降法求解。梯度下降法流程如下 上圖中，用大寫字母表示向量，用小寫字母表示標量。假設某人想入坑，他站在某點，他每移動一小步，都朝著他所在點的梯度的負方向移動，這樣能保證他盡快入坑，因為某個點的梯...