梯度下降：
引入：當我們得到乙個目標函式之後要對其進行求解。常規套路就是，交給機器一堆資料，並告訴他什麼樣的學習方式（目標函式），然後讓他朝著這個方向去做。
優化：需要一步一步的完成迭代。
目標函式：
我們的目標就是找到θ0和θ1，是的目標函式的值盡可能的小。
如何找到目標函式的最小值：1.找到當前最適合的方向 2.一小步地走 3.按照方向和步伐去更新我們的引數。
梯度下降演算法有哪些：
1.批量梯度下降（bgd）：每次考慮所有樣本，容易得到最優解，但是計算量大。
2.隨機梯度下降（sgd）：每次乙個樣本，速度快。但是每次計算不一定朝著收斂的方向。
3.小批量梯度下降(mbgd)：每次更新選擇一小部分資料，實用！
學習率（步長）：
會對結果產生巨大的影響，一般選用小的學習率。
BGD SGD MBGD 梯度下降演算法
bgd batch gradient descent 批量梯度下降法是 梯度下降法最原始的形式，它的具體思路是在 更新每一引數時都使用所有的樣本來進行更新。它得到的是乙個全域性最優解，批量梯度下降法在更新每乙個引數時，即每迭代一步，都要用到訓練集所有的資料，訓練過程會隨著樣本數量的加大而變得異常的緩...
梯度下降法的三種形式 BGD SGD MBGD
在應用機器學習演算法時，我們通常採用梯度下降法來對採用的演算法進行訓練。其實，常用的梯度下降法還具體包含有三種不同的形式，它們也各自有著不同的優缺點。下面我們以線性回歸演算法來對三種梯度下降法進行比較。一般線性回歸函式的假設函式為 對應的損失函式為 下圖為乙個二維引數 0 0和 1 1 組對應能量函...
梯度下降 隨機梯度下降 批梯度下降
下面的h x 是要擬合的函式，j 損失函式，theta是引數，要迭代求解的值，theta求解出來了那最終要擬合的函式h 就出來了。其中m是訓練集的記錄條數，j是引數的個數。梯度下降法流程 1 先對 隨機賦值，可以是乙個全零的向量。2 改變 的值，使j 按梯度下降的方向減少。以上式為例 1 對於我們的...