梯度的定義如下：
梯度是乙個方向向量，若α是函式在某點的梯度，那麼函式在該點沿著α方向的變化最快
那麼什麼是函式的增長方向？
任何函式都可以用以下的表示方式表示：
x為自變數，w為引數，y為因變數，我們一般預設函式的增長方向為因變數的增長方向（函式影象中因變數的座標軸的正方向），所以函式上某點的最快增長方向，是使得因變數增長最快的方向。
那麼，現在考慮乙個三維空間中的球面，其上的乙個點的最快增長方向是哪個方向（梯度方向）？
可能很多人懵了，球上的乙個點的360°方向上的增長不都是一樣的嗎？
不否認，球的360°方向上的變化是一樣的，但是，這樣的函式影象是具有自變數，引數，因變數的函式，其圖形是建立在乙個三維座標軸（x，y，z）下的圖形，若函式是關於z的函式，即z是因變數，那麼球上的點的增長方向是面向z軸的，是乙個唯一方向，不再是360°，所以在考慮梯度的時候一定要考慮我們面向的增長方向。
那麼梯度是某點函式面向因變數變化最快的方向嗎？
前面說到了，面向因變數的增長，是我們預設的，常用的增長方向，我們可以求函式在該點的任意方向上的梯度，但是我們一定要描述我們面向的是哪個方向，否則梯度的描述是沒有意義的。
下面來看看在二維空間，三維空間，以及推廣到高維空間的梯度的表現形式：
一：二維空間
這是乙個簡單的一次函式，在點（b，a）的梯度等於直線斜率（這是關於y的最快增長方向）
這是乙個二次函式圖形，在（a，b）和（c，d）兩點的梯度等於切線的斜率
因為斜率以x軸的正方向為參考，所以在點（a，b）處的斜率為負，但這並不影響梯度，這是梯度的負方向，取該點斜率的負方向就是正方向的梯度。
二：三維空間
乙個三維曲面如下，函式式為（z = y.*exp(-x.^2-y.^2）：
三維圖形中描述變化情況的常用工具為等高線圖，我們在x，y平面上繪製等高線圖如下：
我們以其中乙個極值點作為增長方向，則梯度為等高線上某點切線的法向量方向 。
三：高維空間
我們將三維空間的等高線和切線法向量向高維推廣，則「等高線」是描述n維空間增長變化的n-1維投影，梯度方向是這n-1維空間的法向量。
梯度與斜率
原文 1.眼見為假 我們很多時候所看到的實質其實是有誤的，我們會看到比本質高一維或者比本質低一維的東西。比如我們看到的y x和z y x，大家仔細想想，是不是感覺是在乙個維度的？y x是一元函式，z y x是二元函式，f z y x是三元函式。這麼說來一元就是一維，二元就是二維，三元就是三維？其實是...
梯度下降 隨機梯度下降和批量梯度下降
對比梯度下降和隨機梯度下降和批量梯度下降 之前看的知識比較零散，沒有乙個系統的解釋說明，看了一些網上的博主的分析，總結了一下自己的理解。例子這裡我參照其他博主的例子做了一些修改，首先是梯度下降 coding utf 8 import random this is a sample to simula...
梯度下降法和梯度的關係
關於梯度下降法不做解釋，網上有很多講解。這裡只討論梯度下降法和梯度之間的關係，先讓我們了解一下導數 偏導數 方向導數 和梯度的概念。導數 定義就不講了，含義 一元函式在某一點的導數描述了這個函式在這一點附近的變化率。幾何意義 一元函式曲線在這一點的斜率。偏導數 針對多元函式而言，乙個多元函式的偏導數...