：原文
1.眼見為假
我們很多時候所看到的實質其實是有誤的，我們會看到比本質高一維或者比本質低一維的東西。比如我們看到的y=x和z=y+x，大家仔細想想，是不是感覺是在乙個維度的？
y=x是一元函式，z=y+x是二元函式，f=z+y+x是三元函式。這麼說來一元就是一維，二元就是二維，三元就是三維？
其實是可以這麼理解的，那如果這麼理解了我們，有乙個維度我們就錯了，哪錯了？
一維錯了，很明顯，我們在畫圖時直接畫的y=x為一條直線，這裡是不對的。因為一維只能代表點，不可能有線存在，那為什麼這裡我們畫出了線？我們預判了，預判了y=x接下來發生的事情。
和二維作比較，二維就沒有預判，它很安分地做著一條線，它沒有預判接下來它會怎麼變。
和三維作比較，三維也很正常，它就做為乙個曲面放在那裡，沒有**接下來怎麼變。
所以我們這裡就有問題了，我們混淆了一維和二維，其實也就是混淆了y=x和z=x+y。
接下來可以看到，混淆之後，我們的切線和梯度是多麼地難以度量。
梯度和斜率
梯度的定義如下 梯度是乙個方向向量，若 是函式在某點的梯度，那麼函式在該點沿著 方向的變化最快 那麼什麼是函式的增長方向？任何函式都可以用以下的表示方式表示 x為自變數，w為引數，y為因變數，我們一般預設函式的增長方向為因變數的增長方向 函式影象中因變數的座標軸的正方向 所以函式上某點的最快增長方向...
導數與梯度
導數 導數是乙個很熟悉也很容易想象到的概念，導數體現了函式在某點的瞬時變化率，也可表示切線斜率 高中時我們對y x 2求導的時候，實際上將其看作了一元函式，而y f x 是方程而不是函式，真正的函式是f x,y x y，是乙個曲面，只不過取了f x,y 0時候的特例。偏導數在二元函式f x,y 中由...
隨機梯度下降與梯度下降的區別？
如果你還不了解梯度下降請參考 知乎 ai醬 梯度下降是個啥？假設你已經懂了梯度下降的原理與公式。接下來我會舉個例子來講隨機梯度下降與梯度下降的區別。假如損失 誤差 函式對引數w的導數是x w x la bel x wx label x wx l abel 然後我們需要更新的引數是w ww，學習率是 ...