這一節會給出更加複雜的例子，這個例子中，函式在不同點處的斜率是不一樣的，如下圖，函式為f(a
看看a=2的點，在這個點上，a的平方是4；稍微向右移動一點點，a=2.001，而f(a)的值約為4.004（實際為4.004001），為了簡便起見，省略了後面的部分。這裡想表達的是，當a=2時，將a右移0.001，那麼f(a)的值將增大四倍，即增大0.004，如圖中的綠色三角形所示。
換個點看看，如果a=5，不等於2，把a右移一點點，而f(a)的值大約為25.010，當我們只往右移動0.001時，f(a)增大了10倍。有種直觀的解釋，為什麼乙個點的斜率在不同位置會不同，如果你在曲線上的不同位置畫一些小小的三角形，就會發現三角形的高和寬的比值在曲線上不同的地方是不同的。所以當a=2時斜率為4，而當a=5時斜率為10。
現在有個小細節需要注意，在a=2時使用了一些不精確的值，當a為2.001時，實際f(a)的值並不是4.004，而是4.004001。這裡有額外的001是因為我們把a向右移動了0.001。然而，如果我們把a向右移動乙個非常非常小的值，那麼這個額外的項將可以被忽略。這樣的話，你會發現f(a)增大的值剛好等於導數乘於a向右移動的距離。至於為什麼不是剛好等於4.004，是因為導數就是根據這個無窮小值來定義的，這裡的0.001雖然比較小，但是它還不足以小到可以被忽略，這就是為什麼導數增大的值，不是恰好等於公式算出來的，而只是根據導數算出來的乙個近似值。
只需要記住兩點，第一點是，函式的導數就是函式的斜率，而函式的斜率在不同的點是不同的。在第乙個例子f(a
)=3a
f(a)=3a
f(a)=3
a中，這是一條直線，在任何點，它的斜率都是相同的。但是對於函式f(a
)=a2
f(a)=a^2
f(a)=a
2，它們的斜率是變化的，它們的導數或者斜率在曲線上不同的點處是不同的，這是第乙個要記住的，即導數就是斜率。第二點是如果想知道乙個函式的導數，可以參考微積分課本或者維基百科，這樣就能找到這些函式的導數公式
深度學習 吳恩達
第三週神經網路 啟用函式 第一門課 感謝黃博的參考筆記 一次梯度下降 正向傳播與反向傳播 一次反向傳播梯度下降 注意與機器學習課程不同的一點是，第一層不算樣本輸入 a t an z a tan z a tan z 的值域是位於 1和 1之間。a t anh z e z e zez e za tanh...
吳恩達深度學習筆記
2.02 紅色為小標題，藍色比較重要 第四講第二週 4.2.1 為什麼要進行例項 4.2.2 經典網路 lenet 5網路當時還沒有padding,所以在卷積過程當中越來越小 也沒有relu函式，當時這個例子用的是sigmoid函式。超級引數不是很多。這個典型的網路有padding，使用的是relu...
總結 吳恩達深度學習
從去年8月份開始，ai界大ip吳恩達在coursera上開設了由5們課組成的深度學習專項課程，掀起了一股人工智慧深度學習熱潮。這裡附上deeplearning.ai的官網 deeplearning.ai，也可以在網易雲課堂學習 有中文字幕 關於該深度學習專項課程，本人非常推薦！它對於理解各種演算法背...