啟用函式
在之前的logistic和神經網路中，啟用函式是sigmoid, 損失函式是平方函式。但是這並不是固定的。
啟用函式的主要作用是提供網路的非線性建模能力。
只有加入了啟用函式之後，深度神經網路才具備了分層的非線性對映學習能力。
常見的啟用函式多是分段線性和具有指數形狀的非線性函式。
損失函式
其中y是我們期望的輸出，a為神經元的實際輸出
因為sigmoid函式的性質，導致σ′(z)在z取大部分值時會造成飽和現象，從而使得引數的更新速度非常慢，甚至會造成離期望值越遠，更新越慢的現象。那麼怎麼克服這個問題呢？我們想到了交叉熵函式。我們知道，熵的計算公式是
而在實際操作中，我們並不知道y的分布，只能對y的分布做乙個估計，也就是算得的a值, 這樣我們就能夠得到用a來表示y的交叉熵
神經網路啟用函式和損失函式
其導數及其滿足的關係如下 sigmoid函式曲線如下 sigmoid啟用函式，符合實際，當輸入值很小時，輸出接近於0 當輸入值很大時，輸出值接近於1。但sigmoid啟用函式有較大的缺點，是主要有兩點 1 容易引起梯度消失。當輸入值很小或很大時，梯度趨向於0，相當於函式曲線左右兩端函式導數趨向於0。...
tensorflow 損失函式與啟用函式
損失函式用於評價模型的準確度。無論什麼樣的網路結構，如果損失函式不正確，都難以訓練出正確的模型。損失值用於描述 值與真實值之間的差距大小。常用的損失函式是 均方差函式和交叉熵函式。均方差mse tf.reduce mean tf.pow tf.sub logits,outputs 2.0 tenso...
深度學習筆記 三 啟用函式和損失函式
深度學習筆記 一 logistic分類 深度學習筆記 二 簡單神經網路，後向傳播演算法及實現 深度學習筆記 三 啟用函式和損失函式 深度學習筆記 優化方法總結 bgd,sgd,momentum,adagrad,rmsprop,adam 深度學習筆記 四 迴圈神經網路的概念，結構和 注釋 深度學習筆記...