深度學習 啟用函式 損失函式 優化函式的區別

啟用函式：將神經網路上一層的輸入，經過神經網路層的非線性變換轉換後，通過啟用函式，得到輸出。常見的啟用函式包括：sigmoid, tanh, relu等。

損失函式：度量神經網路的輸出的**值，與實際值之間的差距的一種方式。常見的損失函式包括：最小二乘損失函式、交叉熵損失函式、回歸中使用的smooth l1損失函式等。

優化函式：也就是如何把損失值從神經網路的最外層傳遞到最前面。如最基礎的梯度下降演算法，隨機梯度下降演算法，批量梯度下降演算法，帶動量的梯度下降演算法，adagrad，adadelta，adam等。

深度學習 啟用函式 損失函式 優化函式的區別

啟用函式 將神經網路上一層的輸入，經過神經網路層的非線性變換轉換後，通過啟用函式，得到輸出。常見的啟用函式包括 sigmoid,tanh,relu等。損失函式 度量神經網路的輸出的 值，與實際值之間的差距的一種方式。常見的損失函式包括 最小二乘損失函式 交叉熵損失函式 回歸中使用的smooth l1...

深度學習筆記 三 啟用函式和損失函式

深度學習筆記 一 logistic分類 深度學習筆記 二 簡單神經網路，後向傳播演算法及實現 深度學習筆記 三 啟用函式和損失函式 深度學習筆記 優化方法總結 bgd,sgd,momentum,adagrad,rmsprop,adam 深度學習筆記 四 迴圈神經網路的概念，結構和 注釋 深度學習筆記...

深度學習損失函式

在利用深度學習模型解決有監督問題時，比如分類 回歸 去噪等，我們一般的思路如下 在第2步中，我們通常會見到多種損失函式的定義方法，常見的有均方誤差 error of mean square 最大似然誤差 maximum likelihood estimate 最大後驗概率 maximum poste...