一、啟用函式
：1、sigmoid: y = 1 / (1 + exp(-x))
2、tanh: y = (exp(x) - exp(-x)) / (exp(x) + exp(-x))
3、relu: y = max(0,x)
4、leaky relu: y = max(0.01x,x)
二、優化函式
1、梯度下降演算法
2、動量梯度下降演算法（優勢：使尋找最優值的過程曲線更平滑）
3、rmsprop
4、adam: momentum + rmsprop
三、損失函式
1、mse: l = (-1 / m) * sum(y_i - y_hat)^2（回歸）
2、絕對值誤差：l = (1 / m) * sum(|y_i - y_hat|)（回歸）
3、邏輯回歸：l = (-1 / m) * sum(y* log(y_hat) + (1-y) * log(1- y_hat))（二分類）
4、交叉熵：l = (-sum(y_i * log (y_hat)))（多分類）
5、hinge loss(svm): l = -(1/m) sum(1- y_i * y_hat) (二分類)
啟用函式和損失函式
啟用函式 在之前的logistic和神經網路中，啟用函式是sigmoid,損失函式是平方函式。但是這並不是固定的。啟用函式的主要作用是提供網路的非線性建模能力。只有加入了啟用函式之後，深度神經網路才具備了分層的非線性對映學習能力。常見的啟用函式多是分段線性和具有指數形狀的非線性函式。損失函式 其中y...
深度學習 啟用函式 損失函式 優化函式的區別
啟用函式 將神經網路上一層的輸入，經過神經網路層的非線性變換轉換後，通過啟用函式，得到輸出。常見的啟用函式包括 sigmoid,tanh,relu等。損失函式 度量神經網路的輸出的 值，與實際值之間的差距的一種方式。常見的損失函式包括 最小二乘損失函式 交叉熵損失函式 回歸中使用的smooth l1...
深度學習 啟用函式 損失函式 優化函式的區別
啟用函式 將神經網路上一層的輸入，經過神經網路層的非線性變換轉換後，通過啟用函式，得到輸出。常見的啟用函式包括 sigmoid,tanh,relu等。損失函式 度量神經網路的輸出的 值，與實際值之間的差距的一種方式。常見的損失函式包括 最小二乘損失函式 交叉熵損失函式 回歸中使用的smooth l1...