Deep learning系列（七）啟用函式

sigmoid將乙個實數輸入對映到[0,1]範圍內，如下圖（左）所示。使用sigmoid作為啟用函式存在以下幾個問題：

因為上面兩個問題的存在，導致引數收斂速度很慢，嚴重影響了訓練的效率。因此在設計神經網路時，很少採用sigmoid啟用函式。

tanh函式將乙個實數輸入對映到[-1,1]範圍內，如上圖（右）所示。當輸入為0時，tanh函式輸出為0，符合我們對啟用函式的要求。然而，tanh函式也存在梯度飽和問題，導致訓練效率低下。

relu啟用函式（the rectified linear unit）表示式為：f(

x)=m

ax(0

,x) 。如下圖（左）所示：

相比sigmoid和tanh函式，relu啟用函式的優點在於：

因此，relu啟用函式可以極大地加快收斂速度，相比tanh函式，收斂速度可以加快6倍（如上圖（右）所示）。

參考資料： 

1. 2. krizhevsky a, sutskever i, hinton g e. imagenet classification with deep convolutional neural networks. nips. 2012: 1097-1105.

Deep learning系列（七）啟用函式

sigmoid將乙個實數輸入對映到 0,1 範圍內，如下圖 左 所示。使用sigmoid作為啟用函式存在以下幾個問題 因為上面兩個問題的存在，導致引數收斂速度很慢，嚴重影響了訓練的效率。因此在設計神經網路時，很少採用sigmoid啟用函式。tanh函式將乙個實數輸入對映到 1,1 範圍內，如上圖 右...

Deep Learning 學習筆記整理系列之四

九 deep learning的常用模型或者方法 9.1 autoencoder自動編碼器 deep learning最簡單的一種方法是利用人工神經網路的特點，人工神經網路 ann 本身就是具有層次結構的系統，如果給定乙個神經網路，我們假設其輸出與輸入是相同的，然後訓練調整其引數，得到每一層中的權重...

Deep Learning 學習筆記整理系列之五

9.2 sparse coding稀疏編碼 如果我們把輸出必須和輸入相等的限制放鬆，同時利用線性代數中基的概念，即o a1 1 a2 2 an n，i是基，ai是係數，我們可以得到這樣乙個優化問題 min i o 其中i表示輸入，o表示輸出。通過求解這個最優化式子，我們可以求得係數ai和基 i，這些...