softmax
elu (指數線性單元)
selu (可伸縮的指數線性單元)
softplus (log(exp(x) + 1))
softsign (x / (abs(x) + 1))
relu(cs231n推薦)
tanh
sigmoid
hard_sigmoid
linear (線性啟用函式，即不做任何改變)
對於theano/tensorflow/cntk不能表達的複雜啟用函式，如含有可學習引數的啟用函式，可通過高階啟用函式實現，可以在keras.layers.advanced_activations模組中找到。 這些高階啟用函式包括prelu和leakyrelu
Keras啟用函式Activations
啟用函式可以通過設定單獨的啟用層實現，也可以在構造層物件時通過傳遞activation引數實現。model.add dense 64 activation tanh 預定義啟用函式 softmax 對輸入資料的最後一維進行softmax，輸入資料應形如 nb samples,nb timesteps...
keras中啟用函式的使用
兩種方式 一 通過keras封裝的網路層中的activation引數指定 例如，下面的卷積層中的指定的啟用函式為relu函式 from keras.model import sequential from keras.layers import conv2d from keras.layers im...
深度學習分享9 啟用函式
tf.nn.sigmoid x f x 1 1 exp x 特點 容易造成梯度消失，輸出非0均值，收斂慢，冪運算複雜，訓練時間長 深層神經網路一般不再使用sigmoid函式，因為它的導數處於0到0.25的區間，而深層神經網路的鏈式法則會導致多個這樣的導數值相乘，從而出現乙個極小的梯度，這就是梯度消失...