以下文字引用自莫煩python
激勵函式是乙個非線性函式. 比如說relu, sigmoid, tanh. 將這些激勵函式巢狀在原有的結果之上, 強行把原有的線性結果給扭曲了. 使得輸出結果 y 也有了非線性的特徵.
你甚至可以創造自己的激勵函式來處理自己的問題, 不過要確保的是這些激勵函式必須是可以微分的, 因為在 backpropagation 誤差反向傳遞的時候, 只有這些可微分的激勵函式才能把誤差傳遞回去.
想要恰當使用這些激勵函式, 還是有竅門的. 比如當你的神經網路層只有兩三層, 不是很多的時候, 對於隱藏層, 使用任意的激勵函式, 隨便掰彎是可以的, 不會有特別大的影響. 不過, 當你使用特別多層的神經網路, 在掰彎的時候, 玩玩不得隨意選擇利器. 因為這會涉及到梯度**, 梯度消失的問題.
最後我們說說, 在具體的例子中, 我們預設首選的激勵函式是哪些. 在少量層結構中, 我們可以嘗試很多種不同的激勵函式. 在卷積神經網路 convolutional neural networks 的卷積層中, 推薦的激勵函式是 relu. 在迴圈神經網路中 recurrent neural networks, 推薦的是 tanh 或者是 relu
tf.nn.relu(features, name=
none
)tf.nn.relu6(features, name=
none
)tf.nn.elu(features, name=
none
)tf.nn.softplus(features, name=
none
)tf.nn.softsign(features, name=
none
)tf.nn.dropout(x, keep_prob, noise_shape=
none
, seed=
none
, name=
none
)tf.nn.bias_add(value, bias, data_format=
none
, name=
none
)tf.sigmoid(x, name=
none
)tf.tanh(x, name=
none
)
tensorflow2 0之one hot函式使用
先了解一下one hot要幹啥吧。來，咱先看個程式，你一定會很眼熟的。嘿，是不是發現什麼了？labels向量最後可以表示乘矩陣的方式，且 1 0 0 表示0，類推 0 1 0 0 表示1，這樣，可以表示 0 9總共九個數值。one hot的作用就是這樣的，作為儲存標籤的一種方式，用1的位置不同來區分...
tensorflow2 0學習筆記3 常用函式
筆記基於北大的tensorflow2.0教程，將課程的一些重要內容記下來，方便於學習。一 常用函式 強制資料型別轉換 tf.cast 張量名，dtype 資料型別 找張量最小值 tf.reduce min 張量名 找張量最大值 tf.reduce max 張量名 二維張量中，可以通過調整axis控制...
Tensorflow2 0學習筆記（2） 常用函式
對應元素的加減乘除 次方 print tf.square a 平方 a tf.ones 3 2 b tf.fill 2 3 1.print tf.matmul a,b tf.matmul 矩陣1，矩陣2 data tf.data.dataset.from tensor slices 輸入特徵，標籤 ...