主要作用：加入非線性因素，彌補線性模型表達不足的缺陷
sigmoid函式
隨著 x
xx 的趨近正/負無窮，y
yy 對應的值越來越接近 +1/-1，趨近飽和
因此當 x
xx = 100 和 x
xx = 1000 的差別不大，這個特性丟掉了 x
xx = 1000 的資訊
tanh函式
對sigmoid函式的值域公升級版，值域為(-1, 1)
relu函式
大於 0 的一律留下，否則一律為 0，這種對正向訊號的重視，忽略負向訊號的特性，與人類神經元細胞訊號的反應機制非常相似
變式總結：1.softplus: 對負訊號不是全部拒絕，函式更為平滑，但計算量巨大
2.noisy relus: 其中x加入了乙個高斯分布雜訊
3.leaky relus: 在relu的基礎上，保留一部分負值，讓x為負時乘以0.01，對負訊號不是一味拒絕，而是縮小
4.elus: 對x為負時，做了更加複雜的變化
tanh函式：特徵相差明顯
sigmoid函式：特徵相差複雜，但是沒有明顯區別
relu函式：處理後的資料具有很好的稀疏疏性(大多數元素值為0)，近似程度地最大保留資料特徵
實際上，神經網路訓練過程中，就是不斷嘗試如何用乙個稀疏矩陣來表達資料特徵，稀疏矩陣可以使神經網路在迭代運算中得到又快又好的效果，因此relu函式被作為啟用函式有著更廣泛的應用
深度學習 啟用函式
如下圖，在神經元中，輸入的 inputs 通過加權，求和後，還被作用了乙個函式，這個函式就是啟用函式 activation function。啟用函式的這些特性可以很好地解釋我們為什麼要用啟用函式。函式公式和圖表如下圖 在sigmod函式中我們可以看到，其輸出是在 0,1 這個開區間內，這點很有意思...
深度學習 啟用函式
啟用函式又稱 非線性對映函式 是深度卷積神經網路中不可或缺的模組。可以說，深度網路模型強大的表示能力大部分便是由啟用函式的非線性單元帶來的。這部分共介紹7個啟用函式 sigmoid函式，tanh函式，relu函式，leaky relu函式，引數化relu，隨機化relu和指數化線性單元 elu si...
深度學習之啟用函式
sigmoid啟用函式 sigmoid將乙個實數輸入對映到 0,1 範圍內，如下圖 左 所示。使用sigmoid作為啟用函式存在以下幾個問題 梯度飽和。當函式啟用值接近於0或者1時，函式的梯度接近於0。在反向傳播計算梯度過程中 l w l t l 1 f z l 每層殘差接近於0，計算出的梯度也不可...