什麼是啟用函式？
啟用函式
就是神經網路輸出端的乙個節點，來連線兩個神經網路。
為什麼要在神經網路中使用啟用函式
啟用函式用來確定神經網路的輸入，比如「是」或「否」，將結果對映為[0
，1]或[-1
，1]之間
，根據函式的曲線，
可分為兩種型別：線性啟用函式
、非線性啟用函式。
1.線性啟用函式（恒等啟用函式）
如下圖所示，函式是線性的，函式的輸出範圍為（-∞，+∞）。
線性啟用函式
方程式：
f(x) = x
取值範圍：（-∞，+∞）
2.非線性啟用函式
非線性啟用函式是最常用的啟用函式
，其曲線
如下圖所示：
非線性啟用函式
使用非線性啟用函式，模型可以更容易進行自我調整，並區分不同的輸出。非線性啟用函式
中的主要術語有：
1.導數或微分：y軸隨x軸的變化，稱為斜率。
2.單調函式：完全遞增或完全遞減的函式。
根據取值範圍，非線性啟用函式可分為以下幾種：sigmoid啟用函式
、tanh啟用函式
、relu啟用函式、
1.sigmoid啟用函式（logistic啟用函式）
sigmoid啟用函式的曲線
呈「s」形。
sigmoid啟用函式
sigmoid函式很受大眾的歡迎，其主要原因是：它的輸出處於[0,1]範圍內，特別適用於輸出概率的模型。由於任何概率的取值在0和1範圍之間，因此，sigmoid啟用函式是最好的選擇。
該函式是可微的，也就是說，我們可以得到「s」曲線上任意兩點之間的斜率。這個函式是單調的，但是其導數不是，sigmoid 啟用函式可能會導致神經網路在訓練的時候卡住。
softmax函式是一種更通用的邏輯啟用函式，用於多類分類。
2.tanh啟用函式
tanh啟用函式和sigmoid啟用函式類似，但是要比sigmoid啟用函式好。tanh啟用函式的取值範圍是（-1,1），曲線也
呈「s」形。
sigmoid啟用函式和tanh啟用函式
tanh啟用函式的優點在於，如果輸入為負數，則輸出也為負數，輸入為0，則輸出也近似為0。
該函式是可微分、單調的，但其導數不單調。tanh啟用函式主要用於分類。
tanh和sigmoid啟用函式都可用於前饋網路。
3.relu啟用函式(rectified linear unit)
在神經網路中，使用最多的啟用函式是relu啟用函式，它幾乎可用於所有卷積神經網路或深度學習中。
relu啟用函式和sigmoid啟用函式
如上圖所示，在relu啟用函式中，當z<0時，f(z)=0；當z>0時，f(z)=z。取值範圍
為[0,+∞]
relu啟用函式及其導數都是單調的。 但
這存在乙個問題：當輸入為負值時，輸出立刻變為0，這就降低了模型擬合或訓練資料的能力。反過來說，為了不影響結果，就不能對映負值輸入。
4. leaky relu啟用函式
leaky relu啟用函式的出現，試**決relu啟用函式**現的死亡問題。
relu啟用函式和leaky relu啟用函式
leaky relu啟用函式擴大了relu啟用函式的取值範圍，如上圖所示，通常，a的值為0.01左右。取值範圍：（-∞，+∞）。
當a不是0.01時，該函式稱為randomized relu。
本質上來說，leaky relu函式和randomized relu函式都是單調的。 而且，它們的導數也單調。
為什麼要使用導數和微分？
在更新曲線時，我們要知道哪個方向上會發生變化，或者是根據斜率來更新曲線。這就是我們要在機器學習和深度學習的每個部分都使用微分的原因。
啟用函式彙總
啟用函式的導數曲線圖彙總
本文由北郵
@愛可可-愛生活
老師推薦，
阿里云云棲社群
組織翻譯。
文章原標題《
activation functions neural networks》
譯者：mags
，審校：袁虎。
文章為簡譯，更為詳細的內容，請檢視原文
88 你要乘坐的飛碟在這裡
88 你要乘坐的飛碟在這裡 問題描述 乙個眾所周知的事實，在每一顆慧星後面是乙個不明飛行物ufo。這些不明飛行物時常來收集來自在地球上忠誠的支持者。不幸地，他們的空間在每次旅行只能帶上一群支持者。他們要做的是用一種聰明的方案選擇哪個團體被慧星帶走。他們為每個慧星起了乙個名字，通過這些名字來決定乙個團...
最常用正規表示式,你要的都在這裡了
很多不太懂正則的朋友，在遇到需要用正則校驗資料時，往往是在網上去找很久，結果找來的還是不很符合要求。所以我最近把開發中常用的一些正規表示式整理了一下，在這裡分享一下。給自己留個底，也給朋友們做個參考。一 校驗數字的表示式 1 數字 0 9 2 n位的數字 d 3 至少n位的數字 d 4 m n位的數...
最常用正規表示式 你要的都在這裡了
一 校驗數字的表示式 1 數字 0 9 2 n位的數字 d 3 至少n位的數字 d 4 m n位的數字 d 5 零和非零開頭的數字 0 1 9 0 9 6 非零開頭的最多帶兩位小數的數字 1 9 0 9 0 9 7 帶1 2位小數的正數或負數 d d 8 正數 負數 和小數 d d 9 有兩位小數的...