一、什麼是稀疏啟用函式（relu）
relu全稱是rectified liner uints,其具體形式為y=max(0,x)。
relu具有：1、單側抑制；2、相對寬闊的興奮邊界；3、稀疏啟用性等優點。
二、為什麼relu更有效？
生物研究表明：生物神經元只對輸入訊號中很少部分進行響應，大部分訊號則被刻意遮蔽掉了。這樣做可以更好的提高學習精度，更好更快的提取稀疏特徵。這表現為生物神經元的稀疏啟用性。
三、稀疏性的優勢
1、資訊解離。原始輸入資料往往纏繞著高密度特徵，特徵之間相互耦合，表現出強烈的非線性特徵。傳統學習演算法往往是採用高維對映等手段進行資訊解理，但是往往難以很好的進行解耦。若能通過手段將這些特徵轉換為稀疏特徵，則特徵之間耦合更小，特徵魯棒性更強。
2、線性可分。稀疏性特徵之間耦合更小，具有更好的線性可分性，對非線性對映機制依賴性更小，用一些簡單的線性分類器就可以達到很好的分類效果。
四、稀疏啟用函式的優勢
若啟用函式具有稀疏性，則可以更好的從有效的資料維度上，學習到相對稀疏的特徵，起到特徵自動解耦的作用。
1、非飽和線性端。相比於bp網路、svm等分類器。採用線性啟用函式，網路更快更高效。
2、消失的梯度問題。傳統的sigmoid函式在反向傳播中，隨著傳播層數的增加，誤差梯度急劇衰減，導致學習效率低下。這也是為什麼傳統神經網路往往都是淺層神經網路，因為隨著隱藏層的增加，誤差梯度在反向傳播時對前幾層的影響幾乎減小至零。但是relu的誤差梯度是1，可以很好的在網路之間傳播，相比於sigmoid、tanh啟用函式，學習速度更快。
3、目前的dl架構中，合理的稀疏性比率為70~80%，否則遮蔽特徵多過，容易出現欠擬合現象。
深度學習Deep Learning
概述 deep feedforward network 深度前饋網路 又名feedforward neural network 前饋神經網路 或 multilayer perceptron 多層感知器 是深度學習模型的精髓 前饋網路的目的是逼近某種方程f 比如乙個分類器，y f x 將輸入x對映到類...
深度學習Deep learning
第二章 tensorflow之前期零七八碎的小知識 二 tensorflow小知識 總結深度學習入門必須了解一些關於numpy的知識，本文介紹一些零七八碎的注意事項。array1 1,2,3 4,5,6 7,8,9 array2 array1 這麼做是不對的 python中只是把array1的記憶體...
深度學習 Deep Learning 綜述
深度學習是ml研究中的乙個新的領域，它被引入到ml中使ml更接近於其原始的目標 ai。檢視a brief introduction to machine learning for ai 和 an introduction to deep learning algorithms.這篇綜述主要是介紹一些...