**自csdn, crelu啟用函式
crelu 一種改進 relu 啟用函式的文章，來自icml2016.
為了看懂上圖。
（1）首先介紹一下余弦相似度(cos距離)的概念
cos距離的取值範圍是 [-1,+1]，距離越接近-1，表示兩個向量的方向越相反，即呈負相關關係。
（2）再來介紹一下 pair filter的定義
乙個卷積層有 \(j=1, \cdots, n\) 個卷積核(filter), 乙個卷積核 \(ϕ_i\) 對應的 pairing filter 定義為
\[ϕ_i = argmin_cos
\]即從所有卷積核中選擇乙個cos相似度最小的卷積核。
我們再回頭看上圖。 對所有卷積核尋找其 pair filter，並計算cos相似度得到藍色的統計直方圖。 紅色的曲線，是假設隨機高斯分布生成的卷積核得到的相似度統計。
現象：網路的前部，引數的分布有更強的負相關性(類似於正負對立)。隨著網路變深，這種負相關性逐步減弱。
結論：網路的前部，網路傾向於同時捕獲正負相位的資訊，但relu會抹掉負響應。 這造成了卷積核會存在冗餘。
crelu的定義很簡單：
\[\text
\]輸出維度會自動加倍。 比如
\[ [−3, 1] \rightarrow \begin
[[0&1], \\ [3&0]] \\
\end\]
在網路中的實現也很簡單，甚至不用修改**（通過scale層取反再經過一次relu）
什麼是啟用函式？常用的啟用函式
啟用函式是神經網路中的重要一環，也是神經網路之所以能叫 神經網路 的原因。初中應該就學過關於神經元的知識了。神經系統的結構和功能的基本單位是神經元，神經元的基本結構包括細胞體和突起兩部分神經元的功能是神經元接受刺激並能產生興奮 神經衝動 並能把興奮傳導到其它的神經元。也就是說其作用主要有三個 接受刺...
CReLU與PReLU的大體簡介
本次介紹prelu啟用函式，方法來自於何凱明 delving deep into rectifiers surpassing human level performance on imagenet classification 關於crelu prelu parametric rectified l...
啟用函式作用
在神經網路結構中，通過啟用函式將非線性的特性引入到神經網路中，從而讓神經網路可以理解 處理複雜的資料及問題。通常啟用函式的形式可以寫成 y f x 這裡的 x 是啟用函式f 的輸入，y 是 x經過啟用函式變換得到的輸出。通過f 將原來的輸入 x 對映成為另外一種形式表達y。通常在神經網路結構中常用的...