一、啟用函式
1. sigmoid
它可以將輸入實數值壓縮到0到1的範圍內，更具體地說，很大的負數變為0，很大的正數變為1。 但sigmoid 函式有幾個缺點
2.tanh函式
它將輸入實數值壓縮到-1,1之間，和sigmoid函式一樣，它也存在飽和問題，但它輸出是零中心的，所以相比較sigmoid而言更受歡迎
3. relu
優點：
缺點：
4. leaky relu （為解決relu死亡問題）
5.maxout
它是對relu和leaky relu的一般化歸納，maxout神經元擁有relu所有的優點，而沒有它的缺點，然而和relu對比，它每個神經元的參數量增加了一倍
總結：如果用relu，注意設定好學習率，或許可以監控死亡的神經元佔的比例。不要用sigmoid，也可以試試tanh，但效果應該不如relu或者maxout
神經網路啟用函式
2018,jul 23 學了深度學習也快近一年了，在學deep learning的時候什麼教程都去看，起初學起來也特別的雜亂，前面的基礎沒弄懂還一直往下學，自然導致我學到後面的時候有點崩潰什麼都看不懂，並且因為自己還是一名在校生，平常課程也非常多，沒有乙個連續的學習時間也導致我的學習是斷斷續續，在學...
啟用函式 神經網路
andrew的 neural networks and deep learning 課程學習筆記 如圖所示，是乙個簡單的三層神經網路，如果只使用線性啟用函式或者恒等啟用函式 不使用啟用函式 那麼神經網路的輸出就只是輸入函式的線性變化，因為線性啟用函式的組合依然是線性啟用函式。這種情況下，不管使用多少...
神經網路啟用函式
1.sigmoid sigmoid散活函式是將 乙個實數輸入轉化至 0 1 之間的輸出，具體來說也就是將越大的負數轉化到越靠近 0 越大的正數轉化到越靠近1。多用於二分類。缺點 1 sigmoid 函式會造成梯度消失。乙個非常不好的特點就是 sigmoid 函式在靠近 1和0 的兩端時，梯度會幾乎變...