tanh函式解決了sigmoid函式輸出不是0均值的問題，但是沒有解決梯度消失和指數運算的問題。
一般在二分類問題中，隱藏層用tanh函式，輸出層用sigmoid函式。
leaky relu函式在左側給了乙個很小的導數，他的優點與relu類似：
1）沒有飽和區，不存在梯度消失問題。
2）沒有指數運算，計算快。
3）收斂速度快，速度是sigmoid和tanh的6倍。
4）不會造成神經元失效，形成「死神經元」。
係數0.01可調，但不會太大。
*******現的幾個名詞**斜體樣式
蘇嵌第二週第一天
學習日誌 姓名 郭旭亮 日期 2018.7.9 今日學習任務 學習了微控制器的結構以及 軟體的使用 利用微控制器實現led燈的點亮 利用微控制器實現蜂鳴器的操作 今日任務完成情況 學習了如何使用延時程式實現跑馬燈的操作 完成了蜂鳴器和按鍵的程式程式設計以及 今日開發中的問題 延時程式一開始忘記了 矩...
HTML第一天 第二節
1.是對網頁的標準宣告，處於標籤之前，告知瀏覽器使用哪種html或者xhtme規範。宣告文件型別 張亮是最棒的！主題標籤 執行結果 其中，謝成是網頁標題，張亮是最棒的！是網頁內容。2.html與htm l是language 兩個是一樣的。字尾名不能決定檔案的格式，只能決定檔案開啟的方式。3.html...
mysql 第一天 MySQL 系列第一天
mysql 系列第一天這篇文章是黑馬程式設計師 mysql 教程的筆記，好好學習哦。和 mysql 資料庫的互動 客戶端單向連線認證 連線伺服器，認證身份。mysql 資料庫屬於 c s 架構，所以開啟伺服器程式後，需要通過客戶端連線它。mysql 會自帶乙個客戶端程式，可以直接輸入賬號和密碼即可連...