啟用函式選取
關於啟用函式的選取。在lstm中，遺忘門、輸入門、輸出門使用sigmoid函式作為啟用函式；在生成候選記憶時，使用雙曲正切函式tanh作為啟用函式。
值得注意的是，這兩個函式都是飽和的，也就是在輸入達到一定值的情況下，輸出不會發生明顯變化。如果是非飽和的啟用函式，比如relu,那麼就難以實現門控的效果。
sigmoid函式的輸出在0~1之間，符合門控的物理意義。且當輸入較小或較大時，其輸出會非常接近0或1，從而保證該門開或關。
在生成候選記憶時，使用tanh函式，因為其輸出在-1~1之間，這與大多數場景下特徵分布是0中心的吻合。此外，tanh在輸入為0的附近比sigmoid有更大梯度，通常使模型收斂更快。
不是一成不變的
啟用函式選取不是一成不變的，例如在原
C 面試題目
1 ispostback正確的是 首次載入頁面的ispostback的值為false 重新整理頁面後的ispostback的值為true 第三個選項忘了 2 頁面傳值的幾種方式 request.querystring session server.transfer 3 什麼是瀏覽器的 無狀態 如何解...
面試題目總結
1.char p和char p的區別。1 char getstring void void main 2 char getstring void void main 為什麼 1 輸出的是亂碼，2 能夠輸出 hello world?hello world 作為靜態字串實際上儲存在文字常量區 參見 棧和...
c 面試題目
摘要 12個c語言面試題，涉及指標 程序 運算 結構體 函式 記憶體，看看你能做出幾個！1.gets 函式 問 請找出下面 裡的問題 include int main void 答 上面 裡的問題在於函式 gets 的使用，這個函式從 stdin 接收乙個字串而不檢查它所複製的快取的容積，這可能會導...