lstm只能避免rnn的梯度消失（gradient vanishing）；梯度膨脹(gradient explosion)不是個嚴重的問題，一般靠裁剪後的優化演算法即可解決，比如gradient clipping（如果梯度的範數大於某個給定值，將梯度同比收縮）。下面簡單說說lstm如何避免梯度消失.
rnn的本質是在網路內部維護了乙個狀態
以上解釋來自於文獻[1]的第2節以及文獻[2]的3.3節，希望對題主有幫助。
參考文獻：
[1] rafa jozefowicz et al. an empirical exploration of recurrent network architectures.
[2] junyoung chung et al. empirical evaluation of gated recurrent neural networks on sequence modeling.
lstm使用relu可能intuitively doesn't make sense. lstm中非線性單元的輸出在[0,1]之間，然後會與其它訊號做乘積，模擬「cut off」訊號和「let go」訊號這兩種狀態，起到開關的作用；如果改用relu做非線性單元，輸出 [0, +inf]，這除了能"cut off"訊號，還能"scale/expand"訊號（梯度**）
RNN 迴圈神經網路or遞迴神經網路？
我 內心os 有嗎，我感覺我看到的都是迴圈神經網路啊？我 這個應該就是翻譯的問題吧 回去以後我查了一下，發現我錯了，迴圈神經網路和遞迴神經網路還是有點區別的。很明顯，它倆名字就是不一樣的，迴圈神經網路是recurrent neural network，遞迴神經網路是recursive neural ...
神經網路架構整理
新的神經網路架構隨時隨地都在出現，dcign，iilstm，dcgan 神經網路通常都有很多層，包括輸入層 隱藏層 輸出層。單獨一層不會有連線，一般相鄰的兩層是全部相連的 每一層的每個神經元都與另一層的每個神經元相連 1.前向傳播網路 ff 或 ffnn 它們從前往後傳輸資訊 分別是輸入和輸出 神經...
神經網路架構整理
新的神經網路架構隨時隨地都在出現，dcign，iilstm，dcgan 神經網路通常都有很多層，包括輸入層 隱藏層 輸出層。單獨一層不會有連線，一般相鄰的兩層是全部相連的 每一層的每個神經元都與另一層的每個神經元相連 1.前向傳播網路 ff 或 ffnn 它們從前往後傳輸資訊 分別是輸入和輸出 神經...