迴圈神經網路（recurrent neural network, rnn）是一類以序列（sequence）資料為輸入，在序列的演進方向進行遞迴（recursion）且所有節點（迴圈單元）按鏈式連線的遞迴神經網路（recursive neural network） [1] 。
對迴圈神經網路的研究始於二十世紀80-90年代，並在二十一世紀初發展為深度學習（deep learning）演算法之一 [2] ，其中雙向迴圈神經網路（bidirectional rnn, bi-rnn）和長短期記憶網路（long short-term memory networks，lstm）是常見的的迴圈神經網路 [3] 。
迴圈神經網路具有記憶性、引數共享並且圖靈完備（turing completeness），因此在對序列的非線性特徵進行學習時具有一定優勢 [4] 。迴圈神經網路在自然語言處理（natural language processing, nlp），例如語音識別、語言建模、機器翻譯等領域有應用，也被用於各類時間序列預報。引入了卷積神經網路（convoutional neural network,cnn）構築的迴圈神經網路可以處理包含序列輸入的計算機視覺問題。
（pytorch 深度學習）深度迴圈神經網路
迴圈神經網路只有乙個單向的隱藏層，在深度學習應用裡，我們通常會用到含有多個隱藏層的迴圈神經網路，也稱作深度迴圈神經網路。下圖演示了乙個有l ll個隱藏層的深度迴圈神經網路，每個隱藏狀態不斷傳遞至當前層的下一時間步和當前時間步的下一層。具體來說 第1隱藏層的隱藏狀態和之前的計算一樣 h t 1 xtw...
深度學習之迴圈神經網路
1 recurrent neural networks tutorial,part 1 introduction to rnns 2 understanding lstm networks 這篇文章一步步的解釋了lstm中涉及到的 gates 並且還簡略的介紹了集中lstm的變體，比如gru，文章的...
深度學習 迴圈神經網路（RNN）
迴圈神經網路 rnn 目錄 情感分類 正面，負面 前向傳播和反向傳播 1 前向傳播 2 反向傳播 gru lstm 一 gru gated recurrent unit 二 lstm long short term memory 零基礎入門深度學習 6 長短時記憶網路 lstm word2vec數學...