前饋神經網路中，資訊傳遞是單向的，可以看作是乙個複雜的函式，網路的輸出只依賴於當前的輸入。因此無法處理時序資料。
然而迴圈神經網路是一類具有短期記憶能力的神經網路。在迴圈神經網路中，神經元不但可以接受其他神經元的其他神經元的資訊，也可以接受自身的資訊，形成具有環路的網路結構。迴圈神經網路的引數學習可以通過隨時間反向傳播演算法來學習。隨時間反向傳播演算法即可以按照時間逆序將錯誤資訊一步步往前傳遞。不過輸入序列較長時，可能會有梯度**和梯度消失的問題。梯度**可以用梯度裁剪方法，但梯度消失就需要引入長短時神經網路（門控機制）。
給網路增加記憶能力我們通常有三種方式
延時神經網路，即在前饋網路中的非輸出層都增加延時器，記錄最近幾次神經元的輸出。這樣延時神經網咯在時間維度上共享權值，可降低引數數量。
由外部輸入的非線性自回歸模型，在每個時刻t都有乙個外部輸入產生乙個輸出，並通過延時器記錄最近幾次的外部輸入和輸出。
迴圈神經網路通過使用帶自反饋的神經元，能夠處理任意長度的時序資料。給定乙個輸入序列，迴圈神經網路通過輸入前一時刻的活性值和這時刻的輸入序列來更新帶反饋邊的隱藏層的活性值。
迴圈神經網路中的隱藏層的狀態不僅與當前時刻輸入序列有關，還和上一時刻的隱藏層狀態有關。並且要用sigimod啟用函式啟用。如果我們把每個時刻的狀態都看作是前饋神經網路的一層，迴圈神經網路可以看作是在時間維度上權值共享的神經網路。即迴圈神經網路在時間維度上三套權值共享。
由於迴圈神經網路具有短期記憶能力，相當於儲存裝置，因此其計算能力十分強大。前饋神經網咯可以模擬任何連續函式，而迴圈神經網路可以模擬任何程式。
根據通用近似定理，兩層的前饋神經網路可以近似任意有界閉集上任意連續函式。因此，動力系統的兩個函式可以用兩層的前饋神經網路近似。
所有的圖靈機都 可以被乙個由使用sigmoid型啟用函式的神經元構成的全連線迴圈網路來進行模擬。乙個完全連線的迴圈神經網路可以近似解決所有的可計算問題。
迴圈神經網路分為：序列到類別模式、同步的序列到序列模式、非同步的 序列到序列模式。
迴圈神經網路引數可以通過梯度下降法學習。主要有兩種計算梯度的方式：隨 時間反向傳播（bptt）演算法和實時迴圈學習（rtrl）演算法。
隨時間反向傳播演算法主要思想是通過類似前饋神經網路的錯誤反向傳播演算法來計算梯度。就是將迴圈神經網路看作是乙個展開的多層前饋網路，其中「每一層」對應迴圈網路中的「每個時刻」。這樣，迴圈神經網路就可按照反向傳播演算法計算梯度。並且由於引數是共享的，所有是各個層引數梯度之和。
實時迴圈學習（real-time recurrent learning，rtrl）是通過前向傳播的方式來計算梯度
迴圈神經網路 機器學習 迴圈神經網路知識要點
迴圈神經網路特點是可以挖掘出資料序列之間的關係資訊，實際使用中每乙個樣本的輸入是資料序列，也就是一系列的資料，其中的每個資料是乙個時間步。rnn層也是由乙個或者多個神經元組成的，每個神經元的輸入由兩部分構成，一部分是序列資料中的某乙個資料，另一部分是這個資料的前乙個資料經過迴圈層神經元時，神經元輸出...
筆記 總結 迴圈神經網路
全連線神經網路能夠很好地擬合複雜的樣本特徵，卷積神經網路能很好地建模區域性與全域性特徵的關係。但它們都只能處理定長的輸入 輸出，而自然語言的處理物件一般是變長的語句，句子中各元素出現的順序先後暗含著時序關係，迴圈神經網路 recurrent neural network，下稱rnn 能夠較好地處理這...
迴圈神經網路
原文 迴圈神經網路也可以畫成下面這個樣子 對於語言模型來說，很多時候光看前面的詞是不夠的，比如下面這句話 我的手機壞了，我打算 一部新手機。可以想象，如果我們只看橫線前面的詞，手機壞了，那麼我是打算修一修？換一部新的？還是大哭一場？這些都是無法確定的。但如果我們也看到了橫線後面的詞是 一部新手機 那...