by:yang liu
1.什麼是rnn
迴圈神經網路（recurrent neural network, rnn）是一類以序列（sequence）資料為輸入，在序列的演進方向進行遞迴（recursion）且所有節點（迴圈單元）按鏈式連線的遞迴神經網路（recursive neural network）。
2.rnn的結構
經典結構
迴圈結構：
按時間線展開如下圖：
xt:表示t時刻的輸入，ot:表示t時刻的輸出，st:表示t時刻的記憶
用公式可表示為：
3.rnn的作用
（1）隱層節點之間可以互連也可以自連
（2）網路共享權重u、v、w
（3）rnn網路中，每一步的輸出不是必須的，每一步的輸入也不是必須的。
5.rnn的小結
rnn主要用於處理序列資料；例如，如果你想寫乙個文件，單詞的順序很重要，當前的單詞肯定取決於以前的單詞。
思想上認為當前的輸出與前面的輸入也有關係，具體做法是網路會對前面的資訊進行記憶，並應用於當前輸出的計算中，即隱層之間的節點不再無連線，並且隱層的輸入不僅包括輸入層的輸出，還包括上一時刻隱層的輸出。
rnn訓練主要採用bp誤差反向傳播演算法、梯度下降演算法。
參考文獻：
（1）（2）
（3）（4）
RNN迴圈神經網路
評測乙個句子出現的可能性 文字自動生成 rnn迴圈處理相同的任務，就是 句子接下來的單詞是什麼。rnn迴圈記錄前面所有文字的資訊 也叫做記憶 作為 當前詞的乙個輸入 1.語言模型和文字生成 語言模型中，輸入是經過編碼的詞向量序列，輸出是一系列 的詞 2.機器翻譯 機器翻譯必須等待所有輸入結束後才能輸...
迴圈神經網路 RNN
from torchnlp.word to vector import glove vectors glove vectors hello torch.nn.utils.clip grad norm p,10 10就是最大梯度的模閾值，即保留原來梯度的方向，但梯度大小縮放至10對與梯度瀰散現象，考慮...
RNN迴圈神經網路
神經網路基礎 神經網路可以當做是擬合任意函式的黑盒子，給定特定的輸入x,就能夠的得到希望的輸出y。神經網路結構如下圖 將神經網路模型訓練好之後，輸入層輸入乙個x，通過網路之後就能夠在輸出層輸出特定的y.有了這麼強大的模型，為什麼會出現rnn 迴圈神經網 它們單獨的乙個個的輸入，前乙個輸入和後乙個輸入...