之前看的**都是基於cnn在nlp上的應用，但其實深度學習與nlp結合的領域中應用最廣的應該是rnn，因為文字可以直觀地被表示為輸入序列，方便的被rnn處理，捕獲其long-term依賴等資訊，而且實際應用中也取得了很好的效果。之前雖然主要研究cnn，但同時也看了很多關於rnn、lstm、gru等模型原理的介紹，使用方法，也讀過一些**。本篇部落格作為rnn與nlp領域開啟的第一篇，主要介紹一下之前看過的一些部落格、**等資源的鏈結，方便想要了解這個領域的同學們入門學習，可能羅列的也不是很全面只是自己感覺比較好的資源而已。
部落格的話主要看了兩個比較知名博主寫的博文，國內也有很多研究者對其進行了翻譯，寫的博文質量很高，強烈建議大家進行研讀。
wlidml大神關於rnn、lstm、gru的介紹和使用theano實現的的四篇博文：
recurrent neural networks tutorial, part 1 – introduction to rnns
recurrent neural networks tutorial, part 2 – implementing a rnn with python, numpy and theano
recurrent neural networks tutorial, part 3 – backpropagation through time and vanishing gradients
recurrent neural networks tutorial, part 4 – implementing a gru/lstm rnn with python and theano
colah大神關於rnn以及rnn最新的四個研究領域介紹的部落格，其部落格特點是插圖都很經典，往往使用gif**易於理解模型實質：
understanding lstm networks
attention and augmented recurrent neural networks
cs224d課程關於rnn的介紹
張俊林的部落格
tensorflow官網教程
RNN迴圈神經網路
評測乙個句子出現的可能性 文字自動生成 rnn迴圈處理相同的任務，就是 句子接下來的單詞是什麼。rnn迴圈記錄前面所有文字的資訊 也叫做記憶 作為 當前詞的乙個輸入 1.語言模型和文字生成 語言模型中，輸入是經過編碼的詞向量序列，輸出是一系列 的詞 2.機器翻譯 機器翻譯必須等待所有輸入結束後才能輸...
迴圈神經網路 RNN
from torchnlp.word to vector import glove vectors glove vectors hello torch.nn.utils.clip grad norm p,10 10就是最大梯度的模閾值，即保留原來梯度的方向，但梯度大小縮放至10對與梯度瀰散現象，考慮...
RNN迴圈神經網路
神經網路基礎 神經網路可以當做是擬合任意函式的黑盒子，給定特定的輸入x,就能夠的得到希望的輸出y。神經網路結構如下圖 將神經網路模型訓練好之後，輸入層輸入乙個x，通過網路之後就能夠在輸出層輸出特定的y.有了這麼強大的模型，為什麼會出現rnn 迴圈神經網 它們單獨的乙個個的輸入，前乙個輸入和後乙個輸入...