最近有個比賽設計到了自然語言處理。所以先跳過《動手學深度學習》的卷積神經網路章節，進行迴圈神經網路章節的學習
迴圈神經⽹絡（recurrentneural networks）被設計⽤來更好地處理時序資訊。它引⼊狀態變數來儲存過去的資訊，並與當前的輸⼊共同決定當前的輸出。
rnn常用於處理序列資料，比如：
所以，rnn常常用於：
本次學習的重點是：語言模型
介紹語言模型基本概念，並由該問題激發rnn的設計靈感
描述rnn的梯度計算方法，從而**rnn訓練可能存在的問題
對於其中某些部分，介紹含門控的rnn拓展rnn的架構，比如雙向迴圈神經網路
RNN迴圈神經網路
評測乙個句子出現的可能性 文字自動生成 rnn迴圈處理相同的任務，就是 句子接下來的單詞是什麼。rnn迴圈記錄前面所有文字的資訊 也叫做記憶 作為 當前詞的乙個輸入 1.語言模型和文字生成 語言模型中，輸入是經過編碼的詞向量序列，輸出是一系列 的詞 2.機器翻譯 機器翻譯必須等待所有輸入結束後才能輸...
迴圈神經網路 RNN
from torchnlp.word to vector import glove vectors glove vectors hello torch.nn.utils.clip grad norm p,10 10就是最大梯度的模閾值，即保留原來梯度的方向，但梯度大小縮放至10對與梯度瀰散現象，考慮...
RNN迴圈神經網路
神經網路基礎 神經網路可以當做是擬合任意函式的黑盒子，給定特定的輸入x,就能夠的得到希望的輸出y。神經網路結構如下圖 將神經網路模型訓練好之後，輸入層輸入乙個x，通過網路之後就能夠在輸出層輸出特定的y.有了這麼強大的模型，為什麼會出現rnn 迴圈神經網 它們單獨的乙個個的輸入，前乙個輸入和後乙個輸入...