迴圈神經網路-rnn
目錄
情感分類（正面，負面）
前向傳播和反向傳播
1、前向傳播
2、反向傳播
gru & lstm
一、gru(gated recurrent unit)
二、lstm（long short-term memory）
零基礎入門深度學習(6) - 長短時記憶網路(lstm)
word2vec數學原理詳解
隱層連線著輸入和輸出層，它到底是什麼？它就是特徵空間，隱層節點的個數就是特徵空間的維數，或者說這組資料有多少個特徵。
輸入層到隱層的連線權重則將輸入的原始資料投影到特徵空間，比如就表示這組資料在特徵空間中第個特徵方向的投影大小，或者說這組資料有多少份量的特徵。
而隱層到輸出層的連線權重表示這些特徵是如何影響輸出結果的，比如某一特徵對某個輸出影響比較大，那麼連線它們的權重就會比較大。關於隱層的含義就解釋這麼多，至於多個隱層的，可以理解為特徵的特徵。
many-to-one，依次輸入每條文本每個分詞的詞向量，最後用sigmoid進行分類；
將詞轉為詞向量的方法有：
（1）one-hot representation，大量0值，資料稀疏，且易造成維度**；
（2）tfidf向量化：輸出的向量不包含次序資訊，深度神經網路學不到什麼東西，一般用ml的方法如貝葉斯，svn進行分類即可；
（3）word2vec：cbow每次更新context（w）個詞的詞向量，skip-gram每次更新乙個詞（目標詞）的詞向量；haffman樹在每個結點出更新引數，隨機負取樣是每次用乙個樣本去更新引數；
更新方程：
梯度更新：
gru和lstm可以更好的捕捉深層連線，並改善梯度消失的問題；
完整的gru:
式一：記憶細胞的更新值；
式二：更新門，決定是否要用候選值更新決 t 時刻的啟用值，可選擇更新一些細胞，一些不更新；
式三：相關門，
式四：t 時刻的啟用值；
問題1：gru 為什麼可以解決長期依賴問題，為什麼可以改善梯度消失問題？
答：由於記憶細胞以及更新門的選擇更新；
例句：the cat which ... ,was sleeping; cat是單數，所以後面要用was，cat輸入時，
將gru式三中的
式一：記憶細胞的候選值；
式二：更新門，是否更新，決定是否要用候選值更新決 t 時刻的啟用值，可選擇更新一些細胞，一些不更新；
式三：遺忘門，選擇性忘記，即保留多少，保留多少上一時刻的狀態
式四：輸出門；輸出門值不僅受輸入須知，若有乙個100維的隱藏層記憶細胞單元，那第50個
式五：更新值，用單獨的更新門和遺忘門去選擇是維持舊的值
式六：t 時刻的啟用值；
深度學習與神經網路（八） 迴圈神經網路RNN
首先看乙個簡單案例，在某寶的好評 差評檢測中，系統要能夠分析使用者的評價是好評還是差評，那怎樣處理這樣的評價資料呢，例如有一條評價 i hate this boring movie 機器怎樣解決這樣的問題呢 首先我們在之前的時間序列表示中已經知道了怎樣對乙個單詞進行表示。如果使用glove的話，整句...
RNN迴圈神經網路
評測乙個句子出現的可能性 文字自動生成 rnn迴圈處理相同的任務，就是 句子接下來的單詞是什麼。rnn迴圈記錄前面所有文字的資訊 也叫做記憶 作為 當前詞的乙個輸入 1.語言模型和文字生成 語言模型中，輸入是經過編碼的詞向量序列，輸出是一系列 的詞 2.機器翻譯 機器翻譯必須等待所有輸入結束後才能輸...
迴圈神經網路 RNN
from torchnlp.word to vector import glove vectors glove vectors hello torch.nn.utils.clip grad norm p,10 10就是最大梯度的模閾值，即保留原來梯度的方向，但梯度大小縮放至10對與梯度瀰散現象，考慮...