什麼時候用？文字、音訊分析。
永標準的神經網路用來解決這些問題時的缺點？
1.標準的神經網路，輸入樣本長度固定的。這個可以處理序列訊號長度不同的情況。比如輸入文字，第一次輸入20個詞，第二次輸入30個詞。rnn用輸出序列解決這個問題。
2.標準神經網路無法共享特徵。比如一句話裡有兩個相同的詞，「李雷」，第乙個定義為人名，第二個也肯定是人名的，這個網路可以記憶第一次定義的結果，而標準網路不可以。rnn用記憶單元解決這個問題。
1rnn結構
2.輸入表示（量化訊號，數字輸入one-hot其實就是查表）
2rnn 正向（記憶單元、啟用函式、輸出）
3rnn反向（損失函式）
1rnn
結構
x 輸入訊號， y 是輸出， a 是記憶單元
記憶單元a0：a0是本模組的輸出，也是下乙個模組的輸入,用於解決共享特徵的問題。
2.
輸入表示
量化訊號 變成數字才能輸入。英語單詞幾十萬，可以建乙個幾十萬的向量表。
例：my name is tom 建一10維的表，詞彙位置在 0 3 6 9 於是表達為
這就是
ont-hot
編碼。2rnn
正向
x 輸入訊號 y 是輸出 a 是記憶單元，b 偏置值，g是啟用函式
訓練三個引數：wax waa wya 每個時刻三個引數共享的。
公式：
g 啟用函式
ba 輸入到隱藏層常數項
by 隱藏層到輸出層常數項
3。rnn
反向損失函式
分類 交叉熵 回歸 mse mae huber
就是對wa,wy ba by分別計算偏導，求梯度最優。
RNN 迴圈神經網路or遞迴神經網路？
我 內心os 有嗎，我感覺我看到的都是迴圈神經網路啊？我 這個應該就是翻譯的問題吧 回去以後我查了一下，發現我錯了，迴圈神經網路和遞迴神經網路還是有點區別的。很明顯，它倆名字就是不一樣的，迴圈神經網路是recurrent neural network，遞迴神經網路是recursive neural ...
神經網路基礎 迴圈神經網路RNN
在處理序列問題 如語言識別等 上，使用迴圈神經網路 recurrent neural networks，rnn 是很自然的方式 所謂迴圈神經網路，其實就是把上一時刻的資訊作為當前時刻輸入的一部分，從而實現資訊的傳遞 本文將先介紹基礎版rnn，並說明基礎版的問題，然後介紹改進版的迴圈神經網路lstm ...
遞迴神經網路RNN
import tensorflow as tf from tensorflow.examples.tutorials.mnist import input data 載入資料 mnist input data.read data sets mnist data one hot true 輸入是28 ...