RNN，LSTM輸入輸出大小

1. recurrent neural networks輸入輸出型別總結

2. rnn, lstm神經網路輸入輸出size分析

標黃部分為「concat x and h」。concat，直白的說就是把二者直接拼起來，比如 x是28位的向量，h(t-1)是128位的，那麼拼起來就是156位的向量。

lstm 單元輸入都是上乙個時刻的輸出與當前時刻的輸入通過向量concat連線而得到，基於這個輸入，利用sigmoid函式作為三個門的篩選器，分別得到 ft 、it 、ot，這三個篩選器分別選擇部分分量對狀態進行選擇性忘記、對輸入進行選擇性輸入、對輸出進行選擇性輸出。

本章核心內容：

每乙個小黃框代表乙個前饋網路層，就是經典的神經網路的結構dnn，num_units就是這個層的隱藏神經元個數。其中1、2、4的啟用函式是 sigmoid，第三個的啟用函式是 tanh。

lstm layer在輸入不同時間點t時被反覆利用，更新網路權重引數。for input sequence x(1:t), 對乙個batch的sequence length = t的句子，進行mini-batch gradient descent更新, 因此：

input size為[batch_size（句子數）, sequence_length_t（每句話長度 i.e. 單詞個數）, lstm_num_units（h，c的向量長度 i.e. num_units）]

output size為:

if return_sequences=true, output is output sequence y(1:t), with size of [sequence_length, batch_size, num_units].

if return_sequences=false, output只保留y(t), with size of [batch_size, num_units].

上面畫紅框的地方，如想輸出如上的三維矩陣，需要指明引數：return_sequences=true

3. 運用tensorflow處理簡單的nlp問題

reference:

[1]

[2]

[3]