只是隨便寫寫，fang』bian』zi』ji
ptb_word_lm.py:
1. 一些引數的定義
num_steps = time_step
1.在rnn中進行dropout時，對於rnn的部分不進行dropout，也就是說從t-1時候的狀態傳遞到t時刻進行計算時，這個中間不進行memory的dropout；僅在同乙個t時刻中，多層cell之間傳遞資訊的時候進行dropout.
2. embedding_lookup（embedding，input_ids）：就是根據input_ids中的id，尋找embedding中的對應元素。這裡輸出的是乙個三維的矩陣,對應著lstm輸入資料的格式（batch_size,time_step,embedding_size）
3. tf.get_variable_scope().reuse_variables()這行**不可少，不然會報錯，應該是因為同一命名域(variable_scope)內不允許存在多個同一名字的變數的原因。
4. (cell_output, state) = cell(inputs[:, time_step, :], state)這是模型搭建的重點，inputs[:, time_step, :]是乙個二維的矩陣，state儲存了c和h的資訊。實現了並行運算。
Tensorflow RNN常用函式
整理自 tensorflow中rnn實現的正確開啟方式 cell tf.nn.rnn cell.basicrnncell num units 128 print cell.state size 隱藏層的大小 128 inputs tf.placeholder np.float32,shape 32 ...
Tensorflow RNN原始碼理解
一 閱讀原始碼 這個是tensorflow的 rnn原始碼，官方注釋解釋的比較清楚 rnncell是乙個抽象類，我們看下下它的屬性 我們可以發現這裡用到的是python內建的 property 裝飾器，就是負責把乙個方法變成屬性呼叫的，很像c 中的屬性 欄位的那種概念。state size 和out...
tensorflow RNN 學習1，入門
終於，我可以開始寫我的學習記錄了。度過了懵比時期，從啥都不知道，變成知道了一些些，很開心。現在記錄一下，自己寫的乙個簡單的rnn例子，自我總價，加深理解。所以rnn的概念什麼的，建議自己去學習，比如看看吳恩達老師的 深度學習 課程，在網頁雲課堂有的。rnn的輸入輸出關係 上標，指的是輸入序列時刻。其...