終於,我可以開始寫我的學習記錄了。度過了懵比時期,從啥都不知道,變成知道了一些些,很開心。
現在記錄一下,自己寫的乙個簡單的rnn例子,自我總價,加深理解。
所以rnn的概念什麼的,建議自己去學習,比如看看吳恩達老師的《深度學習》課程,在網頁雲課堂有的。
rnn的輸入輸出關係:
上標,指的是輸入序列時刻。
其中a是rnn的隱藏層的輸出。
我們可以用這個a,來得到y。
這個模型很簡單,可以將這個模型理解為乙個基本的神經網路nn。
目的:將一句話,輸入到這個模型,模型能夠正確的給出輸出這句話。
為了簡單,這句話只有1個字。因此輸入輸出序列長度都是1.
輸入:用1個數字來表示這個字。
輸出:用1個數字來表示。
樣本輸入:數字1
樣本輸出:數字1
樣本總是:1個。
rnn隱藏層啟用項數:4個
rnn的層數:1層
畫一下圖方便理解:
未完待續。
tensorflow rnn閱讀筆記
只是隨便寫寫,fang bian zi ji ptb word lm.py 1.一些引數的定義 num steps time step 1.在rnn中進行dropout時,對於rnn的部分不進行dropout,也就是說從t 1時候的狀態傳遞到t時刻進行計算時,這個中間不進行memory的dropou...
Tensorflow RNN常用函式
整理自 tensorflow中rnn實現的正確開啟方式 cell tf.nn.rnn cell.basicrnncell num units 128 print cell.state size 隱藏層的大小 128 inputs tf.placeholder np.float32,shape 32 ...
Tensorflow RNN原始碼理解
一 閱讀原始碼 這個是tensorflow的 rnn原始碼,官方注釋解釋的比較清楚 rnncell是乙個抽象類,我們看下下它的屬性 我們可以發現這裡用到的是python內建的 property 裝飾器,就是負責把乙個方法變成屬性呼叫的,很像c 中的屬性 欄位的那種概念。state size 和out...