RNN中網路結構的理解

在使用tensorflow對構建rnn模型的時候，有幾個引數一直不能很好的理解它本身的結構，這對後續網路的修改產生了很大的問題，在網上查閱資料後對其中一些引數結構進行總結。

例子**如下：

#!/usr/bin/env python3
# -*- coding:utf-8 -*-
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
defweight_variable
(shape)
:    initial = tf.truncated_normal(shape=shape, stddev=
0.1)
return tf.variable(initial)
defbias_variable
(shape)
:    initial = tf.constant(
0.1, shape=shape)
return tf.variable(initial)
defrnn
(x, weights, bias, n_times, n_inputs, n_hidden_units)
:# inputs shape:(100,28,28)
inputs = tf.reshape(x,[-
1, n_times, n_inputs]
)    lstm_cell = tf.contrib.rnn.basiclstmcell(n_hidden_units)
# todo tensorflow 刪除了core_rnn_cell
# todo lstm_cell = tf.contrib.rnn.core_rnn_cell.basiclstmcell
# output shape:(100,28,100) finall_state為乙個包含兩個元素的tuple,其中每個元素的shape都為(100,100)
output, finall_state = tf.nn.dynamic_rnn(lstm_cell, inputs, dtype=tf.float32)
# predicton shape:(100,10)
prediction = tf.matmul(finall_state[1]
, weights)
+ bias
return prediction
defmain()
:    mnist = input_data.read_data_sets(
'mnist_data'
, one_hot=
true
)    batch_size =
100    n_batch = mnist.train.num_examples // batch_size
n_inputs =
28    n_times =
28    n_hidden_units =
100    n_classes =
10    x = tf.placeholder(tf.float32,
[none
, n_inputs * n_times]
)    y = tf.placeholder(tf.float32,
[none
, n_classes]
)    weights = weight_variable(
[n_hidden_units, n_classes]
)    bias = bias_variable(
[n_classes]
)    prediction = rnn(x, weights, bias, n_times, n_inputs, n_hidden_units)
cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=prediction)
)    optimizer = tf.train.adamoptimizer(1e-
4)train = optimizer.minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(prediction,1)
, tf.argmax(y,1)
)    accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)
)with tf.session(
)as sess:
sess.run(tf.global_variables_initializer())
for epoch in
range(11
):for batch in
range
(n_batch)
:                batch_xs, batch_ys = mnist.train.next_batch(batch_size)
# todo batch_xs.shape=(batch_size,n_input*n_times)
sess.run(train, feed_dict=
)            acc = sess.run(accuracy, feed_dict=
)print
('iter:'
+str
(epoch +1)
+'testing accuracy='
+str
(acc)
)if __name__ ==
'__main__'
:    main(
)

以mnist手寫數字識別資料集為例，原資料集中每個大小均為[28,28]，我們設定其中的batch_size為100，原始輸入資料就是[100,28*28]，進行reshape操作為模型可以處理的資料[100,28,28]。

最關鍵的是tf.contrib.rnn.basiclstmcell(n_hidden_units)中n_hidden_units的含義，查閱資料後得知為網路輸出的向量維數。rnn中我們每個step輸入28維的資料，每個step輸出100維的資料，output輸出每個step的結果，所以最後output的shape為[100,28,100]，finall_state為包含兩個狀態（c_state,h_state）的元組，其中每個狀態僅含有最後乙個step的資料，所以兩者的shape都為[100,100]，其中m_state的內容和output中每個batch最後一行（也就是最後乙個step）一樣。

參考鏈結原理詳解以及tensorflow中的rnn實現/

RNN中網路結構的理解

caffe中網路結構的視覺化

深度學習之神經網路結構 RNN 理解LSTM

RNN 迴圈神經的網路結構特點及應用例項

RNN中網路結構的理解

caffe中網路結構的視覺化

深度學習之神經網路結構 RNN 理解LSTM

RNN 迴圈神經的網路結構 特點及應用例項

相關推薦

RNN 迴圈神經的網路結構特點及應用例項