TensorFlow實戰 2 完整神經網路例子

# coding=utf-8

import tensorflow as tf
#numpy是科學計算工具包，呼叫生成模擬資料集
from numpy.random import randomstate
#定義訓練資料batch的大小
batch_size = 8
#定義神經網路的引數
w1 = tf.variable(tf.random_normal([2, 3], stddev=1, seed=1))
w2 = tf.variable(tf.random_normal([3, 1], stddev=1, seed=1))
#在shape的乙個維度上使用none可以方便使用不大的batch大小.在訓練時需要把資料
#分成比較小的batch,但是在測試時，可以一次性使用全部的資料，當資料集比較小時
#這樣比較方便測試，但是資料集較大時，將大量資料放入乙個batch可能導致記憶體溢位。
x = tf.placeholder(tf.float32, shape=(none, 2), name='x-input')
y_ = tf.placeholder(tf.float32, shape=(none, 1), name='y-input')
#定義神經網路前向傳播過程
a = tf.matmul(x, w1)
y = tf.matmul(a, w2)
#在上面的**中，y_代表正確結果，y代表**結果
#定義損失函式和反向傳播演算法
#定義算是函式來刻畫**值與真實值之間的差距
cross_entropy = -tf.reduce_mean(y_ * tf.log(tf.clip_by_value(y, 1e-10, 1.0)))
#定義學習率
learning_rate = 0.001
#定義反向傳播演算法來優化神經網路中的引數
train_step = tf.train.adamoptimizer(learning_rate).minimize(cross_entropy)
#通過隨機數生成乙個模擬資料集
rdm = randomstate(1)
dataset_size = 128
x = rdm.rand(dataset_size, 2)
#定義規則來給出樣本的標籤。這裡所有x1+x2<1的樣本都被認為是正樣本（零件合格）
#其它為負樣本（零件不合格）
#這裡採用０和１的表示方法，０負樣本，１正樣本
y = [[int(x1+x2 < 1)] for (x1, x2) in x] 
#建立乙個會話來執行tensorflow程式
with tf.session() as sess:
init_op = tf.initialize_all_variables()
#初始化變數
sess.run(init_op)
print sess.run(w1)
print sess.run(w2)
#設定訓練輪數
steps = 5000
for i in range(steps):
#每次選取batch_size個樣本進行訓練
start = (i * batch_size) % dataset_size
end = min(start+batch_size, dataset_size)
#通過選取的樣本訓練神經網路並更新引數
sess.run(train_step, feed_dict=)
if i % 1000 == 0:
#每隔一段時間計算在所有資料上的交叉熵並輸出
total_cross_entropy = sess.run(cross_entropy, feed_dict=)
print("after %d training step(s), cross entropy on all data is %g" % (i, total_cross_entropy))
print sess.run(w1)
print sess.run(w2)

syntaxerror: non-ascii character '\xe6' in file 3.2.py on line 3, but no encoding declared; see  for details

# coding=utf-8

1.定義神經網路的結構和前向傳播的輸出結果

2.定義損失函式以及選擇反向傳播優化的演算法

3.生成會話（tf.session）並且在訓練資料上反覆執行反向傳播優化演算法

tensorflow筆記2（北大網課實戰）

1 正則化緩解過擬合 正則化在損失函式中引入模型複雜度指標，利用給w加權值，弱化了訓練資料的雜訊 一般不會正則化b。3 搭建模組化的神經網路八股 前向傳播就是搭建網路，設計網路結構 forward.py def forward x,regularizer regularizer是正則化權重 w b ...

Tensorflow實戰 張量

import tensorflow as tf tf.constant 是乙個計算，這個計算的結果為乙個張量，儲存在變數a中。a tf.constant 1.0,2.0 name a b tf.constant 2.0,3.0 name b result tf.add a,b,name add pr...

tensorflow實戰 反向傳播

windows10 anaconda3 64位 batch size 8 每次訓練的資料量 seed 23455 隨機種子 rng np.random.randomstate seed x rng.rand 32,2 產生32行2列的隨機矩陣 y int x0 x1 1 for x0,x1 in x...