神經網路優化

import tensorflow as tf

from tensorflow.examples.tutorials.mnist import input_data
#載入資料集
mnist = input_data.read_data_sets("mnist_data",one_hot=true)
#每個批次的大小
batch_size = 100
#計算一共有多少個批次
n_batch = mnist.train.num_examples // batch_size
#定義兩個placeholder
x = tf.placeholder(tf.float32,[none,784])
y = tf.placeholder(tf.float32,[none,10])
#建立乙個簡單的神經網路
w = tf.variable(tf.zeros([784,10]))
b = tf.variable(tf.zeros([10]))
prediction = tf.nn.softmax(tf.matmul(x,w)+b)
#二次代價函式
# loss = tf.reduce_mean(tf.square(y-prediction))
#優化點1：使用交叉熵來定義代價函式，可以加快模型收斂速度
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))
#使用梯度下降法
# train_step = tf.train.gradientdescentoptimizer(0.2).minimize(loss)
#優化點2：使用adamoptimizer優化器代替梯度下降法優化器，1e-2表示10的-2次方，一般使用adamoptimizer時學習率都比較小，10的-4到-6次方等
train_step = tf.train.adamoptimizer(1e-2).minimize(loss)
#初始化變數
init = tf.global_variables_initializer()
#結果存放在乙個布林型列表中
correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))#argmax返回一維張量中最大的值所在的位置
#求準確率
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
with tf.session() as sess:
sess.run(init)
for epoch in range(21):
for batch in range(n_batch):
batch_xs,batch_ys =  mnist.train.next_batch(batch_size)
sess.run(train_step,feed_dict=)
acc = sess.run(accuracy,feed_dict=)
print("iter " + str(epoch) + ",testing accuracy " + str(acc))

神經網路優化（一）

使用反向傳播演算法和梯度下降演算法調整神經 網路中引數的取值。神經網路的優化過程分為兩個階段 1.1第一階段 先通過前向傳播演算法計算得到 值，並將 值和真實值做對比得出兩者之間的差距。1.2第二階段 通過反向傳播演算法計算損失函式對每乙個引數的梯度，再根據梯度和學習率使用梯度下降演算法更新每乙個引...

神經網路優化器

神經網路陷阱 1 區域性極小值 優化器極易陷入區域性極小值從而無法找到全域性最優解。2 鞍點 當成本函式值幾乎不再變化時，就會形成平原 plateau 在這些點上，任何方向的梯度都幾乎為零，使得函式無法逃離該區域。梯度下降 公式如下 超引數 表示學習率，代表演算法每次迭代過程的前進步長。學習率的選擇...

神經網路優化演算法

1.訓練誤差 在訓練資料上表現的誤差 2.泛化誤差 在任意測試資料集上的誤差期望 訓練誤差小於等於泛化誤差。由於無法估計泛化誤差，所以一味降低訓練誤差並不意味著泛化誤差會降低。機器學習模型應該降低泛化誤差。預留驗證集，判斷驗證集在模型中的表現能力 validation set 當訓練資料不夠，不能預...