1.tf.train.gradientdescentoptimizer
標準梯度下降優化器：標準梯度下降先計算所有樣本彙總誤差，然後根據總誤差來更新權值
2.tf.train.adadeltaoptimizer
adadelta優化器，在sgd的基礎上
3.tf.train.adagradoptimizer
adagrad優化器，在sgd的基礎上
4.tf.train.adagraddaoptimizer
5.tf.train.momentumoptimizer
基於動量的優化器，是在sgd的基礎上進行優化
6.tf.train.adamoptimizer
基於adam的優化器，在sgd的基礎上
7.tf.train.ftrloptimizer
8.tf.train.proximalgradientdescentoptimizer
9.tf.train.proximaladagradoptimizer
10.tf.train.rmspropoptimizer
基於rmsprop的優化器，也是建立在sgd的基礎上
tensorflow的優化器比較
標準梯度下降法 彙總所有樣本的總誤差，然後根據總誤差更新權值 隨機梯度下降 隨機抽取乙個樣本誤差，然後更新權值 每個樣本都更新一次權值，可能造成的誤差比較大 批量梯度下降法 相當於前兩種的折中方案，抽取乙個批次的樣本計算總誤差，比如總樣本有10000個，可以抽取1000個作為乙個批次，然後根據該批次...
Tensorflow 優化器的使用
對於tensorflow中的優化器 optimizer 目前已有的有以下 不同的優化器有各自的特點，不能說誰好誰壞，有的收斂速度慢，有的收斂速度快。此處以mnist資料集識別分類為例進行不同優化器的測試 1 梯度下降法 tf.train.gradientdescentoptimizer import...
tensorflow常用的優化器
tf.train.momentumoptimizer learning rate,momentum,use locking false name momentum minimize loss learning rate 學習率，資料型別為tensor或float。momentum 動量引數，mome...