tf中optimizor原始碼：
如何累加梯度進行反向：
在顯示卡資源有限的情況下，想要增加batch_size的大小，於是可以想到將乙個大的batch分解成許多的mini_batch前傳，並同時將梯度累加，達到batch_size大小之後反向跟新梯度。
def minimize(self, loss, global_step=none, var_list=none,
gate_gradients=gate_op, aggregation_method=none,
colocate_gradients_with_ops=false, name=none,
grad_loss=none):
grads_and_vars = self.compute_gradients(
loss, var_list=var_list, gate_gradients=gate_gradients,
aggregation_method=aggregation_method,
colocate_gradients_with_ops=colocate_gradients_with_ops,
grad_loss=grad_loss)
vars_with_grad = [v for g, v in grads_and_vars if g is not none]
if not vars_with_grad:
raise valueerror(
"no gradients provided for any variable, check your graph for ops"
" that do not support gradients, between variables %s and loss %s." %
([str(v) for _, v in grads_and_vars], loss))
name=name)
mini batch 版交叉熵誤差的實現
4.2.4 mini batch 版交叉熵誤差的實現 one hot格式的監督資料 def cross entropy error y,t if y.ndim 1 一維陣列要把第一維放到第二維，表示只有一條資料 t t.reshape 1,t.size reshape函式代兩維的引數 y y.res...
Tomcat實現多主多備
nginx upstream 實現簡單雙機主從熱備 下面配置多主多從 upstream testproxy server nginx與上游伺服器 真實訪問的伺服器 超時時間 後端伺服器連線的超時時間 發起握手等候響應超時時間 proxy connect timeout 1s nginx傳送給上游伺服...
tensorflow2 0 梯度下降的實現
graph1 tf.graph with graph1.as default x tf.constant 2.0,1.0 dtype tf.float32 y tf.constant 0.0 dtype tf.float32 梯度下降法解線性方程就是不斷輸入係數x 2,1 和結果y 3 作為訓練資料...