更換優化器出現OOM問題

2021-10-25 01:26:38 字數 740 閱讀 3941

請問一下,在呼叫bert optimization中自定義的優化器時出現oom,更換成tf.train.adamoptimizer就ok了,是什麼原因?

**如下:

with tf.variable_scope("optimizer"):

num_warmup_steps = int(num_train_steps * config['warmup_proportion'])

# 匯入bert自定義optimization

self.train_op = optimization.create_optimizer(self.loss, self.lr, self.num_train_steps,

num_warmup_steps, false)

出現oom,更換成以下優化器就ok了

with tf.variable_scope("optimizer"):

self.opt = tf.train.adamoptimizer(learning_rate)

# 梯度截斷

grads = tf.gradients(self.loss, train_vars)

(grads, _) = tf.clip_by_global_norm(grads, clip_norm=1.0)

zip(grads, train_vars), global_step=self.global_step

)

Android 幀動畫OOM問題優化

xmlns android android oneshot false android drawable drawable img0 android duration 17 android drawable drawable img1 android duration 17 android draw...

Android 幀動畫OOM問題優化

animationdrawable animationdrawable if imageview.getdrawable null animationdrawable.start 開始 animationdrawable.stop 結束 oom問題及優化 記憶體溢位咋辦 用普通方法實現幀動畫用到普通...

Spark面對OOM問題的解決方法及優化總結

記憶體溢位解決方法 1.map過程產生大量物件導致記憶體溢位 這種溢位的原因是在單個map中產生了大量的物件導致的,例如 rdd.map x for i 1 to 10000 yield i.tostring 這個操作在rdd中,每個物件都產生了10000個物件,這肯定很容易產生記憶體溢位的問題。針...