tensorflow中的函式初始化

2021-09-30 20:25:11 字數 1019 閱讀 3659

tensorflow 提供了7種不同的初始化函式:

tf.constant_initializer(value)   #將變數初始化為給定的常量,初始化一切所提供的值。

假設在卷積層中,設定偏執項b為0,則寫法為:

1.   bias_initializer=tf.constant_initializer(0)

2.   bias_initializer=tf.zeros_initializer(0)

tf.random_normal_initializer(mean,stddev)    #功能是將變數初始化為滿足正太分布的隨機值,主要引數(正太分布的均值和標準差),用所給的均值和標準差初始化均勻分布

tf.truncated_normal_initializer(mean,stddev,seed,dtype)   #功能:將變數初始化為滿足正太分布的隨機值,但如果隨機出來的值偏離平均值超過2個標準差,那麼這個數將會被重新隨機

mean:用於指定均值;stddev用於指定標準差;seed:用於指定隨機數種子;dtype:用於指定隨機數的資料型別。

通常只需要設定乙個標準差stddev這乙個引數就可以。

tf.random_uniform_initializer(a,b,seed,dtype)  #從a到b均勻初始化,將變數初始化為滿足平均分布的隨機值,主要引數(最大值,最小值)

tf.uniform_unit_scaling_initializer(factor,seed,dtypr)   #將變數初始化為滿足平均分布但不影響輸出數量級的隨機值

max_val=math.sqrt(3/input_size)*factor;

input_size指輸入資料的維數,假設輸入為x,計算為x*w,則input_size=w.shape[0].

其分布區間為[-max_val,max_val]

tf.zeros_initializer()   #將變數設定為全0;也可以簡寫為tf.zeros()

tf.ones_initializer()    #將變數設定為全1;可簡寫為tf.ones()

tensorflow中的函式

執行當前tensor的run 操作 a tf.variable tf.ones 10 with tf.session as sess tf.global variables initializer run b sess.run a 1 b a eval 2 print b 中的 1 2 行的功能一樣...

tensorflow中的優化函式

gradientdescentoptimizer adagradoptimizer adagraddaoptimizer momentumoptimizer adamoptimizer ftrloptimizer rmspropoptimizer 主要有以上幾種 用法 tf.gradientdesc...

tensorflow 學習中的函式

第一部分來自官方minist資料集的例子 簡單的函式操作能抽象化我們的 和思維 在計算loss的時候,最常見的一句話就是tf.nn.softmax cross entropy with logits,那麼它到底是怎麼做的呢?首先明確一點,loss是代價值,也就是我們要最小化的值 除去name引數用以...