KerasDense層的引數設定

2021-09-24 05:20:40 字數 2682 閱讀 8389

'''

created on 2018-4-4

'''keras.layers.core.dense(

units, #代表該層的輸出維度

activation=none, #啟用函式.但是預設 liner

use_bias=true, #是否使用b

kernel_initializer='glorot_uniform', #初始化w權重,keras/initializers.py

bias_initializer='zeros', #初始化b權重

kernel_regularizer=none, #施加在權重w上的正則項,keras/regularizer.py

bias_regularizer=none, #施加在偏置向量b上的正則項

activity_regularizer=none, #施加在輸出上的正則項

kernel_constraint=none, #施加在權重w上的約束項

bias_constraint=none #施加在偏置b上的約束項

)# 所實現的運算是output = activation(dot(input, kernel)+bias)

# model.add(dense(units=64, activation='relu', input_dim=784))

# keras初始化所有啟用函式,activation:

# keras\activations.py

# keras\backend\cntk_backend.py

# import cntk as c

# 1.softmax:

# 對輸入資料的最後一維進行softmax,一般用在輸出層;

# ndim == 2,k.softmax(x),其實呼叫的是cntk,是乙個模組;

# ndim >= 2,e = k.exp(x - k.max(x)),s = k.sum(e),return e / s

# 2.elu

# k.elu(x)

# 3.selu: 可伸縮的指數線性單元

# alpha = 1.6732632423543772848170429916717

# scale = 1.0507009873554804934193349852946

# return scale * k.elu(x, alpha)

# 4.softplus

# c.softplus(x)

# 5.softsign

# return x / (1 + c.abs(x))

# 6.relu

# def relu(x, alpha=0., max_value=none):

# if alpha != 0.:

# negative_part = c.relu(-x)

# x = c.relu(x)

# if max_value is not none:

# x = c.clip(x, 0.0, max_value)

# if alpha != 0.:

# x -= alpha * negative_part

# return x

# 7.tanh

# return c.tanh(x)

# 8.sigmoid

# return c.sigmoid(x)

# 9.hard_sigmoid

# x = (0.2 * x) + 0.5

# x = c.clip(x, 0.0, 1.0)

# return x

# 10.linear

# return x

# keras初始化所有方法,initializer:

# zeros

# ones

# constant(固定乙個值)

# randomnormal(正態分佈)

# randomuniform(均勻分布)

# truncatednormal(截尾高斯分布,神經網路權重和濾波器的推薦初始化方法)

# variancescaling(該初始化方法能夠自適應目標張量的shape)

# orthogonal(隨機正交矩陣初始化)

# identiy(單位矩陣初始化,僅適用於2d方陣)

# lecun_uniform(lecun均勻分布初始化)

# lecun_normal(lecun正態分佈初始化)

# glorot_normal(glorot正態分佈初始化)

# glorot_uniform(glorot均勻分布初始化)

# he_normal(he正態分佈初始化)

# he_uniform(he均勻分布初始化,keras中文文件寫錯了)

# keras正則化,regularizer:

# import backend as k

# l1: regularization += k.sum(self.l1 * k.abs(x))

# l2: regularization += k.sum(self.l2 * k.square(x))

jQuery Ajax中引數async的設定問題

利用jquery ajax向後台傳遞引數相信大家都不陌生。在這個過程中有乙個引數async表示是否非同步,它是乙個布林值,可以取true或者false,那麼這兩者之間的區別在 下面看乙個demo 測試title src lib easyui jquery.min.js script head doc...

erlang otp中的socket引數設定

抄自 erlang的inet模組裡提供了對socket進行一系列引數設定的介面setopts socket,options 可設定的引數目前有28個,其中有乙個在r16版本裡計畫去除。以下是對幾個常用引數的設定做的記錄。預設值是true。但是由於設定為true的情況下是沒有flow control的...

Nginx負載均衡 upstream 引數設定

nginx的upstream目前支援的5種方式的分配 1 輪詢 預設 每個請求按時間順序逐一分配到不同的後端伺服器,如果後端伺服器down掉,能自動剔除。upstream backserver 2 指定權重 指定輪詢機率,weight和訪問比率成正比,用於後端伺服器效能不均的情況。upstream ...