graphbuilder graphbuilder = new neuralnetconfiguration.builder()
// 新增超引數和其他層
.addlayer("softmax", new activationlayer(activation.softmax), "previous_input")
// 新增更多的層和輸出
.build();
f_i(x) = x_i / (1+x_i)
activationcube
[原始碼]
f(x) = x^3
[原始碼]
整流正切
本質上是 max(0, tanh(x))
底層實現是在本地**中
[原始碼]
門檻的 relu
f(x) = x for x > theta, f(x) = 0 otherwise. theta defaults to 1.0
[原始碼]
f(x) = x
[原始碼]
f(x) = min(max(input, cutoff), 6)
[原始碼]
引數化整流線性單元 (prelu)
f(x) = alpha x 對於 x < 0, f(x) = x 對於 x >= 0
alpha的形狀與x相同，是乙個學習得來的引數。
[原始碼]
f_i(x) = exp(x_i - shift) / sum_j exp(x_j - shift) where shift = max_i(x_i)
[原始碼]
f(x) = x sigmoid(x)
[原始碼]
f(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))
[原始碼]
f(x) = log(1+e^x)
[原始碼]
f(x) = min(1, max(0, 0.2x + 0.5))
[原始碼]
f(x) = max(0,x) + alpha min(0, x)
alpha在訓練期間從uniform(l,u)中提取，在測試l中被設為 l+u/2，i和u預設為1/8和1/3。
卷積網路中整流啟用的經驗評估
[原始碼]
f(x) = max(0, x)
[原始碼]
⎧ 1, if x > 1 f(x) = ⎨ -1, if x < -1 ⎩ x, otherwise
[原始碼]
來自 理性正切近似
f(x) = 1.7159 tanh(2x/3) 正切是如下近似 tanh(y) ~ sgn(y)
底層實現是在本地**中
[原始碼]
[原始碼]
f(x) = alpha (exp(x) - 1.0); x < 0 = x ; x>= 0
如果沒有指定 alpha 預設為 1
[原始碼]
f(x) = 1 / (1 + exp(-x))
[原始碼]
leaky relu f(x) = max(0, x) + alpha min(0, x) alpha 預設為 0.01
DL4J中文文件 模型 卷積
神經網路配置中的每一層表示隱藏單元的單元。當層堆疊在一起時，它們代表了乙個深度神經網路。原始碼 一維卷積層。形狀期望的輸入啟用 小批量，通道，序列長度 原始碼 二維卷積層 原始碼 三維卷積層配置 hasbias public boolean hasbias 乙個可選的資料格式 ndhwc ncdhw...
DL4J中文文件 模型 頂點
在eclipse dl4j中，頂點是在計算圖中充當節點的一種層。它可以接受多個輸入，提供多個輸出，並且可以幫助構建流行的網路，如inceptionv4。原始碼 l2normalizevertex 在單個輸入上執行l2歸一化。原始碼 l2vertex 計算兩個輸入的l2最小二乘誤差。例如，在三重嵌入中...
DL4J中文文件 Keras模型匯入 本地層
原始碼 從keras匯入一維本地連線層。keraslocallyconnected1d public keraslocallyconnected1d integer kerasversion throws unsupportedkerasconfigurationexception從keraslay...