caffe學習（7）損失層 通用層

caffe layers

caffe學習系列(5)：其它常用層及引數，denny402

softmax（with loss）

在概念上等同於softmax layer+多項對數損失層（multinomial logistic loss layer），但提供了更穩定的梯度。softmax只是輸出每一類的概率，並沒有與label做比較。

sum-of-squares / euclidean

hinge / margin

輸入：

輸出：1 * 1 * 1 * 1 computed loss

示例

# l1 norm l1正則

layer 
# l2 norm l2正則
layer 
}

accuracy

inner product

推薦引數

可選引數

輸入：n * c_i * h_i * w_i

輸出：n * c_o * 1 * 1

示例：

layer 

# learning rate and decay multipliers for the biases
param 
inner_product_param 
bias_filler 
}bottom: "fc7"
top: "fc8"
}

reshape

輸入：單獨的blob

輸出：變形後的blob

示例：

layer 

}}

這一操作不改變資料，只改變維度，也沒有在過程中拷貝資料。輸出的尺寸有shape引數的值規定，正數是對應的維度，除此外還有兩個特殊值：

特別的，當時用引數：reshape_param }時，reshape層相當於flatten層，將n * c * h * w的資料變為n * (c*h*w)。

concatenation

輸入：n_i * c_i * h * w 對於每個blob輸入，i= 1 到 k。

輸出：

這個層把多個blob連線為乙個blob。

層的學習暫時到這裡。。

caffe學習系列 層解讀

層型別 accuracy layer 可以看到，caffe中計算accuracy時，是通過比較最後乙個全連線層 神經元個數 類別數 但沒有加入activation function 的輸出和資料集的labels來得到的，計算過程在accuracylayer中實現 我也一直非常困惑，計算accurac...

caffe層筆記系列Loss層

1.可選引數 1 ignore label int型變數，預設為空。如果指定值，則label等於ignore label的樣本將不參與loss計算，反向傳播時梯度直接置0。2 normalize bool型變數，即loss會除以參與計算的樣本總數，否則loss等於直接求和。3 normalizati...

caffe學習筆記8 caffe網路層型別

總結1.損失函式層 loss layers 型別 softmaxwithloss softmax 損失函式 softmax with loss caffe中多類分類問題 contrastiveloss 對比損失函式 contrastive loss euclideanloss 歐式距離損失函式 eu...