**:
要執行caffe,需要先建立乙個模型(model),如比較常用的lenet,alex等, 而乙個模型由多個屋(layer)構成,每一屋又由許多引數組成。所有的引數都定義在caffe.proto這個檔案中。要熟練使用caffe,最重要的就是學會配置檔案(prototxt)的編寫。
層有很多種型別,比如data,convolution,pooling等,層之間的資料流動是以blobs的方式進行。
今天我們就先介紹一下資料層.
資料層是每個模型的最底層,是模型的入口,不僅提供資料的輸入,也提供資料從blobs轉換成別的格式進行儲存輸出。通常資料的預處理(如
減去均值, 放大縮小, 裁剪和映象等)
,也在這一層設定引數實現。
資料**可以來自高效的資料庫(如
leveldb和lmdb),也可以直接來自於記憶體。如果不是很注重效率的話,資料也可來自磁碟的hdf5檔案和格式檔案。
所有的資料層的都具有的公用引數:先看示例
layer
transform_param
data_param
}
name: 表示該層的名稱,可隨意取
type: 層型別,如果是data,表示資料**於leveldb或lmdb。根據資料的**不同,資料層的型別也不同(後面會詳細闡述)。一般在練習的時候,我們都是採 用的leveldb或lmdb資料,因此層型別設定為data。
top或bottom: 每一層用bottom來輸入資料,用top來輸出資料。如果只有top沒有bottom,則此層只有輸出,沒有輸入。反之亦然。如果有多個 top或多個bottom,表示有多個blobs資料的輸入和輸出。
data 與 label: 在資料層中,至少有乙個命名為data的top。如果有第二個top,一般命名為label。 這種(data,label)配對是分類模型所必需的。
include: 一般訓練的時候和測試的時候,模型的層是不一樣的。該層(layer)是屬於訓練階段的層,還是屬於測試階段的層,需要用include來指定。如果沒有include引數,則表示該層既在訓練模型中,又在測試模型中。
transformations: 資料的預處理,可以將資料變換到定義的範圍內。如設定scale為0.00390625,實際上就是1/255, 即將輸入資料由0-255歸一化到0-1之間
其它的資料預處理也在這個地方設定:
transform_param
後面的data_param部分,就是根據資料的**不同,來進行不同的設定。
1、資料來自於資料庫(如leveldb和lmdb)
層型別(layer type):data
必須設定的引數:
source: 包含資料庫的目錄名稱,如examples/mnist/mnist_train_lmdb
batch_size: 每次處理的資料個數,如64
可選的引數:
rand_skip: 在開始的時候,路過某個資料的輸入。通常對非同步的sgd很有用。
backend: 選擇是採用leveldb還是lmdb, 預設是leveldb.
示例:
layer
transform_param
data_param
}
2、資料來自於記憶體
層型別:memorydata
必須設定的引數:
batch_size:每一次處理的資料個數,比如2
channels:通道數
height:高度
width: 寬度
示例:
layer
transform_param
}
3、資料來自於hdf5
層型別:hdf5data
必須設定的引數:
source: 讀取的檔名稱
batch_size: 每一次處理的資料個數
示例:
layer
}
4、資料來自於
層型別:imagedata
必須設定的引數:
batch_size: 每一次處理的資料個數,即數
可選引數:
rand_skip: 在開始的時候,路過某個資料的輸入。通常對非同步的sgd很有用。
shuffle: 隨機打亂順序,預設值為false
new_height,new_width: 如果設定,則將進行resize
示例:
layer
image_data_param
}
5、資料**於windows
層型別:windowdata
必須設定的引數:
source: 乙個文字檔案的名字
batch_size: 每一次處理的資料個數,即數
示例:
layer
transform_param
window_data_param
}
重點:我的資料是存在txt檔案裡的矩陣
,或者存成了.mat檔案,直接用convert_imageset.cpp不行,因為convert_imageset.cpp
這個檔案只對進行操作,它呼叫opencv庫來執行。因此你應該先將txt轉換為。如果你對matlab,python或opencv任何乙個比較熟悉的話,讀入txt並儲存為都是很容易的事。
Caffe學習系列 資料層及引數
要執行caffe,需要先建立乙個模型 model 如比較常用的lenet,alex等,而乙個模型由多個屋 layer 構成,每一屋又由許多引數組成。所有的引數都定義在caffe.proto這個檔案中。要熟練使用caffe,最重要的就是學會配置檔案 prototxt 的編寫。層有很多種型別,比如dat...
caffe學習系列(3) 資料層介紹
乙個模型由多個層構成,如data,conv,pool等。其中資料層是模型的最底層,是模型的入口。提供資料的輸入,也提供資料從blobs轉換成別的格式進行儲存輸出還包括資料的預處理 如減去 均值,放大縮小,裁剪和映象等 資料來源來自高效的資料庫 如leveldb和lmdb 或者hdf5 檔案和格式檔案...
caffe學習系列 層解讀
層型別 accuracy layer 可以看到,caffe中計算accuracy時,是通過比較最後乙個全連線層 神經元個數 類別數 但沒有加入activation function 的輸出和資料集的labels來得到的,計算過程在accuracylayer中實現 我也一直非常困惑,計算accurac...