caffe學習筆記(1)

2021-07-23 15:07:18 字數 2863 閱讀 5382

caffe學習筆記(1)

剛開始學習caffe,發現乙個非常好的部落格caffe學習。看了幾遍收益匪淺,但是總是記不住,所以決定安裝該部落格的步驟一點一點實現,然後記錄在該系列的部落格中。原部落格是在ubuntu下實現,而我是在mac下實現的,而且只是cpu模式的caffe,所以有些地方可能會有點詫異,對於ubuntu的使用者,可以去參考原部落格。

要執行caffe,需要先建立乙個模型(model),如比較常用的lenet,alex等, 而乙個模型由多個層(layer)構成,每一屋又由許多引數組成。先看乙個簡單的模型jie gou:

所有的引數都定義在caffe.proto這個檔案中。要熟練使用caffe,最重要的就是學會配置檔案(prototxt)的編寫。

層有很多種型別,比如data,convolution,pooling等,層之間的資料流動是以blobs的方式進行。

今天我們就先介紹一下資料層.

資料層是每個模型的最底層,是模型的入口,不僅提供資料的輸入,也提供資料從blobs轉換成別的格式進行儲存輸出。通常資料的預處理(如

減去均值, 放大縮小, 裁剪和映象等)

,也在這一層設定引數實現。

資料**可以來自高效的資料庫(如

leveldb和lmdb),也可以直接來自於記憶體。如果不是很注重效率的話,資料也可來自磁碟的hdf5檔案和格式檔案。

所有的資料層的都具有的公用引數:先看示例

layer 

transform_param

data_param

}

name: 表示該層的名稱,可隨意取

type: 層型別,如果是data,表示資料**於leveldb或lmdb。根據資料的**不同,資料層的型別也不同(後面會詳細闡述)。一般在練習的時候,我們都是採 用的leveldb或lmdb資料,因此層型別設定為data。

top或bottom: 每一層用bottom來輸入資料,用top來輸出資料。如果只有top沒有bottom,則此層只有輸出,沒有輸入。反之亦然。如果有多個 top或多個bottom,表示有多個blobs資料的輸入和輸出。

data 與 label: 在資料層中,至少有乙個命名為data的top。如果有第二個top,一般命名為label。 這種(data,label)配對是分類模型所必需的。

include

: 一般訓練的時候和測試的時候,模型的層是不一樣的。該層(layer)是屬於訓練階段的層,還是屬於測試階段的層,需要用include來指定。如果沒有include引數,則表示該層既在訓練模型中,又在測試模型中。

transformations: 資料的預處理,可以將資料變換到定義的範圍內。如設定scale為0.00390625,實際上就是1/255, 即將輸入資料由0-255歸一化到0-1之間

其它的資料預處理也在這個地方設定:

transform_param
後面的data_param部分,就是根據資料的**不同,來進行不同的設定。

1、資料來自於資料庫(如leveldb和lmdb)

層型別(layer type):data

必須設定的引數:

source: 包含資料庫的目錄名稱,如examples/mnist/mnist_train_lmdb

batch_size: 每次處理的資料個數,如64

可選的引數:

rand_skip: 在開始的時候,路過某個資料的輸入。通常對非同步的sgd很有用。

backend: 選擇是採用leveldb還是lmdb, 預設是leveldb.

示例:

layer 

transform_param

data_param

}

2、資料來自於記憶體

層型別:memorydata

必須設定的引數:

batch_size:每一次處理的資料個數,比如2

channels:通道數

height:高度

width: 寬度

示例:

layer 

transform_param

}

3、資料來自於hdf5

層型別:hdf5data

必須設定的引數:

source: 讀取的檔名稱

batch_size: 每一次處理的資料個數

示例:

layer 

}

4、資料來自於

層型別:imagedata

必須設定的引數:

source: 乙個文字檔案的名字,每一行給定乙個檔案的名稱和標籤(label)

batch_size: 每一次處理的資料個數,即數

可選引數:

rand_skip: 在開始的時候,路過某個資料的輸入。通常對非同步的sgd很有用。

shuffle: 隨機打亂順序,預設值為false

new_height,new_width: 如果設定,則將進行resize

示例:

layer 

image_data_param

}

5、資料**於windows

層型別:windowdata

必須設定的引數:

source: 乙個文字檔案的名字

batch_size: 每一次處理的資料個數,即數

示例:

layer 

transform_param

window_data_param

}

Caffe學習筆記 Caffe模型

乙個完整的深度學習系統最核心的兩個方面是資料和模型。深度學習模型通常由三部分引數組成 可學習引數 learnable parameter 又稱可訓練引數 神經網路權係數 權重,其數值由模型初始化引數 誤差反向傳播過程控制,一般不可人工干預。結構引數 archetecture parameter 包括...

Caffe學習筆記

個人覺得這個大神對caffe的研究比較深入詳細!目錄 ubuntu14.04安裝caffe 僅cpu ubuntu14.04安裝cuda ubuntu14.04安裝caffe gpu ubuntu14.04 cudnn安裝 caffe cuda7.0下 caffe學習 blobs,layers,an...

DL學習筆記 1 執行CAFFE程式

按照大神的 中的教程安裝就好啦 然後我這裡簡要寫一點點自己安裝過程中的問題和簡要的安裝過程 1 安裝vs2012 2 安裝cuda6.5 3 按照教程配置各種變數等 其中系統目錄是指環境變數 系統變數 path 然後成功安裝之後就是閃退啦,用命令列執行會出現這幾條語句 如果不需要編譯 就是根據c 程...