說明：上圖為alexnet的神經網路結構
如圖所示，通過5x5卷積核以stride=2進行卷積運算後，輸入特徵由27x27x96得到輸出特徵27x27x256，根據筆記一中公式可以推得：該處進行了padding操作，且padding的大小經過計算為15。
該網路需要訓練的引數大約為60 million
根據吳恩達老師所說，改網路提出來的時候gpu的運算速度相對來說比較慢，所以alex想了一種複雜的方法將不同的層拆分到在不同的gpu上進行訓練，然後通過某種方法用於gpu之間的資料交換，從而提公升訓練速度，具體情況可以查詢相關資料進行了解。
相比於lenet-5,該網路使用relu函式作為啟用函式。
說明：卷積核的選擇如圖所示：3x3,stride=1,padding is same as stride,so it』s 1; 池化單元的資訊：2x2,stride=2
[conv 64]表示有64個卷積核核輸入特徵圖進行卷積計算，x2表示，該卷積計算進行了兩次,具體計算過程如由上圖所示
如圖網路結構所示：經過padding的卷積計算使得輸出特徵單元與輸入特徵單元具有相同的大小，經過池化單元使得輸出特徵單元的大小為輸入特徵單元的一半
由圖觀察可知，通道數在每次卷積過程中都成倍增加
該網路的訓練引數為138 million
其他需要了解請搜尋左下角文獻：very deep convolutional networks for large-scale image recognition
神經網路筆記
感知機模型如下圖所示 輸入層接受多個二值輸入,輸出層提供乙個二值輸出 m p神經元 用數學公式來描述就是 y 0,1 jw jxj b 0 jwjx j b 0 這裡,y 是指輸出,xi 指輸入,wi 是輸入的權重,j 是輸入管腳個數,b是指偏移.多個感知機可以構成神經網路,如下圖 m p神經元的輸...
卷積神經網路 四
relu的全稱是rectified layer units，它是一層使用非飽和啟用函式的神經元。神經網路通常使用sigmoid 和 tanh 作為非線性啟用函式，它確實比早期的線性啟用函式有好的多的效果。但在深度神經網路中，如果不使用pre traning，會導致gradient vanishing...
BP神經網路經典例子
bp神經網路經典例子 基於近紅外光譜的汽油辛烷值測試 我這裡找到了兩個不同的 matlab實現 都可以試一下，需要資料檔案的再可以找我要下，第乙個方法比較簡練，第二個十分詳細 圖多 load spectra data.mat 第乙個方法，生成圖較少 temp randperm size nir,1 ...