alexnet（2012）：
（1）首次使用relu
（2）雙gpu並行結構
（3）1，2，5卷積層後跟隨max-pooling層
（4）兩個全連線上使用了dropout(隨機凍結）以降低過擬合.
..vggnet(2014):
2個3*3相當於1個5*5
2層比一層更多一次非線性變換
引數數量降低百分之28。。
。網路結構
訓練技巧：1.先訓練淺層網路，再去訓練深層網路
2.多尺度輸入：不同尺度訓練多個分類器，然後做ensemble,隨機使用不同的尺度縮放然後輸入進分類器進行訓練
。。。resnet:
解決深層學習效能下降問題。
殘差結構使得網路需要學習的知識變少，容易學習
殘差結構使得每一層的資料分布相近，容易學習
沒有全連線層
inceptionnet(分組卷積）有很多的優化空間！！！！
… 用前面三個卷積的方式來優化….
....
mobilenet
引入深度可分離卷積，在分組卷積的基礎上分到極致，卷積核唯讀乙個通道
神經網路結構
定義 在機器學習和認知科學領域，人工神經網路 artificial neural network，縮寫ann 簡稱神經網路 neural network，縮寫nn 或類神經網路，是一 種模仿生物神經網路的結構和功能的計算模型，用於對函式進行估計或近似。神經網路的種類 基礎神經網路 單層感知器，線性神...
卷積神經網路結構
卷積神將網路的計算公式為 n w f 2p s 1 其中n 輸出大小 w 輸入大小 f 卷積核大小 p 填充值的大小 s 步長大小 即與用和原輸入層大小 深度完全一致的卷積核進行卷積，形成11x的全連線層 即展開 其中x由卷積核的層數決定。寫 時也可以直接展開為一維 不改變輸入層的大小，但改變輸入和...
Keras搭建神經網路 網路結構
layer.get weights 用於返回層的權重 layer.set weights weights 用於從numpy array中將權重載入到該層中，要求numpy array的形狀與layer.get weights 返回的形狀相同 layer.get config 用於返回當前層配置資訊的...