1 inception v1
傳統的convnet 是將convulution layer stack 在一起，inception 最大的改變就是inception 模組疊加的形式構造網路，按照**裡面的是用inception 近似乙個稀疏結構。
將1*1,3*3 ，5*5 的conv 和3*3 的pooling stack 在一起，既增加了網路的寬度，又增加了網路對尺度的適應性。
2 v2
一方面加入了bn層，減少了internal convariate **** ，使每一層的輸出都規範化到n(0.1) 。另一方面學習vgg 用2個3*3 的conv 替代 模組中的5*5，既降低了引數數量，也加速計算。
3 v3
7*7 的卷積層替換為3個3*3 的卷積
第一塊inception 變成了3個
第一塊inception 是傳統的
第二塊inception 是5*5 替換成了兩個3*3 的
第三塊inception 是1*n 和n*1
v3 最重要的改進是分解，將7*7 分解成兩個一維卷積(1*7,7*1) ，3*3 也是一樣(1*3,3*1) ，可以加速計算又可以將1個conv 拆成2個conv，增加網路的深度和非線性，另乙個值得注意的是網路輸入從224*224 變成299*299
inception-v4 :
在v3 的基礎上增加了殘差結構
殘差網路的shortcut 結構又叫做skip connection，盡量縮短前層和後層之間的連線。
研究inception 模組結合residual connection 能不能有改進，發現resnet 的結構可以極大的加速訓練，同時效能也有提公升，得到乙個inception-resnet v2 的網路，同時還涉及了乙個更深更優化的inception v4 網路，能達到與inception resnet v2 相媲美的效能。
深度學習 1
基本概念 訓練集，測試集 特徵值 監督學習 非監督學習 半監督徐熙 分類 回歸 概念學習 從某個布林函式的輸入輸出訓練樣例中推斷出該布林函式 例項集合x x 樣例 x 每乙個例項 c x 目標概念 學習目標 f x y 訓練集 training set data 訓練樣例training examp...
深度學習1
幾天無聊，看darknet的原始碼 1.學習率 訓練的時候看到輸出資訊沒有learning rate,進 看看，發現 network.c 裡面的get current rate net 就是獲取學習率的，列印出來的rate就是lr啦 另外，訓練densenet的時候，先burning in 1000...
深度學習1
深度學習概念理解 1.訓練集 一組資料用來訓練模型 2.驗證集 一組資料，用來調整模型引數 交叉驗證 3.測試集 與訓練集保持相同分布的一組分布，用來測試模型的好壞 不參與模型的引數調整 4.batchsize 一次用來訓練的樣本數目。太小，不收斂 太大，訓練速度下降，記憶體也可能支援不住 5.ep...