六、resnet
2023年imagenet比賽分類任務的冠軍，top-5錯誤率為16.4%，讓深度學習受到矚目。
該網路輸入為2272273（原始資料為2242243,經過預處理變為227），由5個「卷積+relu+pooling」和3個全連線層構成。
為什麼將224預處理為227大小的影象：如果為(224*224)的，(224-11)/4不等於整數，而227的話剛好是整數，利於計算和更多資訊的保留，通過resize將224變為227的
網路特點：
深層網路學習出來的特徵是什麼樣子的：
為什麼使用全連線：
全連線為什麼會被全域性平均池化代替：
2023年冠軍，整體架構和alexnet很像，錯誤率為11.2%，也是乙個8層的網路。
2023年識別任務亞軍，定位任務冠軍。構建了16~19層的深層網路，分類錯誤率達到了7.3%，適合做遷移學習。
該網路全部使用了33卷積核做卷積，22的卷積核做池化，通過不斷加深網路結構來提公升效能，
d組引數的效果最好，詳細介紹如下：
vgg-16比vgg-19少了三個卷積層。
vggnet網路結構特點：
2023年影象分類任務的冠軍，錯誤率降低至6.7%，是乙個22層的網路。
googlenet出來之前，主流的網路結構是使網路更深更寬，但是這樣會存在一些缺點：
googlenet的優勢：更適合大量資料的處理，尤其是記憶體或計算資源有限制的場合，計算效率有優勢且分類準確率很高。
1、inception-v1模型
一般的卷積層只是一味的增加卷積層的深度，且每層卷積核只有一種大小，特徵提取能力較弱，googlenet提出的inception模型，在同一層並行的使用不同大小的卷積核對經過padding的輸入影象進行卷積，對不同的特徵圖在深度方向進行組合。
inception-v1使用11、33、5*5的卷積核分別進行特徵提取，之後將其進行組合。
下圖表示了inception-v1的模型：
原本的形式是未新增11的卷積核的，但是如果所有的卷積核都在上一層的所有輸出層來做，那麼55的卷積核計算量太大，所以新增了1*1的卷積核來起到降維的作用。
模型特點：
2、inception-v2模型
改進：
改進：最重要的改進就是分解，將33的分解為13和3*1的卷積
既然將大的卷積核分解為小的卷積核可以實現等效的效果，那麼說明大的卷積核的部分引數是冗餘的，也就是不需要5*5的卷積核提供的25個引數特徵，可能是因為影象區域的關聯性很強，卷積核參的關聯性也很強，可以進一步壓縮，相當於緊密網路到稀疏網路的轉換。
inception-v3模型總共有46層，由11個inception模組組成。其架構如所示：
圖中每個多通道的集合就是乙個inception模組，共96個卷積層，一般遷移學習就會保留瓶頸層及其之前的引數，僅僅替換最後一層全連線層，重新進行微調來適應自己的專案。
4、inception-v4模型
inception-v3到inception-v4網路變得更深了，在gap前inception-v3包括了4個卷積模組運算(1個常規卷積塊+3個inception結構),inception-v4變成了6個卷積模組。對比兩者的卷積核的個數，inception-v4比inception-v3也增多了許多。
5、googlenet模型
訓練過程：先訓練得到一組權重引數，也就是第乙個分支softmax0，再用這些引數作為初始化引數，訓練第二部分網路，得到第二個分支softmax1，再用這些引數作為初始化引數，訓練第三部分網路，得到softmax2。
網路特點：
2023年分類任務的第一名，錯誤率降低到3.57%，152層網路。
網路深度提高，帶來的影響：常規的網路越來越深的情況下，會出現梯度消失
resnet網路的思想**：假設有乙個較淺的網路達到了飽和的準確率，這時在它後面追加幾個恒等對映，這樣就增加了網路深度，且誤差不會增加，也就是更深的網路不會帶來訓練集上誤差的上公升。
resnet就是利用恒等對映將前一層的輸出傳遞到後面層
假設網路的輸入為x，期望輸出為h(x)，如果直接學習的話，訓練難度會很大，上圖的殘差網路是通過捷徑連線，將本層的輸入x直接傳到本層輸出，假設輸入x和期望輸出h(x)的殘差為f(x)，當f(x)=0的時候，輸入和期望相等，也就是恒等變換，所以resnet網路的訓練目標就是將f(x)逼近於0，使網路深度加深，準確率不變。
訓練目標：將目標和輸入的殘差逼近於0，使網路加深而準確率不降
為什麼要很深的網路：影象是層次非常深的資料，所以要深層次的網路進行特徵提取，網路深度對深層特徵提取很有意義。
各條路線的意義：
**為什麼要新增捷徑網路：**只有一條通路的反向傳播會導致連乘的梯度消失，兩條路會使得變為求和的形式，避免梯度消失。後面的層可以看見輸入，不會因為資訊損失而失去學習能力。
和傳統網路的不同：傳統網路每次會學習x->h(x)的完整對映，resnet只學習殘差的對映
反向傳播的時候，捷徑連線的梯度為1，傳到前一層的梯度就會多乙個1，更加有效的訓練。
resnet34（左）和resnet50/101/152（右）示意圖：
右邊的結構可以用第乙個11的卷積核將厚度為256的輸入降到64維，然後再通過第二個11的卷積核恢復
卷積神經網路 經典神經網路模型之VGG 16
vgg 16其中的16含義為 含有權重引數的有16層，共包含引數約為1.38億，這是乙個相當大的網路。但是其網路結構很規整簡潔，沒有那麼多的超引數，專注於構建簡單的網路結構 都是幾個卷積層後面跟乙個最大池化層 通過不斷的加深網路結構來提公升效能 但是由此也會帶來訓練的特徵數量非常大的缺點。其網路結構...
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...