常用的幾種卷積神經網路介紹
標籤（空格分隔）： 深度學習
lenet
網路背景
lenet誕生於2023年，由深度學習三巨頭之一的yan lecun提出，他也被稱為卷積神經網路之父。lenet主要用來進行手寫字元的識別與分類，準確率達到了98%，並在美國的銀行中投入了使用，被用於讀取北美約10%的支票。lenet奠定了現代卷積神經網路的基礎。
網路結構
上圖為lenet結構圖，是乙個6層網路結構：三個卷積層，兩個下取樣層和乙個全連線層（圖中c代表卷積層，s代表下取樣層，f代表全連線層）。其中，c5層也可以看成是乙個全連線層，因為c5層的卷積核大小和輸入影象的大小一致，都是5*5（可參考lenet詳細介紹）。
網路特點
每個卷積層包括三部分：卷積、池化和非線性啟用函式（sigmoid啟用函式）
使用卷積提取空間特徵
降取樣層採用平均池化
alexnet
網路背景
alexnet由hinton的學生alex krizhevsky於2023年提出，並在當年取得了imagenet比賽冠軍。alexnet可以算是lenet的一種更深更寬的版本，證明了卷積神經網路在複雜模型下的有效性，算是神經網路在低谷期的第一次發聲，確立了深度學習，或者說卷積神經網路在計算機視覺中的統治地位。
網路結構
alexnet的結構及引數如上圖所示，是8層網路結構（忽略啟用，池化，lrn，和dropout層）,有5個卷積層和3個全連線層，第一卷積層使用大的卷積核，大小為11*11，步長為4，第二卷積層使用5*5的卷積核大小，步長為1，剩餘卷積層都是3*3的大小，步長為1。啟用函式使用relu（雖然不是他發明，但是他將其發揚光大），池化層使用重疊的最大池化，大小為3*3，步長為2。在全連線層增加了dropout，第一次將其實用化。（參考：alexnet詳細解釋）
網路特點
使用兩塊gpu並行加速訓練，大大降低了訓練時間
成功使用relu作為啟用函式，解決了網路較深時的梯度瀰散問題
使用資料增強、dropout和lrn層來防止網路過擬合，增強模型的泛化能力
vggnet
網路背景
網路結構
上圖為vgg16的網路結構，共16層（不包括池化和softmax層），所有的卷積核都使用3*3的大小，池化都使用大小為2*2，步長為2的最大池化，卷積層深度依次為64 -> 128 -> 256 -> 512 ->512。
網路特點
網路結構和alexnet有點兒像，不同的地方在於：
主要的區別，乙個字：深，兩個字：更深。把網路層數加到了16-19層（不包括池化和softmax層），而alexnet是8層結構。
將卷積層提公升到卷積塊的概念。卷積塊有2~3個卷積層構成，使網路有更大感受野的同時能降低網路引數，同時多次使用relu啟用函式有更多的線性變換，學習能力更強（詳細介紹參考：tensorflow實戰p110頁）。
在訓練時和**時使用multi-scale做資料增強。訓練時將同一張縮放到不同的尺寸，在隨機剪裁到224*224的大小，能夠增加資料量。**時將同一張縮放到不同尺寸做**，最後取平均值。
resnet
網路背景
resnet（殘差神經網路）由微軟研究院的何凱明等4名華人於2023年提出，成功訓練了152層超級深的卷積神經網路，效果非常突出，而且容易結合到其他網路結構中。在五個主要任務軌跡中都獲得了第一名的成績：
imagenet分類任務：錯誤率3.57%
imagenet檢測任務：超過第二名16%
imagenet定位任務：超過第二名27%
coco檢測任務：超過第二名11%
coco分割任務：超過第二名12%
作為大神級人物，何凱明憑藉mask r-cnn**獲得iccv2017最佳**，也是他第三次斬獲頂會最佳**，另外，他參與的另一篇**：focal loss for dense object detection，也被大會評為最佳學生**。
網路結構
上圖為殘差神經網路的基本模組（專業術語叫殘差學習單元），輸入為x，輸出為f(x)+x，f(x)代表網路中資料的一系列乘、加操作，假設神經網路最優的擬合結果輸出為h(x)=f(x)+x，那麼神經網路最優的f(x)即為h(x)與x的殘差，通過擬合殘差來提公升網路效果。為什麼轉變為擬合殘差就比傳統卷積網路要好呢？因為訓練的時候至少可以保證殘差為0，保證增加殘差學習單元不會降低網路效能，假設乙個淺層網路達到了飽和的準確率，後面再加上這個殘差學習單元，起碼誤差不會增加。（參考：resnet詳細解釋）
通過不斷堆疊這個基本模組，就可以得到最終的resnet模型，理論上可以無限堆疊而不改變網路的效能。下圖為乙個34層的resnet網路。
網路特點
使得訓練超級深的神經網路成為可能，避免了不斷加深神經網路，準確率達到飽和的現象（後來將層數增加到1000層）
輸入可以直接連線到輸出，使得整個網路只需要學習殘差，簡化學習目標和難度。
resnet是乙個推廣性非常好的網路結構，容易和其他網路結合
常用的幾種卷積神經網路介紹
標籤 空格分隔 深度學習 網路背景 lenet誕生於1994年，由深度學習三巨頭之一的yan lecun提出，他也被稱為卷積神經網路之父。lenet主要用來進行手寫字元的識別與分類，準確率達到了98 並在美國的銀行中投入了使用，被用於讀取北美約10 的支票。lenet奠定了現代卷積神經網路的基礎。網...
卷積神經網路介紹
在深度學習出現之前，我們必須借助sift，hog等演算法提取具有良好區分性的特徵，再集合svm等機器學習演算法進行影象識別。sift對一定程度內的縮放 平移 旋轉 視角改變 亮度調整等畸變，都具有不變性。cnn作為乙個深度學習架構被提出的最初訴求，是降低對影象資料 預處理的 要求，以及避免複雜可以的...
卷積神經網路介紹
本文由 翻譯並自行補充而來。cnn是ai發展中最令人振奮的進步之一，早期由yann lecun等人提出。卷積神經網路在2012年被krizhevsky開創性的推廣下，在計算機視覺領域取得了廣泛的成果，並且已經取代了傳統的影象處理技術，成為解決計算機視覺問題的最新技術。cnn也正在被研究和應用於其他領...