標籤(空格分隔): 深度學習
網路背景
lenet誕生於2023年,由深度學習三巨頭之一的yan lecun提出,他也被稱為卷積神經網路之父。lenet主要用來進行手寫字元的識別與分類,準確率達到了98%,並在美國的銀行中投入了使用,被用於讀取北美約10%的支票。lenet奠定了現代卷積神經網路的基礎。
網路結構
上圖為lenet結構圖,是乙個6層網路結構:三個卷積層,兩個下取樣層和乙個全連線層(圖中c代表卷積層,s代表下取樣層,f代表全連線層)。其中,c5層也可以看成是乙個全連線層,因為c5層的卷積核大小和輸入影象的大小一致,都是5*5(可參考lenet詳細介紹)。
網路特點
網路背景
alexnet由hinton的學生alex krizhevsky於2023年提出,並在當年取得了imagenet比賽冠軍。alexnet可以算是lenet的一種更深更寬的版本,證明了卷積神經網路在複雜模型下的有效性,算是神經網路在低谷期的第一次發聲,確立了深度學習,或者說卷積神經網路在計算機視覺中的統治地位。
網路結構
alexnet的結構及引數如上圖所示,是8層網路結構(忽略啟用,池化,lrn,和dropout層),有5個卷積層和3個全連線層,第一卷積層使用大的卷積核,大小為11*11,步長為4,第二卷積層使用5*5的卷積核大小,步長為1,剩餘卷積層都是3*3的大小,步長為1。啟用函式使用relu(雖然不是他發明,但是他將其發揚光大),池化層使用重疊的最大池化,大小為3*3,步長為2。在全連線層增加了dropout,第一次將其實用化。(參考:alexnet詳細解釋)
網路特點
網路背景
網路結構
上圖為vgg16的網路結構,共16層(不包括池化和softmax層),所有的卷積核都使用3*3的大小,池化都使用大小為2*2,步長為2的最大池化,卷積層深度依次為64 -> 128 -> 256 -> 512 ->512。
網路特點
網路結構和alexnet有點兒像,不同的地方在於:
網路背景
resnet(殘差神經網路)由微軟研究院的何凱明等4名華人於2023年提出,成功訓練了152層超級深的卷積神經網路,效果非常突出,而且容易結合到其他網路結構中。在五個主要任務軌跡中都獲得了第一名的成績:
作為大神級人物,何凱明憑藉mask r-cnn**獲得iccv2017最佳**,也是他第三次斬獲頂會最佳**,另外,他參與的另一篇**:focal loss for dense object detection,也被大會評為最佳學生**。
網路結構
上圖為殘差神經網路的基本模組(專業術語叫殘差學習單元),輸入為x,輸出為f(x)+x,f(x)代表網路中資料的一系列乘、加操作,假設神經網路最優的擬合結果輸出為h(x)=f(x)+x,那麼神經網路最優的f(x)即為h(x)與x的殘差,通過擬合殘差來提公升網路效果。為什麼轉變為擬合殘差就比傳統卷積網路要好呢?因為訓練的時候至少可以保證殘差為0,保證增加殘差學習單元不會降低網路效能,假設乙個淺層網路達到了飽和的準確率,後面再加上這個殘差學習單元,起碼誤差不會增加。(參考:resnet詳細解釋)
通過不斷堆疊這個基本模組,就可以得到最終的resnet模型,理論上可以無限堆疊而不改變網路的效能。下圖為乙個34層的resnet網路。
網路特點
2. alexnet**
3. vggnet**
4. resnet**
常用的幾種卷積神經網路介紹
常用的幾種卷積神經網路介紹 標籤 空格分隔 深度學習 lenet 網路背景 lenet誕生於1994年,由深度學習三巨頭之一的yan lecun提出,他也被稱為卷積神經網路之父。lenet主要用來進行手寫字元的識別與分類,準確率達到了98 並在美國的銀行中投入了使用,被用於讀取北美約10 的支票。l...
卷積神經網路介紹
在深度學習出現之前,我們必須借助sift,hog等演算法提取具有良好區分性的特徵,再集合svm等機器學習演算法進行影象識別。sift對一定程度內的縮放 平移 旋轉 視角改變 亮度調整等畸變,都具有不變性。cnn作為乙個深度學習架構被提出的最初訴求,是降低對影象資料 預處理的 要求,以及避免複雜可以的...
卷積神經網路介紹
本文由 翻譯並自行補充而來。cnn是ai發展中最令人振奮的進步之一,早期由yann lecun等人提出。卷積神經網路在2012年被krizhevsky開創性的推廣下,在計算機視覺領域取得了廣泛的成果,並且已經取代了傳統的影象處理技術,成為解決計算機視覺問題的最新技術。cnn也正在被研究和應用於其他領...