1. alexnet
alexnet 是首個深度架構，它由深度學習先驅 geoffrey hinton 及其同僚共同引入。alexnet 是乙個簡單卻功能強大的網路架構，為深度學習的開創性研究鋪平了道路。
**實現：
2. vgg net
vgg 網路由牛津視覺化圖形組（visual graphics group）開發，因此其名稱為 vgg。該網路的特點是金字塔形，與影象最近的底層比較寬，而頂層很深。
**：very deep convolutional networks for large-scale image recognition
3. googlenet
googlenet（或 inception 網路）是谷歌研究者設計的一種架構。googlenet 是 imagenet 2014 的冠軍，是當時最強大的模型。
該架構中，隨著深度增加（它包含 22 層，而 vgg 只有 19 層），研究者還開發了一種叫作「inception 模組」的新型方法。
googlenet 的優勢在於：
googlenet 訓練速度比 vgg 快。
預訓練 googlenet 的規模比 vgg 小。vgg 模型大於 500 mb，而 googlenet 的大小只有 96mb。
googlenet 本身沒有短期劣勢，但是該架構的進一步改變使模型效能更佳。其中乙個變化是 xception 網路，它增加了 inception 模組的發散極限（我們可以從上圖中看到 googlenet 中有 4 個 inception 模組）。現在從理論上講，該架構是無限的（因此又叫極限 inception！）。
**：rethinking the inception architecture for computer vision
4.resnet
resnet 是乙個妖怪般的架構，讓我們看到了深度學習架構能夠有多深。殘差網路（resnet）包含多個後續殘差模組，是建立 resnet 架構的基礎。
resnet 引入的新技術有：
使用標準的 sgd，而非適應性學習技術。它聯通乙個合理的初始化函式（保持訓練的完整性）做到的這一點。
輸入預處理的變化，輸入首先被區分到影象塊中，然後輸送到網路中。
resnet 主要的優勢是數百，甚至數千的殘差層都能被用於創造乙個新網路，然後訓練。這不同於平常的序列網路，增加層數量時表現會下降。
**：deep residual learning for image recognition
5. resnext
resnext 據說是解決目標識別問題的最先進技術。它建立在 inception 和 resnet 的概念上，並帶來改進的新架構。
**實現：
6. rcnn (基於區域的 cnn)
基於區域的 cnn 架構據說是所有深度學習架構中對目標檢測問題最有影響力的架構。為了解決檢測問題，rcnn 嘗試在影象中所有物體上畫出邊界框，然後識別影象中的物體。
**實現：
7. yolo (you only look once)
yolo 是當前深度學習領域解決影象檢測問題最先進的實時系統。如下圖所示，yolo 首先將影象劃分為規定的邊界框，然後對所有邊界框並行執行識別演算法，來確定物體所屬的類別。確定類別之後，yolo 繼續智慧型地合併這些邊界框，在物體周圍形成最優邊界框。
這些步驟全部並行進行，因此 yolo 能夠實現實時執行，並且每秒處理多達 40 張影象。
儘管相比於 rcnn 它的表現有所降低，但在日常實時的問題中它還是有優勢的。
**實現：
8.squeezenet
squeenet 架構是在移動平台這樣的低寬頻場景中極其強大的一種架構。這種架構只占用 4.9 mb 的空間，而 inception 架構大小為 100mb。這種巨大的差距由一種名為 fire module 的特殊結構引起。
**實現：
9.segnet
segnet 是乙個用於解決影象分割問題的深度學習架構。它包含處理層（編碼器）序列，之後是對應的解碼器序列，用於分類畫素。
segnet 的乙個主要特徵是在編碼器網路的池化指標與解碼器網路的池化指標連線時，分割影象保留高頻細節。簡言之，直接進行資訊遷移，而非卷積它們。在處理影象分割問題時，sgenet 是最好的模型之一。
**實現：
10.gan
**實現：
DL 01 深度學習 揭開DL的神秘面紗
什麼是深度學習 深度學習 深度神經網路 機器學習 人工智慧 機器學習 表示學習 深度學習 神經元模型 輸入訊號 加權求和 加偏置 啟用函式 輸出 全連線層 輸入訊號 輸入層 隱層 多個神經元 輸出層 多個輸出，每個對應乙個分類 目標函式 交叉熵 待求的引數 連線矩陣w 偏置b 訓練方法 隨機梯度下降...
深度學習DL中優化方法總結
本文僅對一些常見的優化方法進行直觀介紹和簡單的比較，各種優化方法的詳細內容及公式只好去認真啃 了，在此我就不贅述了。此處的sgd指mini batch gradient descent，關於batch gradient descent,stochastic gradient descent,以及 m...
深度學習筆記（16） 深度商店
與其說學習筆記，不如說這是一次體驗之旅。看到深度商店讓我想起了android系統的商店，把軟體放到商店裡，作為商品 這種感覺很入心 接地氣，也是大眾人所能接受的，老陌要為這種設計點讚。老陌接觸計算機比較早，是從dos時代走過來的。剛接觸windows95時感覺太強大了，不過那個時代想要找一款軟體很費...