近幾年，深度學習高速發展，出現了大量的新模型與架構，以至於我們無法理清網路型別之間的關係。在這篇文章中，香港科技大學（hkust）助理教授金成勳總結了深度網路型別之間的譜系圖，以便於我們索引不同型別網路的傑出研究成果。完整圖
記憶網路
參考閱讀：
卷積神經網路（cnn）
如下所示，cnn 除了包含執行目標識別任務的 alexnet 等深度卷積網路，還包括很多優秀的模型用於處理目標檢測、語義分割和超解析度等任務。它們以不同的方式應用卷積過程處理不同的任務，並在這些任務上產生了非常好的效果。從基本上來說，卷積相對於最初的全連線網路有很多優秀的屬性，例如它只和上一層神經元產生部分的連線，同乙個卷積核可以在輸入張量上重複使用，也就是說特徵檢測器可以在輸入影象上重複檢測是否有該區域性特徵。這是卷積網路十分優秀的屬性，它大大減少了兩層間引數的數量。
基於這些基礎的卷積特性，我們可以構建不同的卷積模型處理不同的任務。以下是卷積網路的主要模型與領域：
參考閱讀：
迴圈神經網路（rnn）
基本的 rnn 結構難以處理長序列，然而一種特殊的 rnn 變種即「長短時記憶（lstm）」網路可以很好地處理長序列問題。這種模型能力強大，在翻譯、語音識別和影象描述等眾多任務中均取得里程碑式的效果。因而，迴圈神經網路在最近幾年得到了廣泛使用。
參考閱讀：
capsule net
capsule 是由深度學習先驅 geoffrey hinton 等人提出的新一代神經網路形式，旨在修正反向傳播機制。在 dynamic routing between capsules **中，geoffrey hinton 這樣介紹 capsule：「capsule 是一組神經元，其輸入輸出向量表示特定實體型別的例項化引數（即特定物體、概念實體等出現的概率與某些屬性）。我們使用輸入輸出向量的長度表徵實體存在的概率，向量的方向表示例項化引數（即實體的某些圖形屬性）。同一層級的 capsule 通過變換矩陣對更高階別的 capsule 的例項化引數進行**。當多個**一致時（本**使用動態路由使**一致），更高階別的 capsule 將變得活躍。」
capsule 中神經元的啟用情況表示了影象中存在的特定實體的各種性質。這些性質可以包含多種不同的引數，例如姿勢（位置、大小、方向）、變形、速度、反射率、色彩、紋理等。而輸入輸出向量的長度表示了某個實體出現的概率，所以它的值必須在 0 到 1 之間。
機器之心也詳細解讀了上週 hinton 公開的**，這篇**的亮點在於 capsule 層的輸入與輸出都是向量，構建向量的過程可以認為是 primarycaps 層利用 8 個標準的 conv2d 操作產生乙個長度為 8 個元素的向量，因此每乙個 capsule 單元就相當於 8 個卷積單元的組合。此外，在 capsule 層中，hinton 等人還使用了動態路由機制，這種更新耦合係數（coupling coefficients）的方法並不需要使用反向傳播機制。
除了 hinton 等人公布的 capsule **以外，近日還有一篇 matrix capsules with em routing **，該**採用 em routing 修正原**的 dynamic routing 從而實現更好的效果。
參考閱讀：
生成模型
人工智慧研究的最大難題之一是無監督學習（unsupervised learning），而面向無監督學習的深度學習方法以學習表徵（learning representation）問題為核心，不同的演算法都會定義乙個目標函式，該目標函式可以讓該學習器獲取到其資料表徵的關鍵方面以及乙個可以表徵資料的新空間。深度生成模型可以通過生成全新的樣本來演示其對於資料的理解，儘管這些生成的樣本非常類似於那些訓練樣本。許多這樣的模型和之前的自編碼器的思想有關，其有乙個編碼器函式將資料對映到表徵，還有乙個解碼器函式（或生成器）將該抽象的表徵對映到原始資料空間。此外，生成模型很多也應用到了 gan 的思想，即通過判別器與生成器之間的對抗促使生成器生成非常真實的影象。
在變分自編碼器中，我們需要通過樣本訓練乙個編碼器和解碼器，在這過程中我們能得到中間的隱藏變數。若我們需要生成新的影象，那麼只需要在隱藏變數取樣並投入解碼器就能完成生成。而在生成對抗網路中，我們會定義乙個判別模型與生成模型。首先我們會將生成的樣本混合真實樣本投遞給判別模型以訓練其鑑別真假的能力，隨後再固定判別模型並訓練生成模型，以生成更真實的影象。
資源 深度學習架構譜系
近幾年，深度學習高速發展，出現了大量的新模型與架構，以至於我們無法理清網路型別之間的關係。在這篇文章中，香港科技大學 hkust 助理教授金成勳總結了深度網路型別之間的譜系圖，以便於我們索引不同型別網路的傑出研究成果。完整圖 記憶網路 參考閱讀 卷積神經網路 cnn 如下所示，cnn 除了包含執行目...
深度學習入門資源
深度學習入門之pytorch 廖星宇 1.笨方法學習python，learn python the hard way 2 廖雪峰的python入門 3 edx introduction to computer science and programming using python 4 線性代數 線...
機器學習 深度學習資源推薦
簡單來說，機器學習是人工智慧的一種，而深度學習只是機器學習的乙個分支。stephen boyd 凸優化，一些優化的理論需要先了解一下 周志華 機器學習 吳恩達 機器學習教程 書和課程可以一起看，課程會講一些小例子，更好的幫助你理解課本內容。斯坦福機器學習教程 斯坦福深度學習教程 以上，只是關於機器學...