目前深度學習按照結構和技術應用的方式，可以把結構分為三類：
該結構描述資料的高階相關特性，或觀測資料和相應類別的聯合概率分布。與傳統區分型神經網路不同，可獲取觀測資料和標籤的聯合概率分布，這方便了先驗概率和後驗概率的估計，而區分型模型僅能對後驗概率進行估計。**afast learning algorithm for deep learning中採用的深度信念網（dbn）就屬於生成性深度結構。dbn解決傳統bp演算法訓練多層神經網路的難題：1）需要大量含標籤訓練樣本集；2）較慢的收斂速度；3）因不合適的引數選擇陷入區域性最優。
dbn由一系列受限波爾茲曼機（rbm）單元組成。rbm是一種典型神經網路，該網路可視層 和隱層單元彼此互連（層內無連線），隱單元可獲取輸入可視單元的高階相關性。相比傳統sigmoid信度網路，rbm權值的學習相對容易。為了獲取生成性權值，預訓練採用無監督貪心逐層方式來實現。在訓練過程中，首先將可視向量值對映給隱單元；然後可視單元由隱層單元重建；這些新可視單元再次對映給隱單元，這樣就獲取了新的隱單元。通過自底向上組合多個rbm可以構建乙個dbn。應用高斯—伯努利rbm或伯努利—伯努利rbm，可用隱單元的輸出作為訓練上層伯努利—伯努利rbm的輸入，第二層伯努利和伯努利的輸出作為第三層的輸入等，如圖2所示。
目的是提供對模式分類的區分性能力，通常描述資料的後驗分布。卷積神經網路（convolutional neural network,cnns）是第乙個真正成功訓練多層網路結構的學習演算法，與dbns不同，它屬於區分性訓練演算法。受視覺系統結構的啟示，當具有相同引數的神經元應用於前一層的不同位置時，一種變換不變性特徵就可獲取了。後來lecun等人沿著這種思路，利用ｂｐ演算法設計並訓練了cnns。cnns作為深度學習框架是基於最小化預處理資料要求而產生的。受早期的時間延遲神經網路影響。cnns靠共享時域權值降低複雜度。cnns是利用空間關係減少引數數目以提高一般前向bp訓練的一種拓撲結構，並在多個實驗中獲取了較好效能。在cnns中被稱作區域性感受區域的影象的一小部分作為分層結構的最底層輸入。資訊通過不同的網路層次進行傳遞，因此在每一層能夠獲取對平移、縮放和旋轉不變的觀測資料的顯著特徵。
它的目標是區分性的，但通常利用了生成型結構的輸出會更易優化。混合型結構的學習過程包含兩個部分，即生成性部分和區分性部分。現有典型的生成性單元通常最終用於區分性任務，生成性模型應用於分類任務時，預訓練可結合其他典型區分性學習演算法對所有權值進行優化。這個區分性尋優過程通常是附加乙個頂層變數來表示訓練集提供的期望輸出或標籤。bp演算法可用於優化dbn權值，它的初始權值通過在rbm和dbn預訓練中得到而非隨機產生，這樣的網路通常會比僅通過bp演算法單獨訓練的網路效能優越。可以認為bp對dbns訓練僅完成區域性引數空間搜尋，與前饋型神經網路相比加速了訓練和收斂時間。
深度學習概述《一》深度學習知識結構介紹
本系列基本內容 1.深度學習知識結構圖 2.追本溯源 深度學習基礎 3.什麼正在發生？4.乙個深度學習開發例項的分析 目的 1.了解深度學習發展 2.串聯深度學習基本概念 3.掌握深度學習模型設計基本思想 一 深度學習知識結構圖 首先我們以線性回歸和神經網路為出發點，因為它們是整個深度學習的資料基礎...
深度學習 Tensorflow線性結構實現示例
完整 github位址 目錄 建立資料 搭建模型 計算誤差 傳播誤差 訓練 完整 tensorflow 是非常重視結構的,我們得建立好了神經網路的結構,才能將數字放進去,執行這個結構.這個例子簡單的闡述了 tensorflow 當中如何用 來執行我們搭建的結構。首先,我們這次需要載入 tensorf...
深度學習網路結構
lenet 一共有五層，兩層卷積加三層全連線，架構如下 卷積部分 均無padding 輸入kernel size stride kernel個數 輸出池化 第一層卷積 32 32 3 5 51 628 28 6 14 14 6 第二層卷積 14 14 6 5 51 1610 10 16 5 5 16...