深度學習模型

深度學習常用方法：

深度置信網路(dbn): 概率生成模型，生成資料

卷積神經網路(cnn): 判別模型，處理二維圖

卷積深度置信網路(cdbn): 兩者的結合

迴圈神經網路(rnn): 與時間序列有關的

對抗神經網路(gan): 兩個網路的零和遊戲，乙個網路用來判別，乙個網路用來生成

自動編碼器(vae):生成模型

深度置信網路(dbn)：對每一層（每一層看做乙個rbm受限玻爾茲曼機）進行無監督學習，最後對整個網路用監督學習進行微調。具體過程：

1.隨機初始化權值和偏置

2.根據輸入計算隱含層的輸出矩陣和啟用概率，用此概率把輸出矩陣隨機化為二值矩陣h；以此h作為下乙個rbm的輸入；遞迴的計算出每層的輸出

3.用反向傳播對整個dbn微調。

深度學習baseline模型 深度學習模型訓練流程

工作中訓練了很多的深度學習模型，目前到了上公升到方 的角度來看了。日常工作中有的人可能已經在遵循方 做事，可能自己沒有注意，有的人可能沒有遵循方 在做事，雖然可能最後的結果差不多，但花費的時間和精力應該會差別很大，當然這是我自己的感受。我們不必完全按照方 來做，但基本流程跟方 應該一致。下面的具體步...

深度學習模型儲存 深度學習分布式模型

背景 隨著各大企業和研究機構在pytorch tensorflow keras mxnet等深度學習框架上面訓練模型越來越多，專案的資料和計算能力需求急劇增加。在大部分的情況下，模型是可以在單個或多個gpu平台的伺服器上執行的，但隨著資料集的增加和訓練時間的增長，有些訓練需要耗費數天甚至數週的時間，...

深度學習模型壓縮

1 引入1 1的卷積降維 inception v1 例如googlenet，假設輸入是28 28 192的feature map，1 1的channel是64，3 3的channel是128，5 5的channel是32 在左圖被3個 不同尺寸的卷積核卷積之後，參數量是1 1 192 64 3 3 ...