概念
應用
原理
降噪自編碼器
對自編碼器的訓練方法進行了改進，通過向訓練樣本在加入隨機雜訊得到樣本
優點：稀疏自編碼器
問題：自編碼器中間層單元數太少會導致神經網路很難重構輸入樣本，單元數太多會產生單元冗餘，降低壓縮效率。
方法：將稀疏正則化加入自編碼器，增加正則化項使大部分單元輸出變為0。
棧式自編碼器
目的：維度壓縮。
方法：只需要輸入層和中間層，將輸入層和中間層多層堆疊，逐層進行訓練，得到棧式自編碼器。
在預訓練中的應用
步驟：輸入層+第乙個中間層構成乙個自編碼器；
先正向傳播，再反向傳播，計算誤差，調整引數，完成第乙個中間層的重構；
第乙個中間層與第二個中間層構成乙個自編碼器，進行引數訓練；
迭代訓練所有層，得到引數的初始值；
對上述得到的引數值微調，得到整個網路的引數初始值。
其中，1-4是無監督學習，5是有監督學習。
深度自編碼器python實現
深度自編碼器的原理上一節已經講過，這次我們來看一下它的python 實現，這是基於mnist的自編碼實現。from future import division,print function,absolute import import tensorflow as tf import numpy a...
棧式自編碼器學習
棧式自編碼器就是多個自編碼器級聯。棧式自編碼器的訓練過程是，n個ae按順序訓練，第1個ae訓練完成後，將其編碼器的輸出作為第2個ae的輸入，以此類推。最後得到的特徵作為分類器的輸入，完成最終的分類訓練。如下四幅圖所示 結果 在逐層訓練結束後，還需要乙個微調過程 fine tuning 大意如下 逐層...
深度生成模型 自省變分自編碼器IntroVAE
近日，中國科學院自動化研究所智慧型感知與計算研究中心提出一種新的深度生成模型 自省變分自編碼器 introspective variational autoencoder，introvae 用來實現高畫質影象等高維資料的無條件生成 unconditional generation 該模型一方面在不引...