autoencoder 屬於神經網路範疇，autoencoder 重點關注的是 hidden layer，而它通常只有一層 hidden layer。
autoencoder包含encoder與decoder兩部分：通過encoder將輸入x對映到特徵空間z，再通過decoder將抽象表示z對映回原始空間，通常記作x』，是對樣本的重構。
對於基於神經網路的autoencoder模型來說，則是encoder部分通過逐層降低神經元個數來對資料進行壓縮；decoder部分基於資料的抽象表示逐層提公升神經元數量，最終實現對輸入樣本的重構。[1]
wasserstein 自編碼器由谷歌大腦 ilya tolstikhin 等人提出，結合了 vae 的優點與 gan 的結構特性，是一種用於構建資料分布生成模型的新演算法。wae 將模型分布與目標分布之間的 wasserstein 距離的懲罰形式最小化，匯出了的正則化矩陣鼓勵編碼的訓練分布與之前的分布相匹配。
vae 和 wae 最小化兩項：重構成本、懲罰 pz 和編碼器 q 引起的分布之間的差異的正則矩陣。對 px 的不同輸入樣本 x，vae 使 q(z|x = x) 與 pz 匹配。如圖（a），其中每個紅色的球與 pz（圖中的白色圖形）匹配。紅色的球開始交叉，這也是問題開始重建的時候。相反，如圖（b），wae 使連續混合（continuous mixture）qz := ∫q(z|x)dpx 與 pz（圖中綠色的球）匹配。因此，不同樣本的隱藏**都有機會遠離對方，從而更好地重建。[3]
參考文章
[1]
[2]
[3]
實現 AutoEncoder 模型
最近在 kaggle 上學習些 keras 的使用方法，這裡總結下 autoencoder 使用方式 對於autoencoder模型定義有兩種方式 from operator import mul from functools import reduce def product dset retur...
初步了解autoencoder
學習自莫煩python 自編碼 autoencoder 是一種神經網路的形式。例子 一張 對其進行打碼 最後再將其還原 壓縮的時候，的質量會縮減，解壓還原的時候用資訊量小卻包含了關鍵資訊的檔案來還原出原來的。神經網路接受大量資訊進而學習是一件吃力的事情，所以為了讓神經網路的負擔沒有那麼重，所以要從原...
Keras上實現AutoEncoder自編碼器
無監督特徵學習 unsupervised feature learning 是一種仿人腦的對特徵逐層抽象提取的過程，學習過程中有兩點 一是無監督學習，即對訓練資料不需要進行標籤化標註，這種學習是對資料內容的組織形式的學習，提取的是頻繁出現的特徵 二是逐層抽象，特徵是需要不斷抽象的。自編碼器 auto...