vae全面理解(上)然後有一篇英文部落格,角度稍有不同,但也很好,與上面的部落格互相有補充:vae全面理解(下)
三顧vae
vae careful walkthrough其中,高亮的一段:
另外,英文部落格中的圖:
decoder部分裡寫的 p(z|x) ,我覺得不是很恰當,其實應該是p(x|z)更好理解 。不過p(x|z)也是要由p(z|x)用貝葉斯公式推出來。
這個圖里也直接列出了 兩個loss,不過尤其是對於reconstruction loss 我覺得中文部落格講的更好。然而,看了**實現之後 ( 厘公尺有**實現),我感覺其實這個loss的數學式比起**來說抽象太多。**裡這部分的loss就是比較生成的和輸入的區別,而數學式這裡,更符合數學推導結論。相關數學推導,在第二個中文部落格裡很清晰 :
如下圖 l = lv + dkl(...), 對於p(x),它的值是固定的,所以為了最小化分布q(z|x)和p(z|x)之間的距離,需要最大化這個lv。lv就是elbo(error lower bound optimization)。
這個紅色部分對應的是解碼器部分,即要求在訓練過程中,回構出來的影象要盡量的與輸入的影象相同。2020.9.9 更新
最近又發現,bayesian neural network 中也有elbo,跟vae很相似,
深度學習 AE與VAE
自動編碼器是一種資料的壓縮演算法,其中資料的壓縮和解壓縮函式是資料相關的 有損的 從樣本中自動學習的。在大部分提到自動編碼器的場合,壓縮和解壓縮的函式是通過神經網路實現的。搭建乙個自動編碼器需要完成下面三樣工作 搭建編碼器,搭建解碼器,設定乙個損失函式,用以衡量由於壓縮而損失掉的資訊。編碼器和解碼器...
go學習資源彙總記錄
說明 這篇彙總上手golang語言的一些較好的資源,備查 go語言的設計與實現 learn go in y minutes 乙個例子速覽go語言基本語法內容 go by example 花一天左右時間把這兒的例子全敲一遍,就可以開始用go寫程式啦 go 語言設計與實現 更全面深入的學習,看這個 go...
資源鏈結記錄
1 jenkins環境部署 參照 2 阿里雲上部署ftp可能遇到的問題及解決方法 1 阿里雲上ftp部署方法 我用的這個成功 這個就沒用成功過,設定ip 繫結網域名稱都用不成功,檔案許可權修改也遠端沒有連線成功過 2 ftp工作方式 主動 被動 以及多餘占用的埠號 需新增安全策略 3 修改阿里雲wi...