近期集中學習了gan,下面記錄一下調研的結果,和學習的心得,疏漏的地方,敬請指正。
本文將分為幾個部分進行介紹,首先是gan的由來,其次是gan的發展,最後是gan的應用。
先把最近收集的資料列舉一下吧。
其中首推知乎的一位博士生,講解的深入淺出,將來也是出好產品的科研人啊。令人拍案叫絕的wasserstein gan
自己順著思路推導了一下gan和wgan的公式,能搞這些東西的人都是牛人啊。gan的發展過程,就是loss不斷改進的過程!
跑了一下wgan的**,是基於pytorch的,我跑的是和文章裡的結果一樣的資料lsun,的bedroom類。從**來看吧,確實挺簡單的,應該說是比起文章裡複雜的公式推導,**是相當的簡單和易懂。wgan也是先優化discriminator,再優化generator,其中優化過程中是先優化d一百步迭代,然後再優化generator g。通篇讀了一下**,相當直觀的。就是首先將真實資料作為輸入,forward,然後給標籤為1,計算backward,計算真實資料帶來的誤差。然後再隨機生成雜訊,用雜訊作為g的輸入,產生樣本,再輸入d,forward,輸入標籤-1,計算backward,計算雜訊的誤差。兩個誤差一起,進行模型優化,一次迭代更新d完成。在100次迭代更新d後,更新g。更新g的過程也是很直觀的,隨機雜訊輸入g,產生樣本輸入d,完成forward。用-1作為標籤,進行backward,計算誤差,根據誤差進行模型優化。因為是基於pytorch的,基本上函式都封裝好了,看著很簡單,不過據我同事說,torch裡的坑挺多的,不像caffe透明性高點,但是我看caffe裡沒有人實現wgan,同時caffe現在更新越來越慢了,有點沒落的跡象,可能以後我會多用些pytorch。說說wgan的結果吧,訓練過程中確實挺穩定的,而且不需要什麼特別的技巧,**裡我是沒看到,當然有人說還是有差別的,我會繼續調一下對比一下看看。
GAN學習系列2 GAN的起源
本文大約 5000 字,閱讀大約需要 10 分鐘 這是 gan 學習系列的第二篇文章,這篇文章將開始介紹 gan 的起源之作,鼻祖,也就是 ian goodfellow 在 2014 年發表在 iclr 的 generative adversarial networks 當然由於數學功底有限,所以會...
GAN學習筆記
參考原文 gan的思想是是一種二人零和博弈思想 two player game 博弈雙方的利益之和是乙個常數,比如兩個人掰手腕,假設總的空間是一定的,你的力氣大一點,那你就得到的空間多一點,相應的我的空間就少一點,相反我力氣大我就得到的多一點,但有一點是確定的就是,我兩的總空間是一定的,這就是二人博...
學習筆記 GAN
gan直觀理解 造假酒的造假者不斷從鑑定師那裡得到反饋從而技術不斷提公升改良製造的假酒越發與真酒無異 鑑定師鑑定技術也隨著不斷提公升。gan 由以下兩部分組成。生成器網路 generator network 它以乙個隨機向量 潛在空間中的乙個隨機點 作 為輸入,並將其解碼為一張合成影象。判別器網路 ...