我們提出乙個框架來通過對抗方式評估生成模型，我們同時訓練兩個模型：乙個生成模型g捕捉資料分布，乙個鑑別模型d估計乙個樣本來自於訓練資料而不是g的概率。g的訓練過程是最大化d犯錯的概率。這個框架與minmax兩個玩家的遊戲相對應。在任意函式g和d的空間存在乙個唯一解，g恢復訓練資料的分布，d等於1/2。在g和d被多層感知機定義的情況下，整個系統可以用反向傳播訓練。在訓練和生成樣本的過程不需要任何馬可夫鏈或展開近似推斷網路。實驗通過對生成樣本的定性和定量評估顯示了該框架的潛力。
介紹深度學習能發現豐富、結構性的模型，這些模型能體現在人工智慧應用中，如自然影象、包含演講的語音波形，以及自然語言庫符號等資料的概率分布。目前為止，深度學習的成功主要涉及鑑別模型，一般是將高維度的、富感觀輸入對映到乙個類標籤。這些成功主要基於反向傳播和dropout演算法，使用具有良好梯度表現的分段線性單元。深度生成模型則影響較小，因為難以近似很多由最大似然估計和相關策略引起的不可追蹤的概率計算，並且在生成情景利用分段線性單元也非常困難。我們提出乙個新的生成模型估算過程能避開這些困難。
在提出的對抗網路框架，生成模型與鑑別模型對抗，鑑別模型學習確認以乙個樣本是來自於模型分布還是資料分布。生成模型可以被想成是一群作假者，試圖製造假幣使用並不被發現，而鑑別模型類似警察，試圖偵測假幣。競爭使得雙方都優化方法直到假的和真的無法區分。
框架可以為很多態別的模型和優化演算法生成特殊的訓練演算法。這裡，我們探索乙個特例，生成模型利用乙個多層感知機通過隨機干擾生成樣本，鑑別模型同樣為乙個多層感知機。我們將這個特例稱為對抗網。這裡我們近使用成功的反向傳播和dropout演算法來訓練兩個模型，生成模型僅使用前向傳播生成樣本。不需要近似推斷或是馬可夫鏈。
相關工作
乙個具有隱藏變數的有向圖模型的替換是具有隱藏變數的無向圖模型，例如受限波爾曼機（rbms），深度波爾曼機（dbms）以及它們的變體。這類模型中的互動體現為未歸一化勢能函式的積，通過所有隨機變數的狀態的全域性加總／融合歸一化。這個數量（分割函式）和它的梯度除了一些特別小的個例外基本都無法追蹤，儘管它們可以通過馬可夫鏈蒙特卡洛（mcmc）方法來估算。混合對於依賴於mcmc的學習演算法構成了乙個巨大的挑戰。
深度置信網路（dbns）是包含乙個無向層和多個有向層的混合模型。當乙個快速近似層際訓練標準存在，dbns產生同時與無向和有向模型相關的計算困難。
另乙個替換標準是不近似或繫結提出的指數相似，例如計分器和干擾對比估計（nce）。兩者都要求學習到的概率密度被分析性的具體到乙個歸一常數。注意在許多具有多層隱藏變數的有意思的生成模型中（例如dbns和dbms），甚至無法得到乙個可追蹤的未歸一的概率密度。一些模型例如去噪自動編碼機和收斂自動編碼機有與用於rbms計數器非常相似的學習規則。在nce中，鑑別訓練標準被用於擬合生成模型。但是，生成模型自身被用於鑑別從固定干擾分布樣本生成資料，而不是去擬合乙個單獨的鑑別模型。因為nce使用固定的噪音分布，當模型學習到觀察變數一小部分的近似正確分布後學習變得異常緩慢。
最後，一些技巧不涉及明確定義乙個概率分布，二是訓練乙個生成機從希望的分布中抽取樣本。這種方式的優點是這樣的機器可以用反向傳播訓練。一些這個領域的知名的工作有生成隨機網路（gsn）框架，延伸了普通降噪自動編碼機：兩者都可以視作定義乙個引數化的馬可夫鏈，即學習執行一步生成馬可夫鏈機器的引數。與gsns相比，對抗網路框架不需要馬可夫鏈來取樣。因為對抗網路在生成時不需要反饋環，它們更善於利用分段線性單元，提高了反向傳播的表現但是當使用反饋環時非繫結啟用會產生問題。一些使用反向傳播到它來訓練生成機的近期例子包括自動編碼變體貝葉斯和隨機反向傳播。
半監督生成對抗網路 生成對抗網路
一 生成對抗網路相關概念 一 生成模型在概率統計理論中，生成模型是指能夠在給定某些隱含引數的條件下，隨機生成觀測資料的模型，它給觀測值和標註資料序列指定乙個聯合概率分布。在機器學習中，生成模型可以用來直接對資料建模，也可以用來建立變數間的條件概率分布。通常可以分為兩個型別，一種是可以完全表示出資料確...
生成對抗網路
0.監督和無監督 本質 有無標籤資料 1.自動編碼器 只是重構原輸入 輸入 編碼 中間表示 潛在表示，code 解碼 重構 通常用於 1 忽略雜訊 2 壓縮維度 有聚類效果 可以達到pca和主成分分析效果 2.變分自動編碼器 vae variational autoencoders 可以生成新的樣本...
生成對抗網路 生成對抗網路的簡單介紹
近年來，在人工智慧領域深度學習取得了令人矚目的成就，在計算機視覺 自然語言處理等各種領域都取得了突破性的進展。深度學習現今主要是依靠神經網路模型來進行學習的，可大致分為三種基礎模型，首先的就是卷積神經網路 convolutional neural networks,cnns，1998 迴圈神經網路 ...