gan是否可以應用到nlp上?
yoshua bengio 的得意門生 ian goodfellow 博士回答了這個問題：
gans 目前並沒有應用到自然語言處理（nlp）中，因為 gans 僅僅定義在真值資料中，gans 通過訓練出的生成器來產生合成資料，然後在合成資料上執行判別器，判別器的輸出梯度將會告訴你，如何通過略微改變合成資料而使其更加現實。
只有在資料連續（輸入連續）的情況下，你才可以略微改變合成的資料，而如果資料是離散的，絕對不可以改變合成資料，一點都不可以。
例如，如果你輸出了一張，其畫素值是1.0，那麼接下來你可以將這個值改為1.0001。如果你輸出了乙個單詞「penguin」，那麼接下來就不能將其改變為「penguin + .001」，因為沒有「penguin +.001」這個單詞。如果想改的話，你必須將「penguin」變為「ostrich」或其他。因為所有的自然語言處理（nlp）的基礎都是離散值，如「單詞」、「字母」或者「音節」，沒有人真正知道怎樣才能在 nlp 中應用 gans。"
我看到有人說， gans 在遞迴神經網路（rnn）方面並不奏效。這是不對的。從理論上來看，gans 和 rnn 的生成器或判別器之間，並沒有什麼矛盾。但是，對於這一點，目前並沒有人嚴肅而又認真的測試過。因此，在實際應用中還是存在一定的困難的。
vaes 對可見的離散單元是有效的，但是對隱藏的離散單元卻並不奏效（除非你在運用增強演算法，比如 darn 或者 nvil）。而另一方面，gans 對隱藏的離散單元奏效，對可見的離散單元卻並不奏效（從理論上來講，除非是運用增強演算法）。因此，這兩種方法可以說是各有利弊，相輔相成。
GAN生成對抗網路之生成模型
什麼是生成模型？在開始講生成對抗網路之前，我們先看一下什麼是生成模型。在概率統計理論中，生成模型是指能夠在給定某些隱含引數的條件下，隨機生成觀測資料的模型，它給觀測值和標註資料序列指定乙個聯合概率分布。在機器學習中，生成模型可以用來直接對資料建模，如根據某個變數的概率密度函式進行資料取樣，也可以用來...
GAN與NLP的結合相關資料彙總與總結
總結 目前嘗試的內容 純文字生成，詩歌生成，唐詩生成，機器翻譯，ir,中文分詞，文字分類 主要思路 考慮使用d進行真假判別，然後用rl的policy gradient的方式來打分和更新 使用word2vec之類的連續向量，微調之後不能代表乙個有意義的詞語，可以考慮取最近的點,但是存在bias，對於部...
生成模型與判別模型
監督學習的任務就是學習乙個模型，應用這個模型，對給定的輸入 相應的輸出。這個模型一般為決策函式 y f x 或 條件概率分布 p y x 生成方法 定義 由資料學習聯合概率分布 p x,y 然後由p y x p x,y p x 求出概率分布p y x 基本思想是首先建立樣本的聯合概率密度模型p x,...