GAN與NLP的結合相關資料彙總與總結

2021-08-10 21:26:43 字數 1150 閱讀 5100

總結

- 目前嘗試的內容:純文字生成,詩歌生成,唐詩生成,機器翻譯,ir,中文分詞,文字分類

- 主要思路:考慮使用d進行真假判別,然後用rl的policy gradient的方式來打分和更新

- 使用word2vec之類的連續向量,微調之後不能代表乙個有意義的詞語,可以考慮取最近的點,但是存在bias,對於部分生成的序列,十分難判斷其在之後生成整個序列時的分數

- ir gan 沒有使用attention機制

- 生成文字的方法:gumble softmax,policy gradient

- gan可能適合的方向:半監督學習,文字分類

- 後續各種文字生成+gan都是用seqgan的套路,另外一種做法是在文字自編碼器中的編碼層做對抗訓練

**:**:

1.sequence generative adversarial nets with policy gradient

2.gans for sequences of discrete elements with the gumbel-softmax distribution generating

3.text via adversarial training

4.generating sentences from a continuous space

5.generating text with deep reinforcement learning

6.deep reinforcement learning for dialogue generation

7. generating text via adversarial training

8.adversarial learning for neural dialogue generation

9.seqgan: sequence generative adversarial nets with policy gradient

10.gans for sequence of discrete elements with the gumbel-softmax distribution

11.generative adversarial text to image synthesis

NLP閱讀理解的經典資料集與模型

經典資料集介紹 資料集和模型的開發時間軸 來自chen danqi博士 其中黑色為資料集,藍色為模型 1.資料集cnn dailymail及模型attentive reader teaching machines to read and comprehend 2.模型stanford attenti...

快取與資料庫的結合使用

場景 很多時候,我們希望避開資料庫,更多的使用快取來代替直接從資料庫的讀取,以此來提供程式的效能。為此,我們進行了一些比較常見的封裝 例如 什麼配置資訊,常見的活動配置 基礎配置 系統配置 營銷配置等 配置相關的快取服務基類 public abstract class baseconfigcache...

XML與資料集相關的操作

一 xml 1 含義 extensible markup language 可擴充套件標記語言 a 標記語言 計算機所能理解的資訊符號 2 用途 傳送及攜帶資料資訊,不用來表現或展示資料。用途的焦點是 它說明資料時什麼。具體展示就表現由使用它的應用程式來決定。而html則用來表現資料。3 例子 ve...