今天來看迴圈神經網路的乙個重要的應用：語言模型。
什麼是語言模型？
語言模型的應用？
為什麼用基於 rnn 的語言模型？
rnn 是如何實現語言模型的？
rnn 是如何實現 character-level 語言模型的？
character-level 語言模型的具體應用：生成莎士比亞風格的文字
語言模型，它的任務是要估計乙個單詞序列 $w_1, w_2, …, w_n$ 的概率 $p(w_1, w_2, …, w_n)$。 通過語言模型，可以在給出前面的單詞的條件下，根據這些文字資料學習單詞出現的概率，並**序列中的下乙個單詞是什麼。比較簡單的模型可以學習短序列的單詞，複雜一些的模型可以學習句子或者段落級別的任務，常見的是單詞級別的模型。
語言模型最直接的應用是用來生成文字，而這個應用是很多自然語言處理任務的基本元件，機器翻譯，語音識別，手寫識別，拼寫糾正，字幕，文字摘要等等都會用到。
例如在對話系統中，輸入一句話後，可以有很多種可能的句子作為回應，每個句子有自己的概率，這時就可以根據語言模型選擇概率最大的句子作為回應。<
RNN與語言模型
語言模型是給乙個句子分配概率的任務，例如 看到 the lazy dog barked loadly 的概率有多大呢？語言模型對機器翻譯有用，比如在單詞順序的選擇問題上，語言模型得到句子 the cat is samll 的概率應該大於 small the is cat 的概率。當前很難為所有可能的...
RNN應用 基於RNN的語言模型
rnn迴圈神經網路，具有處理序列資料的能力，也就是前面的資料跟後面的資料出現順序是有關係的。以下內容來自 我 昨天 上學 遲到 了 神經網路的輸出如下圖所示 其中，s和e是兩個特殊的詞，分別表示乙個序列的開始和結束。使用這種向量化方法，我們就得到了乙個高維 稀疏的向量 稀疏是指絕大部分元素的值都是0...
從RNN到LSTM GRU 語言模型
rnn最重要的是特徵就是每一時刻的結構和引數都是共享的。先放一張盜圖 rnn就好像天生為序列而生的神經網路，舉個簡單的例子，序列標註，比如詞性標註，如圖所示，x是我們輸入，h是我們的輸出，也就是詞性。有人可能就會說，我們使用一般的神經網路也可以做到這樣。乙個詞乙個樣本就可以了，這裡的話就破壞了句子的...