優勢：短文本分類
可參照：
優點：訓練速度快
優點：對文件的分類
雙向的lstm，可以獲得豐富的詞彙表示
attention階段：詞在句子中的重要程度
以雙向lstm編碼句子，獲得句子的資訊表徵，將前向最後時刻和後向最後時刻拼接，乘以fc之後，對tensor做softmax，得到類別。
優勢：rnn捕捉上下文資訊，而max-pooling選取最重要的資訊給分類。
模型資料流：每乙個單詞的embedding方式主要有3個部分concat組成：[left context ;word embedding;righ context],緊接著max-pooling，最後fc之後，softmax分類。
可參考：
可參考：
深度學習和文字分類
參考部落格 fasttext 模型輸入乙個詞的序列 一段文字或者一句話 輸出這個詞序列屬於不同類別的概率。序列中的詞和片語組成特徵向量，特徵向量通過線性變換對映到中間層，中間層再對映到標籤。fasttext 在 標籤時使用了非線性啟用函式，但在中間層不使用非線性啟用函式。fasttext 模型架構和...
深度學習和文字分類
傳統的文字分類模型 深度學習文字分類模型 fasttext fasttext 模型輸入乙個詞的序列 一段文字或者一句話 輸出這個詞序列屬於不同類別的概率。序列中的詞和片語組成特徵向量，特徵向量通過線性變換對映到中間層，中間層再對映到標籤。fasttext 在 標籤時使用了非線性啟用函式，但在中間層不...
文字分類模型 BERT模型實戰之多文字分類
作者介紹 高開遠，漫威鐵粉 吸貓重症患者，本科就讀於哈爾濱工業大學，現為上海交通大學2017級碩士研究生，研究方向 知識圖譜 chatbot，大魚ai特約作者。01 transformer模型 bert模型就是以transformer基礎上訓練出來的，所以在開始之前我們首先複習一下目前nlp領域可以...