今天來推薦一下自己開源的乙個小專案，主要包括nlp中一些經典模型的理解與相關實踐，從最初的seq2seq到目前比較流行的bert模型，以及bert模型改進——albert模型等。
下面是模型實踐的基本學習路線：
內年分為對應模型的**發表年份。
1、seq2seq模型
2、attention機制
3、transformer模型
4、bert模型
5、albert模型
6、多模型的融合(ensemble)
如上圖中，每個模型下面包含模型理解的readme.md檔案，還包括1個或多個的實踐專案（如transformer.ipynb等）；對於比較重要的概念還會使用notebook配合**進行實踐和深入理解（如attention_understanding.ipynb）。
最後如果有相關模型學習和實踐的朋友去star和fork～
系統學習NLP（十五） seq2seq
什麼是 seq2seq？seq2seq 是乙個encoder decoder 結構的網路，它的輸入是乙個序列，輸出也是乙個序列，encoder 中將乙個可變長度的訊號序列變為固定長度的向量表達，decoder 將這個固定長度的向量變成可變長度的目標的訊號序列。這個結構最重要的地方在於輸入序列和輸出序...
從rnn到lstm，再到seq2seq（二）
從圖上可以看出來，decode的過程其實都是從encode的最後乙個隱層開始的，如果encode輸入過長的話，會丟失很多資訊，所以設計了attation機制。attation機制的decode的過程和原來的最大的區別就是，它輸出的不只是基於本時刻的h，而是基於本時刻的h和c的concat矩陣。那麼c...
seq2seq模型詳解
在李紀為博士的畢業 中提到，基於生成的閒聊機械人中，seq2seq是一種很常見的技術。例如，在法語 英語翻譯中，的當前英語單詞不僅取決於所有前面的已翻譯的英語單詞，還取決於原始的法語輸入 另乙個例子，對話中當前的response不僅取決於以往的response，還取決於訊息的輸入。其實，seq2se...