在bert模型的學習中，遇到了以下一些不錯的資料，雖然走了很多彎路，這裡總結一下比較好的學習歷程吧，需要花一點時間閱讀。首先是對nlp中語言模型的乙個發展歷程的乙個介紹：
理論模型學習：
1、從word embedding到bert模型—自然語言處理中的預訓練技術發展史：
與之先關的該作者的另外兩篇文章：
（1）深度學習中的注意力模型（2017版）：
（2）放棄幻想，全面擁抱transformer：自然語言處理三大特徵抽取器（cnn/rnn/tf）比
較：
讀完上面三篇文章，大概對bert是做什麼的，裡面涉及的關鍵技術是做什麼的，怎麼做的，會有乙個大概的了解。大概就是處在對bert的乙個整體了解上。
2、github上官方的**說明，主要是預訓練部分，大概知道程式的輸入輸出和流程是咋樣的：
google-research/bert：
3、用視覺化解構bert，我們從上億引數中提取出了6種直觀模式：
4、**transform：
（相見恨晚的一篇文章，由於bert的特徵抽取是用的transform，所以了解完這篇文章，很多細節問題就都清楚了）
5、**bert：
（這篇文章對理解bert的網路結構也是相當的有用。個人覺得，在原始碼的網路結構的輸出，以及**transform，加上**bert這三個結合起來看，會對bert預訓練裡面的核心機制了解得非常全面，對於乙個神經網路零基礎的人來說，這樣**加**的方式終於搞明白了，原始碼網路結構的可以用它自帶的sample跑一下程式，過程中會有相應的每層的引數結構的輸出）
有時間想要把bert的整個網路結構給手畫出來。。。。。。
5、為什麼使用自注意力機制？待看）
覺得第乙個作者的三篇總結性的文章可以在了解完其他細節之後反覆回看。
**學習：
1、bert**：
最好的方法，直接看谷歌的原始碼，從資料生成，到預訓練**。
**解讀部落格待更
模型 深度學習 BERT
pre training of deep bidirectional transformers for language understanding 官方 和預訓練模型 第三方 1.pytorch pretrained bert谷歌推薦pytorch版本 2.bert pytorchpytorch版...
瞎聊機器學習 BERT模型
在本文之前我們已經介紹了elmo和gpt的兩個成功的模型，今天給大家介紹google新發布的bert模型。bert來頭可不小，其效能超越許多使用任務特定架構的系統，重新整理了11項nlp任務的當前最優性能記錄。bert模型的全稱是bidirectional encoder representatio...
bert中的sep 語言模型 BERT
今天我們想到 nlp 就會想到 bert，在 nlp 領域中 bert 到處屠榜。bert 主要應用於自然語言處理中的預訓練。這裡想說一件有趣的事，就是當下比較火的自然語言處理模型如 elmo 和 bert 都是動畫片芝麻街中角色。那麼什麼是 bert 呢?我們先從字面上解釋一下什麼是 bert。我...