1.0版本較bert更改較少，結構如上圖，主要表現在三個方面：（1）調整mask策略；（2）增加異質資料；（3）增加dlm（dialogue language model）任務。
bert中是隨機mask掉15%的words，並嘗試在mlm任務中恢復。而ernie模型ernie的mask的策略是通過三個階段學習的，在第乙個階段，採用的是bert的模式，用的是basic-level masking，然後在加入片語的mask(phrase-level masking), 然後在加入實體級別entity-level的mask。
訓練集包括了 - chinese wikepedia - baidu baike - baidu news - baidu tieba 注意模型進行了繁簡體的轉化，以及是uncased。
對話的資料對語義表示很重要，因為對於相同回答的提問一般都是具有類似語義的，ernie修改了bert的輸入形式，使之能夠使用多輪對話的形式，採用的是三個句子的組合[cls]s1[sep]s2[sep]s3[sep] 的格式。這種組合可以表示多輪對話，例如qrq，qrr，qqr。q：提問，r：回答。為了表示dialog的屬性，句子新增了dialog embedding組合，這個和segment embedding很類似。 - dlm還增加了任務來判斷這個多輪對話是真的還是假的。
二妮兒plus
預訓練模型（四） Ernie
一.ernie 1.0 ernie和bert有什麼異同呢？1.ernie 通過實體和短語mask能夠學習語法和句法資訊的語言模型 2.訓練方法 與bert類似 如何mask？1.ernie的輸入是字粒度的輸入 2.不同級別的mask 單字，實體，短語 seg labels就是記錄分詞邊界的，有三種取...
C 物件模型初探
在c 中有兩種class data members static和non static，以及三種class member functions static non static 和virtual。簡單物件模型 乙個object由一系列的slots組成，每乙個slot指向乙個member，slots按...
C 物件模型初探
測試環境 windows7 32 位機器上 vs2010 c 中的class從物件導向理論出發，將變數 屬性 和函式 方法 集中定義在一起，用於描述現實世界中的類。然而從計算機的角度，程式依然由資料段和 段構成。c 編譯器如何完成物件導向理論到電腦程式的轉化？換句話 c 編譯器是如何管理類 物件 類...