bert基於nsp和mlm兩個任務進行預訓練，如果對bert進行改進，乙個可行的方向就是增加更多的預訓練任務，那麼除了這兩個任務之外，還可以增加哪些預訓練任務呢？可以增加的預訓練任務有乙個前提，就是這些任務的訓練資料要能從無監督的資料中獲取，這樣才能獲取到海量的資料，符合這一要求的任務可以進行嘗試。
提供一些預訓練任務的思路：
1.capitalization prediction task
**單詞是否大寫。與其他詞語相比，大寫詞語通常具有特定的語義價值。
2.token-document relation prediction task
3.sentence distance task
學習句子間距離的任務。該任務被建模為乙個3分類的問題，「0」表示兩個句子在同乙個文件中相鄰；「1」表示兩個句子在同乙個文件中，但不相鄰；
「2」表示兩個句子來自兩個不同的文件。
bert預訓練模型解讀 Bert 預訓練小結
最近正在預訓練乙個中文pytorch版本的bert，模型部分 是基於huggingface發布的版本，預訓練過程還是參考google的 值得吐槽的是huggingface之前發布的分支名叫pytorch pretrain bert，後來又加上了gpt2 xlnet一系列當紅模型，結果索性改了個名字叫...
BERT 中文預訓練模型使用
只要是從事文字處理相關工作的人應該都知道 google 最新發布的 bert 模型，該模型屬於是詞向量的預訓練模型，一經提出便橫掃各大 nlp 任務，最近 google 公司如約推出了中文詞向量的預訓練模型，不得不說這是一件非常有良心的事情，在此膜拜和感謝 google 公司。那麼如何使用 bert...
基於bert預訓練模型的比較
基於bert預訓練模型的比較 electra roberta bert wwm albert xlnet 預訓練任務替換詞檢驗 遮掩詞 與bert相同 遮掩詞 sop permutation lm pretraining model生成器 判別器的模式，生成器與判別器的網路結構均為transform...