bert可以做哪些nlp任務

2021-09-24 20:10:02 字數 1403 閱讀 3766

讀了bert的**大概知道bert可以做下面幾個事情:

一、bert能做的任務

一、文字分類

二、序列標註任務,比如分詞 實體識別 詞性標註

三、句子關係判斷 比如qa,自然語言推理

二、bert不能做的任務

不能做的事情

一、機器翻譯

三、bert重新整理的11個記錄

. multinli(multi-genre natural language inference,文字蘊含識別)

文字間的推理關係,又稱為文字蘊含關係。樣本都是文字對,第乙個文字m作為前提,如果能夠從文字m推理出第二個文字n,即可說m蘊含n,m->n。兩個文字關係一共有三種entailment(蘊含)、contradiction(矛盾)、neutral(中立)
qqp(quora question pairs,文字匹配)

判斷兩個問題是不是同乙個意思,即是不是等價的。屬於分類任務

qnli(question natural language inference,自然語言問題推理)

是乙個二分類任務。正樣本為(question,sentence),包含正確的answer;負樣本為(question,sentence),不包含正確的answer。
sst-2(the stanford sentiment treebank,斯坦福情感分類樹)

分類任務。

cola(the corpus of linguistic acceptability,語言可接受性語料庫)

分類任務,**乙個句子是否是acceptable。

sts-b(the semantic textual similarity benchmark,語義文字相似度資料集)
樣本為文字對,分數為1-5,用來評判兩個文字語義資訊的相似度。

mrpc(microsoft research paraphrase corpus,微軟研究釋義語料庫)
樣本為文字對,判斷兩個文字對語音資訊是否是等價的

rte(recognizing textual entailment,識別文字蘊含關係)
與mnli相似,只不過資料集更少

wnli(winograd nli,自然語言推理)
小的資料集

squad(the standford question answering dataset,斯坦福問答資料集)

question,從phrase中選取answer。

ner(named entity recognition,命名實體識別)

swag(the situations with adversarial generations dataset,)

BERT可以增加哪些預訓練任務?

bert基於nsp和mlm兩個任務進行預訓練,如果對bert進行改進,乙個可行的方向就是增加更多的預訓練任務,那麼除了這兩個任務之外,還可以增加哪些預訓練任務呢?可以增加的預訓練任務有乙個前提,就是這些任務的訓練資料要能從無監督的資料中獲取,這樣才能獲取到海量的資料,符合這一要求的任務可以進行嘗試。...

vasp可以做哪些計算及命令

vasp是目前材料微觀反應機理和計算材料電子結構性質科學研究中最流行的一款軟體,它可以處理金屬及其氧化物 半導體 晶體 摻雜體系 奈米材料 分子 團簇 表面體系和介面體系等。結構性質 晶格常數 原子座標 電子性質 電荷密度分布 電子態密度 能帶結構 光學性質 折射率 消光係數 反射率 吸收係數 力學...

女生學大資料可以做哪些工作

很多人的印象是it是高階技術工作,搞it的都是男生,大資料開發是it的一種,肯定都是男生做的工作,其實不然,大資料開發女生也是可以做的,而且還很吃香,相比於男性大資料開發人員,女大資料開發工程師具有以下優勢 1.與男性相比,女性在溝通上更有優勢 眾所周知,做大資料開發就是為了服務於客戶,雖然說做出專...