nlp模型 bert從入門到精通(二)

2021-09-27 01:52:22 字數 1033 閱讀 4637

pip install bert-base==0.0.9 -i
也可參考官網處理

安裝

軟體包現在支援的功能

1.命名實體識別的訓練

2.命名實體識別的服務c/s

3.繼承優秀開源軟體:bert_as_service(hanxiao)的bert所有服務

4.文字分類服務

後續功能會繼續增加

安裝完bert-base後,會生成兩個基於命名行的工具,其中bert-base-ner-train支援命名實體識別模型的訓練,你只需要指定訓練資料的目錄,bert相關引數的目錄即可。可以使用下面的命令檢視幫助

訓練的事例命名如下:

bert-base-ner-train \

-data_dir \

-output_dir \

-init_checkpoint \

-bert_config_file \

-vocab_file

引數說明

其中data_dir是你的資料所在的目錄,訓練資料,驗證資料和測試資料命名格式為:train.txt, dev.txt,test.txt,請按照這個格式命名檔案,否則會報錯。

訓練資料的格式如下:

海 o

釣 o比 o

賽 o地 o

點 o在 o

廈 b-loc

門 i-loc

與 o金 b-loc

門 i-loc

之 o間 o

的 o海 o

域 o。 o

每行得第乙個是字,第二個是它的標籤,使用空格』 '分隔,請一定要使用空格。句與句之間使用空行劃分。程式會自動讀取你的資料。

Nginx從入門到精通

1 nginx配置檔案載入機制 採用nginx s reload命令載入nginx的配置檔案,master程序讀取配置檔案,建立新的worker程序,向老的worker程序傳送shutdown命令。老的worker程序不再接受新的請求,待老的請求處理完成後,就會停掉。2 location匹配機制 當...

scrot 從入門到精通

無論是撰寫技術教程,還是展示桌面或應用,恐怕 scrot 都是必不可少的工具。scrot 是螢幕抓圖工具中的 皎皎 佼佼者,它小巧而不失為強大,精練而不缺少靈活。scrot 主要用在命令列下,它使用 imlib2 庫來抓取並儲存影象。在 ubuntu 中,可以使用sudo apt get insta...

mysql從入門到精通

在sql語言中,用join實現表與表的關聯,用on指定聯合表的查詢條件,如 實現三表聯查,可以用table1.table2.來排列 顯示資訊的先後順序 select from user left join address on user id address.user id left join us...