**:《pre-training of deep bidirectional transformers for language understanding》
官方**和預訓練模型:
第三方**:
1. pytorch-pretrained-bert谷歌推薦pytorch版本
2. bert-pytorchpytorch版本
3. bert-tensorflow
4. bert-chainer
5. bert-as-service
6. bert_language_understanding
7. sentiment_analysis_fine_grain
8. bert-ner
9. bert-keras
10.tbert
呼叫方法:
1、bert-serving
安裝:需要安裝伺服器和客戶端
pip install bert-serving-server
pip install bert-serving-client
啟動伺服器
命令啟動方式
bert-serving-start -pooling_strategy none -model_dir chinese_l-12_h-768_a-12 -max_seq_len 60
指令碼啟動方式
呼叫from bert_serving.server.helper import get_args_parser
from bert_serving.server import bertserver
args = get_args_parser(
).parse_args(
['-model_dir'
,'chinese_l-12_h-768_a-12'
,'-pooling_strategy'
,'none'
,'-max_seq_len'
,'60'])
server = bertserver(args)
server.start(
)
引數詳情引數from bert_serving.client import bertclient
bc = bertclient(ip=
'localhost'
)test=bc.encode(
['你好'
,'bert'
])
說明-model_dir
預訓練模型的路徑
-num_worker
執行緒數,表示同時可以處理多少個併發請求
-pooling_strategy
預設是句向量;-pooling_strategy none是詞向量
-max_seq_len
句子最大長度
2、bert4keras
蘇劍林大神封裝的keras框架的bert,呼叫比較方便,功能也比較全
安裝
pip install bert4keras
過程會自動安裝需要的numpy、pandas等第三方庫
呼叫
from bert4keras.models import build_transformer_model
config_path =
'chinese_l-12_h-768_a-12/bert_config.json'
checkpoint_path =
'chinese_l-12_h-768_a-12/bert_model.ckpt'
bert_model = build_transformer_model(config_path=config_path, checkpoint_path=checkpoint_path)
Bert模型的學習之路
在bert模型的學習中,遇到了以下一些不錯的資料,雖然走了很多彎路,這裡總結一下比較好的學習歷程吧,需要花一點時間閱讀。首先是對nlp中語言模型的乙個發展歷程的乙個介紹 理論模型學習 1 從word embedding到bert模型 自然語言處理中的預訓練技術發展史 與之先關的該作者的另外兩篇文章 ...
瞎聊機器學習 BERT模型
在本文之前我們已經介紹了elmo和gpt的兩個成功的模型,今天給大家介紹google新發布的bert模型。bert來頭可不小,其效能超越許多使用任務特定架構的系統,重新整理了11項nlp任務的當前最優性能記錄。bert模型的全稱是bidirectional encoder representatio...
bert 分類模型
大神的帖子 github 記錄本人訓練情況 1.資料 train.tsv,test.tsv dev.tsv 2.改原始碼 修改run classifier.py檔案中get labels等方法 3.儲存label2id的字典 4.使用命令訓練模型 5.6.後面使用的模型服務端,使用的是.pb格式的模...