序列標註 BiLSTM CRF模型

2021-08-22 07:30:25 字數 623 閱讀 8500

對於序列標註問題,目前bilstm-crf模型是目前使用比較流行的方法。本文以neural architectures for named entity recognition為例,講解bilstm-crf模型在命名實體識別任務上的應用,著重於crf層的分析。

假設資料集有兩種實體型別:人物(person)機構(organization)。同時假設採用bio標註體系。因此會有五種實體標籤:

【注】另一種結構圖,表達含義相同。

【計算問題】

【訓練問題】

【**問題】

在bilstm-crf模型中,若沒有crf層也未必不可,在結構簡介中已經簡單描述bilstm層的輸出,即為句子的每個詞的所有標籤的各自得分。若沒有crf層,直接選擇bilstm層中最大的得分輸出標籤型別即可。

那麼crf層作用是什麼?即如下:

【採用crf層的原因】

【參考資料】

序列模型實現詞性標註

今天我們來看看 nlp 中乙個很重要且基本的問題 pos。pos part of speech tagging,即詞性標註,這是一種序列標註問題,就是輸入乙個句子,輸出每個詞在這句話中的詞性是什麼。例如,我喜歡吃酸辣的熱狗 這句話中,我 和 熱狗 是名詞,喜歡 和 吃 是動詞,酸辣的 是個形容詞。詞...

BiLSTM CRF模型 CRF層的作用

1 輸入句子x通過字嵌入或詞嵌入構成向量。如果是字嵌入,則是隨機初始化的 char2id 若是詞嵌入,則是通過訓練好的詞向量得到 如glove 2 字嵌入或詞嵌入構成向量構成bilstm模型的輸入,輸出為句子x中各個字元對應的標籤。如下圖 顯然,標籤序列是 i organization i pers...

序列標註 (1)序列標註基礎

所謂序列標註 就是有乙個線性序列 x x 1 x 2,x 3,x n 給每乙個元素打上標籤 y y 1,y 2,y 3,y n b,m,e,s b 代表開始字元 m 代表中間字元 e 代表結束字元 s 代表單字詞 例如 我們愛自然語言處理 這句話所得到的的標註序列為 besbmmmme 我們 be ...