nlp 被很多人稱為人工智慧皇冠上的明珠，可見其在 ai 領域的重要性，而命名實體識別（ner）又一直是 nlp 領域的研究熱點，所以這塊任務是 nlp 必談的。
ner 早期的實現主要是基於詞典和規則，然後是基於傳統的機器學習，比如 hmm、memm 和 crf。隨後深度學習崛起則很多用 crf 結合迴圈神經網路或卷積神經網路來做。而最近期的則是基於注意力模型和遷移學習等。
其實 ner 的主流核心演算法是條件隨機場（crf），包括後來的深度學習和注意力模型都是需要結合 crf 來使用，所以這篇文章看看 crf 怎麼實現命名實體識別。
crf 即條件隨機場（conditional random fields），是在給定一組輸入隨機變數條件下另外一組輸出隨機變數的條件概率分布模型，它是一種判別式的概率無向圖模型，既然是判別式，那就是對條件概率分布建模。
在 nlp 中，crf 是用於標註和劃分序列資料的概率化模型，根據 crf 的定義，相對序列就是給定觀測序列 x 和輸出序列 y，然後通過定義條件概率 p(y|x) 來描述模型。
詳細可以看前面的文章《機器學習之條件隨機場（crf）》。
>>> import nltk
>>
條件隨機場 命名實體識別
介紹 在命名實體識別任務中，bilstm模型中crf層的通用思想 詳細的例項 通過例項來一步步展示crf的工作原理 實現 crf層的一步步實現過程 1.介紹 基於神經網路的方法，在命名實體識別任務中非常流行和普遍。在文獻中，作者提出了bi lstm模型用於實體識別任務中，在模型中用到了字嵌入和詞嵌入...
ai命名實體識別模型 命名實體識別
crf中有兩類特徵函式，分別是狀態特徵和轉移特徵，狀態特徵用當前節點 某個輸出位置可能的狀態中的某個狀態稱為乙個節點 的狀態分數表示，轉移特徵用上乙個節點到當前節點的轉移分數表示。其損失函式定義如下 crf損失函式的計算，需要用到真實路徑分數 包括狀態分數和轉移分數 其他所有可能的路徑的分數 包括狀...
命名實體識別
簡單的分詞器 如二元分詞器 無法識別oov，所以需要運用一些規定的規則來輔助識別 如 在識別音譯人名時，可以設定規則 一旦發現某詞是人名，而該詞後面跟隨人名詞時，將他們合併 針對不同情況，需要設計相應的標註集 拿人名識別舉例 輸入資料集進行訓練後，會將人名拆分為碎片，模擬人名的錯誤切分.接著，檢查拆...