近期需要學習一些命名實體識別的知識,記錄一下,以便以後複習
個人理解
目前的理解是,命名實體識別(ner),是自然語言處理(nlp)的乙個階段,可應用於機器翻譯、摘要形成、資訊檢索等等,個人認為,自然語言處理是一門很複雜的跨學科技術,其難點在於人類是富有思維的,人的語言寄託人的思想,因此很難準確處理。但其實轉念一想,人工智慧不正是模擬人的思維嗎,如果用神經網路的只是來看,完全分析出語言所富有的思維是不是完全可能呢?
相對於複雜的語句,命名實體識別作用在於提煉句中實體,因此難度較低。但是語句的含義通常可由句中實體進行推導聯想而得到其含義。(表達較混亂,邏輯需進一步清理╮(╯▽╰)╭)
相關資料
主要參考了stanford nlp,以及fudannlp
其中stanford nlp中對於中文處理效果一般,特點應該是中文,但可參考其思想
在fudannlp中,簡單試了一下,效果還不錯,ner的實現是通過分析、詞性定義實現的命名實體識別。等待進一步深入研究
待續。。。
NLP自然語言處理
第1部分自然語言處理入門 1.1自然語言處理入門.mp4 第2部分hmm和crf 1.1crf模型簡介.mp4 1.1hmm模型介紹.mp4 1.2文字處理的基本方法 part1.mp4 2.1新聞主題分類任務 第4步 part2.mp4 第43部分rnn 1.1rnn模型小結.mp4 1.1rnn...
NLP自然語言處理
老實來講這課我一頭霧水滿腦袋問號 import numpy as np from collections import counter counttime 0 def seperate filename totalnum 0 郵件的總數 global counttime i 0 file open ...
自然語言處理 NLP(4)
文法用途 遞迴下降和左角落解析都存在一定的缺陷,因此可以才用動態規劃的方法進行解析 阿蘭 圖靈與1950年提出,測試在測試者和被測試者相互隔開的情況下,通過一些簡單的裝置向被測試者隨意提問。通過一些問題之後,若被測試者的答覆有超過30 的部分無法讓測試者確認出是人還是機器的回答,則此時這台機器通過測...