NLP分析技術的三個層面

2021-06-27 06:26:03 字數 676 閱讀 4894

nlp分析技術大致分為三個層面:詞法分析、句法分析和語義分析。

詞法分析包括分詞、詞性標註、命名實體識別和詞義消歧。

分詞和詞性標註好理解。

命名實體識別的任務是識別句子中的人名、地名和機構名稱等等命名實體。每乙個命名實體都是由乙個或多個詞語構成的。

詞義消歧是要根據句子上下文語境來判斷出每乙個或某些詞語的真實意思。

句法分析是將輸入句子從序列形式變成樹狀結構,從而可以捕捉到句子內部詞語之間的搭配或者修飾關係,這一步是nlp中關鍵的一步。

目前研究界存在兩種主流的句法分析方法:短語結構句法體系,依存結構句法體系。其中依存關係句法體系現在已經成為研究句法分析的熱點。

依存語法表示形式簡潔,易於理解和標註,其可以很容易的表示詞語之間的語義關係,比如句子成分之間可以構成施事,受事,時間等關係。這種語義關係可以很方便的應用魚語義分析和資訊抽取等方面。依存關係還可以更高效的實現解碼演算法。

句法分析得到的句法結構可以幫助上層的語義分析,以及一些應用,例如機器翻譯、問答、文字挖掘、資訊檢索等。

語義分析的最終目的是理解句子表達的真實語義。當時用什麼形式來表示語義一直沒有能夠很好的解決。語義角色標註是比較成熟的淺層語義分析技術。給定句子中的乙個謂詞,語義角色標註的任務就是從句子中標註出這個謂詞的施事、受事、時間、地點等引數。語義角色標註一般都在句法分析的基礎上完成,句法結構對於語義角色標註的效能至關重要。

與大資料相關的三個層面

第一,把大資料作為一種物件,其對傳統資料安全提出了新的挑戰。以往我們的資料安全解決方案比如dlp,物件是區域性的 受限的 確定的,而大資料時代,也許那些原本毫不起眼甚至毫無價值的資料,因其積聚而量變到質變,成為必要的保護物件。有挑戰就有機遇,誰能更好地為大資料安全保駕護航,誰也許就掌握了未來的一項必...

IT技術的三個層次

全稱 informationtechnology,即資訊科技 it實際上有三個層次 第一層是硬體,主要指資料儲存 處理和傳輸的主機和網路通訊裝置 第二層是指軟體,包括可用來蒐集 儲存 檢索 分析 應用 評估資訊的各種軟體,它包括我們通常所指的erp 企業資源計畫 crm 客戶關係管理 scm 鏈管理...

從三個層面認識SRAM儲存器

大家都了解,cpu是負責計算和處理的,而儲存器則是負責互換資料資訊的。有些人是那麼形容的,說cpu便是技術工程師自己,執行記憶體就好像操作台,必須妥善處理的物品必須先取得工作中檯子上才便捷解決。那麼硬碟是什麼呢?電腦硬碟如同木櫃,儲放電子元器件儀器裝置用的庫房,存物品。下面專注於 銷售sram mr...