自然語言處理的應用

這篇文章是應老師要求創作的關於自然語言處理在自己專業的應用，因為我是計科專業，其應用較為廣泛，所以下面就來**自然語言處理的應用。

1. 詞法分析

基於大資料和使用者行為，對自然語言進行中文分詞、詞性標註、命名識體識別，定位基本語言元素，消除歧義，支撐自然語言的準確理解。

中文分詞 —— 將連續的自然語言文字，切分成具有語義合理性和完整性的詞彙序列

詞性標註 —— 將自然語言中的每個詞，賦予乙個詞性，如動詞、名詞、副詞

命名實體識別 —— 即專有名詞識別，識別自然語言文字中具有特殊意義的實體，如人名、機構名、地名

舉例：

依存句法分析

利用句子中詞與詞之間的依存關係，來表示詞語的句法結構資訊，並用樹狀結構來表示整句的結構。依存句法分析主要有幾大作用：

精準理解使用者意圖。當使用者搜尋時輸入乙個query，通過依存句法分析，抽取語義主幹及相關語義成分，實現對使用者意圖的精準理解。

知識挖掘。對大量的非結構化文字進行依存句法分析，從中抽取實體、概念、語義關係等資訊，構建領域知識。

語言結構匹配。基於句法結構資訊，進行語言的匹配計算，提公升語言匹配計算的準確率。

舉例：詞向量表示

詞向量計算是通過訓練的方法，將語言詞表中的詞對映成乙個長度固定的向量。詞表中的所有詞向量構成了乙個向量空間，每乙個詞都是這個向量空間中的乙個點。利用這種方法，實現文字的可計算。主要應用在：

快速召回結果。不同於傳統的倒排索引結構，構建基於詞向量的快速索引技術，直接從語義相關性的角度召回結果。

個性化推薦。基於使用者的過去行為，通過詞向量計算，學習使用者的興趣，實現個性化推薦。

舉例：

dnn語言模型

語言模型是通過計算給定詞組成的句子的概率，從而判斷所組成的句子是否符合客觀語言表達習慣。通常用於機器翻譯、拼寫糾錯、語音識別、問答系統、詞性標註、句法分析和資訊檢索等。

舉例：

詞義相似度

用於計算兩個給定詞語的語義相似度，基於自然語言中的分布假設，即越是經常共同出現的詞之間的相似度越高。詞義相似度是自然語言處理中的重要基礎技術，是專名挖掘、query改寫、詞性標註等常用技術的基礎之一。主要應用：

專名挖掘 —— 通過詞語間語義相關性計算尋找人名、地名、機構名等詞的相關詞，擴大專有名詞的詞典，更好的輔助應用

query改寫 —— 通過尋找搜尋query中詞語的相似詞，進行合理的替換，從而達到改寫query的目的，提高搜尋結果的多樣性

舉例：

短文本相似度

短文本相似度計算服務能夠提供不同短文本之間相似度的計算，輸出的相似度是乙個介於-1到1之間的實數值，越大則相似度越高。這個相似度值可以直接用於結果排序，也可以作為一維基礎特徵作用於更複雜的系統。

舉例：

情感傾向分析

針對帶有主觀描述的中文文字，可自動判斷該文字的情感極性類別並給出相應的置信度。情感極性分為積極、消極、中性。情感傾向分析能幫助企業理解使用者消費習慣、分析熱點話題和危機輿情監控，為企業提供有力的決策支援。

舉例：