自然語言處理技術及網際網路應用解析（節選）

前網際網路應用中的趨勢：

基於知識網路的全面搜尋需求，其中包括

知識、語義搜尋

（精確的需求理解、直接答案滿足）以及對話式搜尋（智慧型互動）。

主動推薦，不搜即得

精準的個性化服務

面對這樣的搜尋需求時，給nlp帶來了還大的挑戰，主要表現在四個方面：

需求識別，輸入複雜、需求多樣

知識挖掘，**自暗網，資料形式不單一，而且具有各種層次的知識

使用者引導方面，如何建議、擴充套件以及互動

結果組織與展現方面，採用直接答案、聚類或是關係圖都需要考慮

文字理解包括使用者需求的藍屏以及廣義的理解，

使用者理解就是給使用者建模知道他要做什麼

。基礎的技術角度設計語法分析、句法分析、語義分析、ml模型，在應用中對應了知識圖譜、query分析、智慧型互動等。隨後她從實際的案例來講解這些方面的知識與關聯：

實體挖掘

，例如使用者在搜尋「中國合夥人」時，將會從query log挖掘、url pattern挖掘以及從title中挖掘

ontology建設

，主要是上下位知識挖掘、三元組知識挖掘、相關實體挖掘以及語義標籤挖掘

語義計算

隨後她提到了query理解的內容，query理解的乙個展現就在框計算時理解使用者的意圖給出精確的答案，主要涉及三個方面的內容：

query改寫

意圖歸一

複雜query理解

當使用者輸入有誤時，一般使用機器翻譯模型來進行query改寫；對於乙個query的多種表達方式，使用query pair文字語義匹配計算，目前的準確率是90%，比基線高出絕對值高出10%；針對複雜的query，通過依存分析結果、查詢邏輯表示式以及知識庫推理進行處理。

語用分析使用者智慧型互動部分，吳華博士以語音助手為例進行了例項的分析，

在對話管理中，需要通過置信度、資訊重要性以及歷史資訊來處理來自asr和slu結果的不確定性，然後根據使用者提供的新資訊來確定下一步行為

。在對話管理中主要設計對話控制和對話環境建模兩個模組。對話控制策略是基於框架的控制策略，即框架定義完成指定任務需要的資訊、根據已知的資訊確定之後要問的問題。而更加複雜的對話管理方法是基於ai或者統計學的方法來實現。

為什麼ibm research是許多nlp核心演算法的開創者、microsoft research擁有豪華的nlp科研團隊，反倒是google能第乙個把翻譯做成大規模網際網路產品？李志飛指出：

團隊基因：科學家+工程師

整個谷歌大環境是實用至上

大資料，中英系統用幾千萬對句子

雲架構：gfs、map-reduce、bigtable

由於現成的理論和模型，他認為乙個10個人的開發團隊+16個人的產品團隊完全可以做乙個谷歌翻譯。