句法分析的學習

2021-08-20 20:41:29 字數 494 閱讀 3905

句法分析(sentence parsing)有二層含義,一是指根據文法對乙個句子進行分析,建立這個句子的語法樹,即文法分析(syntactic parsing);二是指對乙個句子中各成分的語義進行分析,得到對這個句子的語義的一種描述,也就是語義樹,即語義分析(semantic parsing)。

【文法分析】

背景:之前的套路,基於規則的方法,那麼選擇規則的原則在於使統計出文法規則的概率最大,也就是語法樹的概率達到最大。之後發展成了括括號的問題。p(a|prefix),利用最大熵模型來判定。其中a是指需要擴括號的方式,prefix是特徵,也就是目前我們掌握的詞以及其語法成分等。在比較規則的文字中,這種方法可以得到比較好的效果,但在不規則的文字中,這種分析的準確率很低了。然後我們慢慢從深層分析轉移到了淺層分析中(shallow parsing)。然後開始用條件隨機場來做分析,大大提高了淺層分析的準確率。

條件隨機場是隱含馬爾可夫模型的一種擴充套件,是一種特殊的概率圖模型(probabilistic graph model)。

句法分析 依存句法分析

句法分析是自然語言處理中的關鍵技術之一,其基本任務是確定句子的句法結構或者句子中詞彙之間的依存關係。主要包括兩方面的內容,一是確定語言的語法體系,即對語言中合法的句子的語法結構給與形式化的定義 另一方面是句法分析技術,即根據給定的語法體系,自動推導出句子的句法結構,分析句子所包含的句法單位和這些句法...

入門句法分析

入門句法分析 fudannlp 提供了依存句法分析功能。對應的類為 edu.fudan.nlp.parser.dep.jointparser。fudannlp 的依存關係型別包括 核心詞 主語 補語 賓語 定語 狀語 並列 同位語 數量 介賓 連動 疑問連動 兼語 關聯 重複 標點 的字結構 地字結...

初探句法分析

本篇部落格簡單概述一下句法分析,感覺這個任務是乙個很有趣的任務,並且可以當做很多上游任務的乙個預處理工作,提取句法結構作為輸入向量的一部分。在實際工程或者包括打比賽中都有可能起到意想不到的作用。依存文法由語言學家l.tesniere在其著作 結構句法基礎 1959年 中提出,對語言學的發展產生了深遠...