計算語言學基礎概論

2021-07-22 23:06:57 字數 874 閱讀 5673

語言:自然語言--人類進化過程中產生,人來生來就可自然習得

計算:面向特定目標,(利用計算機)(按照某種方式)進行從輸入到輸出的變換

面向特定目標,利用計算機按某種方式(演算法)對語言輸入進行變換的科學

nlp的關鍵問題:

n判斷是作為漢語的聲音:語音層

n運用了漢語中的那些詞組成:詞彙層

n這些漢語詞如何構成乙個句子:句法層

n由這些詞這樣組成的句子的意義:語義層

n作者想通過這句話傳達什麼資訊:語用層

所以:nkey problems in nlp:ambiguity

nkey task in nlp:ambiguity resolution

how:  nknowledge based ambiguity resolution

語言處理需要的知識:

語言學的知識:

語音知識

詞彙知識

句法知識

語義知識

語用知識

非語言學的知識:

常識知識

世界知識

文化知識

source of knowledge

human knowledge  (理性主義)

common sense

expert knowledge

corpus                  (經驗主義)

raw corpus

annotated corpus

using knowledge:

nmodel and algorithm

代表性應用成果

搜尋:翻譯:

ibm watson:開放領域問答系統

2023年在美國問答競賽節目《危險邊緣》中戰勝人類優勝者

語言學概念是否重要

基於深度學習的自然語言處理 閱讀筆記 nlp 在給定充足資料和引導方向正確的前提下,很多的語言學概念確實能夠被網路自身學習到。然而,對於很多的其他例子,我們不能獲得足夠的資料,這種情況下,為網路提供更加明確的 清晰的概念將會非常有用。即使我們能夠獲得足夠的資料,通過提供更加泛化的概念以及詞語的表層資...

語言學 知乎專欄

42 語言學專欄 語言的侷限 1 從1984說起 語言的侷限 2 孤獨 語言的侷限 三 巨集大敘事與喜劇 都知道語言是人類的 語言顯然的促進了思維,不僅促進了個體的智慧型,而且將整個人類連線成了乙個整體,造就了現在人類的文明。但語言同時也是禁錮,我們太依賴語言,我們通常無法突破語言的界限,只有偶爾幾...

自然語言處理及計算語言學常見縮略語

acl association for computational linguistics 計算語言學協會 afnlp asian federation of natural language processing 亞洲自然語言處理聯盟 ai artificial intelligence 人工智慧...