自然語言處理入門 第一周

2021-09-25 17:01:05 字數 301 閱讀 8881

人工智慧早期研究的領域之一。

從微觀上講,語言理解是從自然語言到機器內部之間的一種對映。

從巨集觀上講,語言理解是指機械能夠執行人類所期望的某些功能。

詞法分析:對於英文,有詞頭、詞根、詞尾的拆分,名詞、動詞、形容詞、副詞、介詞的定性,多種詞意的選擇。比如diamond,有菱形、棒球場、鑽石3個含義,要根據應用選擇正確的意思。

語法分析:通過語法樹或其他演算法,分析主語、謂語、賓語、定語、狀語、補語等句子元素。

語義分析:通過選擇詞的正確含義,在正確句法的指導下,將句子的正確含義表達出來。方法主要有語義文法、格文法。

自然語言處理入門

1 首先,將原文本拆分為句子,在每個句子中過濾掉停用詞 可以不選 並只保留指定詞性的單詞,由此可以得到句子和單詞的集合。2 每個單詞作為pagerank中的乙個節點。設視窗大小為k,假設乙個句子所組成的單詞可以表示為w1,w2,w3,wn.則w1,w2,wk w2,w3,wk 1 w3,w4,wk ...

自然語言處理入門 中文分詞原理

1.中文分詞原理介紹 1.1 中文分詞概述 中文分詞 chinese word segmentation 指的是將乙個漢字序列切分成乙個乙個單獨的詞。分詞就是將連續的字序列按照一定的規範重新組合成詞序列的過程。1.2 中文分詞方法介紹 現有的分詞方法可分為三大類 基於字串匹配的分詞方法 基於理解的分...

自然語言處理入門心得 書籍 課程推薦

mit 的 natural language processing stanford 的cs224n natural language processing stanford 的 cs224d deep learning for natural language processing 講述深度學習在...