自然語言處理的若干問題

2021-09-01 20:32:20 字數 1323 閱讀 8667

1.文字朗讀

(text to speech)/

語音合成

(speech synthesis)2.

語音識別

(speech recognition)3.

中文自動分詞

(chinese word segmentation)4.

詞性標註

(part-of-speech tagging)5.

句法分析

(parsing)6.

自然語言生成

(natural language generation)7.

文字分類

(text categorization)8.

資訊檢索

(information retrieval)9.

資訊抽取

(information extraction

)10.

文字校對

(text-proofing

)11.

問答系統

(question answering

)12.

機器翻譯

(machine translation

)13.

自動摘要

(automatic summarization

)14.

文字蘊涵

(textual entailment)

1.單詞的邊界界定

在口語中,詞與詞之間通常是連貫的,而界定字詞邊界通常使用的辦法是取用能讓給定的上下文最為通順且在文法上無誤的一種最佳組合。在書寫上,

漢語也沒有詞與詞之間的邊界。

2.詞義的消歧

許多字詞不單只有乙個意思,因而我們必須選出使句意最為通順的解釋。

3.句法的模糊性

自然語言的文法

通常是模稜兩可

的,針對乙個句子通常可能會

剖析(parse

)出多棵

剖析樹(parse tree

),而我們必須要仰賴

語意及前後文的資訊才能在其中選擇一棵最為適合的剖析樹。

4.有瑕疵的或不規範的輸入

例如語音處理時遇到外國口音或地方口音,或者在文字的處理中處理拼寫,語法或者

光學字元識別

(ocr

)的錯誤。

5.語言行為

與計畫

句子常常並不只是字面上的意思;例如,「你能把鹽遞過來嗎」,乙個好的回答應當是把鹽遞過去;在大多數上下文環境中,「能」將是糟糕的回答,雖說 回答「不」或者「太遠了我拿不到」也是可以接受的。再者,如果一門課程去年沒開設,對於提問「這門課程去年有多少學生沒通過?」回答「去年沒開這門課」要 比回答「沒人沒通過」好。

自然語言處理

自然語言處理主要步驟包括 2.詞法分析 對於英文,有詞頭 詞根 詞尾的拆分,名詞 動詞 形容詞 副詞 介詞的定性,多種詞意的選擇。比如diamond,有菱形 棒球場 鑽石3個含義,要根據應用選擇正確的意思。3.語法分析 通過語法樹或其他演算法,分析主語 謂語 賓語 定語 狀語 補語等句子元素。4.語...

自然語言處理

前言 自然語言處理 natural language processing 是計算科學領域與人工智慧領域中的乙個重要方向。它研究能實現人與計算機之間用自然語言進行有效通訊的各種理論和方法。自然語言處理是一門融語言學 電腦科學 數學於一體的科學。因此,這一領域的研究將涉及自然語言,即人們日常使用的語言...

自然語言處理

一 字串操作 去空格及特殊符號 s hello,world 預設把左右空格去掉 print s.strip print s.lstrip hello,print s.rstrip 查詢字元 0 為未找到 sstr1 strchr sstr2 tr 找到返回目標子串開始下標 npos sstr1.in...