自然語言理解 何為理解?

2021-09-29 22:43:18 字數 1233 閱讀 6699

本章從何為理解?何為語言?何為語言理解的概念出發,進行小範圍的分析後,以求能夠找出機器自然語言理解的部分脈絡。

1.2.1 何為理解?

人們能夠用語言進行理解性的交流和資訊溝通, 是建立在資訊交流的雙方都具有大致相同的知識記憶庫的基礎之上。以下舉些小例子來加以說明。

例1:乙個說漢語的高中生和乙個說漢語的大學數學老師,兩人無法就常微分方程的問題,展開深入細緻的討論。此處對話的雙方雖然都說的同一種語言,高中生雖然能夠辨別出大學老師,關於常微分方程問題語言論述的發音。 但是由於高中生的大腦知識記憶庫中缺乏此部分資訊,因此無法理解大學數學老師所說的內容。見圖1,可看出,途中綠色關於常微分方程相關知識的部分,不在高中生的大腦記憶庫中。 但是通過學習,高中生把此部分資訊載入自己的大腦資訊庫後, 雙方就可以就此部分內容,進行理解性的討論和資訊交流。

雖然我能認出其中每乙個漢字,但我並不知道它們在說些什麼。 學生在學習的過程中,感覺自己像是在「聽天書」,並不是他們不能分辨老師的語言,而是他們不能理解老師語言中所傳遞的資訊。 通過記憶庫中相關資訊的補足,可以解決此類資訊不對等而造成的理解性問題。

例2:兩個物理學家,乙個只說漢語,另乙個只說希伯來語。兩人也無法就兩人共同研究的物理學領域的問題,交流思想。雖然在圖2左邊的圖可以看出,交流雙方關於此物理領域的知識庫,基本能夠重疊。 但由於交流雙方使用了不同的語言,來對此部分資訊進行表述。且雙方的大腦中,相同部分的資訊內容(比如:同一物理概念)沒有在兩種語言間產生對應的對映關係。 所以,此二人,也無法就大家研究的同一領域的問題進行交流。

我們在把圖2改一下,改為兩個物理學家,同時都掌握英語和漢語。對話時,其中一方說英語,另一方說漢語。在雙方具有絕大部分物理知識記憶庫重合,且該部分資訊有英語和漢語兩種語言的對映形式的情況下,對話雙方雖然使用不同的語言,但也能夠就相關物理學領域的知識進行理解性的資訊溝通和交流。

例2可以看出,相同的資訊可以具有不同的表徵形式。漢語「狗」和英語『dog』表徵的是同一種資訊。由此可看出,同一種資訊可以由不同的形式(語言)來進行表徵。 而理解語言,交流雙方不僅要使用同一種表徵形式,且此表徵形式須要對應大致相同的資訊內容。

接下來,我們就來看看表徵形式下所對映的資訊。

NLP 自然語言理解概述

語言是人類有別於其他動物的乙個重要標誌。自然語言是區別於形式語言或人工語言 如邏輯語言和程式語言等 的人際交流的口頭語言 語音 和書面語言 文字 語言是人類進行通訊的自然媒介,它包括口語 書面語以及形體語 如啞語和旗語 等。一種比較正規的提法是 語言是用於傳遞資訊的表示方法 約定和規則的集合。語言由...

自然語言理解的實現方法

人類本來沒有語言,但是腦子裡有對周圍的世界的認知,於是人們約定了特定的聲音 文字表達特定的事物。自然語言的語法是約定俗成的,沒有標準的語法格式。只要能用聲音 文字的詞語順序表達自己頭腦中的認知,然後在對方的頭腦中構造這樣的認知,自然語言的目的就達到了。因為這個原因,所以我比較贊同模式匹配說。我很想吐...

自然語言處理基本過程理解

接觸自然語言已有兩年,下面談一談自己的一些理解 文字基本處理過程 1.獲取資料。2.資料預處理。這一部分很重要!很重要!很重要!有可能會決定著你文字處理任務的最終質量!1 觀察資料。尤其是網上的資料質量參差不齊,一定要先觀察資料,有沒有異常符號,有的時候有很多空格,或者會有換行,這些符號都要首先去掉...