自然語言理解的實現方法

2021-06-17 23:22:45 字數 500 閱讀 7084

人類本來沒有語言,但是腦子裡有對周圍的世界的認知,於是人們約定了特定的聲音/文字表達特定的事物。自然語言的語法是約定俗成的,沒有標準的語法格式。只要能用聲音/文字的詞語順序表達自己頭腦中的認知,然後在對方的頭腦中構造這樣的認知,自然語言的目的就達到了。

因為這個原因,所以我比較贊同模式匹配說。

我很想吐槽大資料探勘等技術實現自然語言理解,這就好比給不懂德語的你一堆德語書,不查字典,不借助翻譯工具,你最後能精通德語嗎?如果我們人類都不行,計算機怎麼行?做標註?不管怎麼演算法怎麼生分割詞語,生成句法,也都沒有跟認知世界聯絡起來。很多歧義的句子仍不能正確理解。

解決方法是,用構造語義網路表達對世界的認知,用有序的詞語對映到語義網路,並且特定詞語和語義網路中特定元素對應。用有序的詞語就是約定俗成的自然語言語法。這樣多新增一種對映,計算機就能多理解一種語法。

用這種方法,實現演算法不難,難的在於如何構造語義網路,如何組織自然語言語法。有人說這種方法不現實,其實自然語言的語法規則不是太多,漢語初步估計1000來條。後面我將陸續介紹。

自然語言理解 何為理解?

本章從何為理解?何為語言?何為語言理解的概念出發,進行小範圍的分析後,以求能夠找出機器自然語言理解的部分脈絡。1.2.1 何為理解?人們能夠用語言進行理解性的交流和資訊溝通,是建立在資訊交流的雙方都具有大致相同的知識記憶庫的基礎之上。以下舉些小例子來加以說明。例1 乙個說漢語的高中生和乙個說漢語的大...

NLP 自然語言理解概述

語言是人類有別於其他動物的乙個重要標誌。自然語言是區別於形式語言或人工語言 如邏輯語言和程式語言等 的人際交流的口頭語言 語音 和書面語言 文字 語言是人類進行通訊的自然媒介,它包括口語 書面語以及形體語 如啞語和旗語 等。一種比較正規的提法是 語言是用於傳遞資訊的表示方法 約定和規則的集合。語言由...

自然語言處理基本過程理解

接觸自然語言已有兩年,下面談一談自己的一些理解 文字基本處理過程 1.獲取資料。2.資料預處理。這一部分很重要!很重要!很重要!有可能會決定著你文字處理任務的最終質量!1 觀察資料。尤其是網上的資料質量參差不齊,一定要先觀察資料,有沒有異常符號,有的時候有很多空格,或者會有換行,這些符號都要首先去掉...